基于单基站的指向型设备交互方法研究

作     者：陈林 

作者单位：深圳大学 

学位级别：硕士

导师姓名：伍楷舜

授予年度：2022年

学科分类：0810[工学-信息与通信工程] 080202[工学-机械电子工程] 08[工学] 0802[工学-机械工程] 081002[工学-信号与信息处理] 

主      题：物联网 室内定位 手势识别 跨设备交互 

摘      要：受益于物联网技术的巨大进步,目前已有各种各样的智能设备进入到了人们的日常生活中,为人们节约了宝贵的时间和精力。然而随着智能设备数量的增加,在如今的智能家居环境下,用户发现从如此多的设备中去选择和控制设备变得越来越繁琐。为简化选择和控制智能设备的流程,在本论文中,我们提出了基于单基站的Wandatch系统用来解决这个问题。Wandatch系统能够为用户提供一种直觉的设备交互方式,用户可以通过用手指向想要控制的设备,使用手势来控制所指向的智能设备。Wandatch系统功能的实现依赖于设备选择模块和手势识别模块。本论文利用商用智能手表内置的传感器以及一个包含麦克风阵列的智能音箱来推断用户的空间位置和手的指向方向来实现设备选择。通过处理智能手表的运动传感器数据,本论文实现了十五个手势的免训练识别,包括五个方向手势和十个手写数字手势。在通过指向的方式选中设备后,用户可以通过预定义的手势向指向的设备执行不同的功能。除了用于操控智能设备功能的十五个手势以外,本论文还设计了一个激活手势作为唤醒Wandatch和选择设备的启动手势。为了能够准确的识别激活手势同时保持低误报率,本论文将手指双击手势(拇指与食指敲击)作为激活手势,并基于卷积自编码器和动态时间规整算法来实现激活手势的识别。在系统评估部分,本论文进行了全面的实验,对Wandatch在不同的设置下进行了测试,实验结果表明Wandatch能够实现精确的设备选择和手势识别。当我们将五台智能设备以稀疏的方式部署时,设备选择的平均精度为97.60%。当我们将五台智能设备以近距离摆放为L型时,设备选择的平均精度为94.11%。激活手势的识别精度和误报率分别为91.40%和1.61个/小时。对于控制手势识别部分,五个方向手势和十个手写数字手势的精度分别为99.67%和95.57%。一项与其他交互方式对比的用户调研结果显示,用户使用Wandatch可以以更快、更容易的方式来控制智能设备。此外,在完成实验后我们让用户对三种交互方式(Wandatch、手机应用以及语音控制)的十个指标进行了打分。Wandatch在该十个指标中有五个指标获得了最佳的用户评分。