面向穿戴计算机的多通道人机交互系统的研究

作     者：王中明 

作者单位：哈尔滨工业大学 

学位级别：硕士

导师姓名：左德承

授予年度：2021年

学科分类：0711[理学-系统科学] 07[理学] 

主      题：可穿戴 人机交互 多通道整合 交互模型 情景感知 

摘      要：随着智能手表、智能手环等应用于日常生活中用户体征健康检测,军事上也引入智能头盔及眼睛执行虚拟现实、目标检测等任务,均体现着可穿戴设备是目前人机交互研究的热门方向。可穿戴设备比目前普及的智能机与用户联系更加紧密,在提高人机交互效率的同时也产生了相应问题:可穿戴设备往往集成多条人机交互通道,如果不对其进行管控;在向用户传送信息时会造成系统资源浪费的同时,也更加打扰到用户的宁静生活。本文以智能可穿戴设备为载体,不仅集成了日常中常用的交互方式:触屏、文字、语音,还加入了较新技术:手势识别,在满足多通道基本需求的前提下,也做出了相应突破:通过在人机交互过程中对通道的管控,实现系统可以根据不同实时场景,自动选择适当的方式与用户进行信息交流。首先,本文面向可穿戴设备,提出一种整合文字、触屏、语音、手势的多通道态势自适应人机交互系统模型。针对该模型,设计了六层处理架构:物理层、词法层、语法层、语义层、转发层、应用层,并逐层设计交互信息的输入输出结构及融合算法,使得多通道人机交互过程更加细化。其次,设计了一套多通道交互态势自适应策略,以通道控制为突破点,预先在系统中设置多个任务场景,通过情景感知技术判断出用户所处某一预设场景,便执行该预设场景的启动方法:选择适当的方式进行人机交互;从而达到系统能够根据用户所处实时场景的不同,通过对交互通道进行管控,自适应选择适当的方式进行人机交互。最后,在Android操作系统上采用Java设计实现了多通道交互态势自适应模型、多通道整合算法及态势自适应策略,并应用于实验室横向合作项目。该交互系统能够让用户体会到常规多通道系统优点的同时,也为一些特殊人群提供了态势自适应的功能。通过交互测试及功效学评价,证实了多通道态势自适应模型、多通道整合算法及态势自适应策略的有效性。