基于肌肉协同的多模态手势在线识别策略研究

作     者：李志才 

作者单位：天津大学 

学位级别：硕士

导师姓名：徐瑞

授予年度：2020年

学科分类：0831[工学-生物医学工程（可授工学、理学、医学学位）] 0711[理学-系统科学] 07[理学] 08[工学] 

主      题：肌肉协同 手势识别 力度识别 肌电信号 

摘      要：肌电控制策略在人-机接口技术中得到了长足的发展,本文重点针对肌电控制策略在复杂任务下手势识别效果不佳的问题,从动静态手势识别效果提升,手势动作及其力度等级同步识别,在线控制效果评估三个方面入手,设计了一种基于肌肉协同的更加接近人体神经肌肉激活模式的控制策略。首先,本文为了解决肌电控制策略在动静态融合任务下手势识别效果不佳的问题,利用非负矩阵分解算法提取肌肉协同特征,使用混合瞬态和稳态肌电数据的特征集训练分类模型,并对瞬态与稳态特征进行了相似性分析。通过对13名受试者数据计算的结果显示:使用混合两种状态的肌电数据集来训练模型,可以提高肌电控制策略的鲁棒性;瞬态和稳态特征相似性较差的手势,其识别效果也比较差,有望基于此筛选手势类型以提高肌电控制策略的识别效果。其次,本文以提升肌电控制策略的功能性和拟人化效果为目的,提出一种可以同时识别手势类型及其力度等级的双层模式识别策略,并且使用4种不同的特征组合进行分类。13名受试者的分类结果显示,基于肌肉协同的双层分类系统的16分类识别率最高为93.4%±2.5%,其中手势识别率为98.78%,力度等级识别率为94.04%,证明了该双层分类控制策略的有效性。最后,本文为了验证前面所提方法的在线控制效果,首先设计并开展了在线控制效果评估实验,包括在线建模、在线识别以及在线效果评估。结果显示,双层分类系统的在线识别率为89.9%±1.7%,算法延迟结果为209±20ms;本文还搭建了基于机械臂的实验平台开展在线抓取任务实验,并且利用队列和投票的方式将在线识别率提高了2.8%,结合惯性测量单元对机械臂的延迟进行了计算。结果显示,基于机械臂的在线控制系统的平均延迟为461±51ms。通过以上两个在线实验证明了本文提出的基于肌肉协同的双层模式识别在线系统的可行性。总之,本文旨在解决肌电控制策略在复杂任务下手势识别效果不佳的问题,设计了一种基于肌肉协同的多模态手势识别策略,包括动静态复杂动作任务下手势动作的识别,手势动作及其力度等级的同步识别,并且对该策略的在线控制效果进行评估,实现了在动静态干扰下的手势准确识别,以及手势及其力度的同步识别,并最终为复杂动作任务下的肌电控制策略研究提供了方法依据。