基于深度学习的手势序列识别研究

作     者：文硕怡 

作者单位：天津职业技术师范大学 

学位级别：硕士

导师姓名：杨丽

授予年度：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：深度学习 手势识别 YOLOv5s网络 动态手势 

摘      要：随着深度学习技术的不断进步与发展,手势识别的应用领域正在迅速扩大。手势识别作为一种自然交互方式,有潜力减少对复杂传感器系统的依赖,从而降低成本。手势识别在临床与健康心理学、手语沟通、社会辅助机器人技术、虚拟现实环境以及智能家居系统等多个领域都具有显著的应用价值。因此,继续加深手势识别的研究显得尤为重要。本文采用深度学习方法研究了手势识别,包括静态手势、动态手势和连续手势。在静态手势识别的过程中,本文设计了一种基于YOLOv5s算法的改进方法。该方法有效解决了手势识别任务中在复杂背景中难以获取出关键信息和实际目标匹配不精确等问题。首先在YOLOv5s基础之上,使用K-means++聚类算法替换原来的K-means聚类算法,可以提高先验锚框尺寸匹配的精确度;其次,将骨干网络(Backbone)中的后三个CSP1＿X模块替换为步长为2的Ghost Bottleneck2结构,这一改动不仅提升了网络的学习能力,使其能够提取更多特征,而且还减少了计算的复杂度、参数数量,并缩短了手势训练所需的时间;最后,通过将损失函数从CIo U替换为SIo U,实现了曲线的平滑性和稳定性提升。通过实验对比,该模型的准确率达到96.6%,优于其它静态手势识别方法,验证了本方法的有效性。在动态手势的识别过程中,本文设计了一种改进的三维卷积识别方法。该方法有效地解决了视频分析中时序特征的获取以及关键信息提取的问题。首先在3DCNN基础之上引入了Resnetxt-50网络来作为算法的基础网络;其次,为了更有效地关注时间和空间信息的交互,引入了一个基于Triplet Attention改进的四重注意力模块;最后,通过将Re LU激活函数替换为Mish激活函数,确保了模型的输出曲线更平滑,从而实现了更好的梯度下降效果。最终动态手势识别率达到92.2%,优于其它动态手势识别方法,验证了本方法的有效性。此外,还自制了一个包含16类别的动态手势数据集。在连续手势识别的过程中,本文设计了一种三维卷积时序网络的识别方法。该方法有效地解决了在动态手势识别中关键帧的准确获取以及多关键帧时序特征信息的高效提取问题。首先采用帧间差分方法来确定关键帧,即将局部最大值作为特征帧;其次在动态手势识别的基础之上,利用改进的三维卷积网络提取空间特征;最后,利用Conv LSTM网络来提取手势动作的时间维度特征以及时间序列信息。该模型的准确率达到93.6%。优于其它连续手势识别方法,验证了本方法的有效性。