融合改进YOLOv5及Mediapipe的手势识别研究

作     者：倪广兴 徐华 王超 NI Guangxing;XU Hua;WANG Chao

作者机构：盐城工学院信息工程学院江苏盐城224000 盐城师范学院物理与电子工程学院江苏盐城224000 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2024年第60卷第7期

页      面：108-118页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61771417) 

主　　题：手势识别 YOLOv5 Mediapipe FastNet 注意力机制 

摘      要：针对现有手势识别算法计算量大、鲁棒性差等问题,提出一种基于IYOLOv5-Med(improved YOLOv5 Mediapipe)算法的手势识别方法。该算法将改进的YOLOv5算法和Mediapipe方法结合,包括手势检测和手势分析两部分,算法有效降低了训练的时间成本,增加了识别的鲁棒性。手势检测部分,改进了传统YOLOv5算法,利用FastNet重构C3模块,将CBS模块替换为GhostNet中GhostConv模块,在Backbone网络末端加入SE注意力机制模块,改进后的算法,模型体积更小,更适用于资源有限的边缘设备。手势分析部分,提出了一种基于Mediapipe的方法,对手势检测部分定位到的手势区域进行手部关键点检测,并提取相关特征,然后通过朴素贝叶斯分类器进行识别。实验结果证实了提出的IYOLOv5-Med算法的有效性,与传统YOLOv5算法相比,参数量下降34.5%,计算量减少34.9%,模型权重降低33.2%,最终平均识别率达到0.997,且实现方法相对简单,有较好的应用前景。