基于多特征增强的手部姿态估计方法

作     者：奉鑫鑫 高曙 FENG Xinxin;GAO Shu

作者机构：武汉理工大学计算机与人工智能学院武汉430070 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2024年第60卷第6期

页      面：207-213页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(52172327) 国家教育部人文社科项目(18YJA630076) 

主　　题：3D手部姿态估计 特征增强 卷积神经网络 全卷积神经网络 

摘      要：手部姿态估计是计算机视觉研究的重要方向之一,在人机交互、虚拟现实、机器人控制等应用领域发挥着重要作用。针对目前手部姿态估计存在特征表示方法单一性的问题,提出手部关键点连接关系特征构建方法与基于手部运动语义关系的关键点特征聚合增强方法,提高手部特征表达与信息共享能力;针对手部目标检测与图像分割等预处理方法中存在的遮挡性问题,设计手部轮廓特征提取方法,提高预处理效果;基于所提出的多特征表示与增强方法,构建了一个基于全卷积结构的深度学习神经网络模型,避免直接回归计算3D姿态信息导致的空间信息丢失问题,从而有效提高了3D手部姿态估计精度。在DO、ED、RHD等多个数据集上与SOTA模型相比,均取得了竞争性的效果,且平均AUC结果达到了93.3%,说明所提出的方法也具有较好普适性。