基于弱监督迁移网络的3D人体关节点识别

作     者：孙志勇 李宏友 叶俊勇 SUN Zhi-yong;LI Hong-you;YE Jun-yong

作者机构：重庆大学光电技术教育部重点实验室重庆400044 重庆警察学院基础教研部重庆401331 

出 版 物：《吉林大学学报（工学版）》 (Journal of Jilin University:Engineering and Technology Edition)

年 卷 期：2024年第54卷第1期

页      面：251-258页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划项目(2020YFC1522905) 重庆市教委科学技术研究项目(KJQN201901710) 重庆市基础研究及前沿技术研究计划项目(cstc2018jcyjAX0633) 

主　　题：迁移网络 姿态识别 3D关节点 几何约束 深度回归 

摘      要：针对2D图像缺少深度信息,行为姿态空间结构信息不完备的问题,提出一种基于弱监督迁移网络的3D人体关节点识别方法。首先,提出一种用于真实图像的端到端3D人体姿态估计框架,使用2D与3D混合标签图像对深度神经网络进行训练,在2D人体姿态识别子网络中,添加深度回归模块对2D人体姿态识别子网络进行改进,解决3D人体姿态识别出现的深度歧义性问题;其次,在3D人体姿态识别子网络中,引入3D几何约束对人体姿态识别进行规范化操作,针对无真实深度标签的情况,可更好地学习深度特征,有效解决存在遮挡情况的人体姿态识别问题。在Human 3.6M和MPII数据集中关节点预测平均误差低于其他方法,具有更好的3D人体姿态识别效果。