基于局部深度一致性的自监督手部姿态估计

作     者：王敬宇 黄伟亭 刘聪 戚琦 孙海峰 廖建新 WANG Jing-yu;HUANG Wei-ting;LIU Cong;QI Qi;SUN Hai-feng;LIAO Jian-xin

作者机构：北京邮电大学网络与交换国家重点实验室 中国移动通信有限公司研究院 

出 版 物：《电子学报》 (Acta Electronica Sinica)

年 卷 期：2023年第51卷第6期

页      面：1644-1653页

核心收录：

学科分类：0710[理学-生物学] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划(No.2020YFB1807800) 国家自然科学基金(No.62071067,No.62001054,No.61771068) 教育部-中国移动科研基金(No.MCM20200202,No.MCM20180101) 博士后创新人才支持计划(No.BX20200067) 中国博士后科学基金资助(No.2021M690469)~~ 

主　　题：自监督 手部姿态估计 局部一致性 深度图 深度学习 

摘      要：基于深度图的3D手部姿态估计通常需要大量人工标注数据以达到高精确度和鲁棒性，然而关节点标注过程冗杂且存在一定误差.现有研究工作使用自监督方法解决对标注数据的依赖，通过在虚拟数据集上预训练网络，并在无标注的真实数据集上进行模型拟合，实现3D姿态估计.自监督方法的关键在于设计模型拟合的能量函数以减小模型在真实数据集上的精度下降程度.为了减小模型拟合难度，本文提出局部深度一致性损失，依据初始姿态估计结果，提取输入与输出深度图的局部表征，将深度图显式地解耦为以关节点为中心的不同区域.通过有针对性地对不同关节点进行局部优化，减少虚拟与真实深度图之间的固有领域误差对网络学习的影响，增加训练的稳定性.本文方法在NYU数据集上相比基础方法平均关节点误差提升了21.9%.