基于全网络深度学习的3D人体姿态估计及应用

作     者：张忠心 

作者单位：东北石油大学 

学位级别：硕士

导师姓名：高丙坤;刘明

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：三维人体姿态估计 残差网络 深度学习 级联网络 

摘      要：近年来,由于人体姿态估计研究在多个实际场景中的深入应用,使其逐渐成为计算机视觉中的热门研究领域,市场需求的增长也给人体姿态估计技术带来了全新挑战。基于深度学习的二维到三维人体姿态估计的研究是计算机视觉中具有挑战性的任务。目前的方法仍然面临着识别的三维关键点与实际关节位置不一致的问题,这是导致识别误差大的根本原因,利用三维人体姿态与相应的二维投影来训练二维到三维网络的策略可以有效的解决这个问题。针对此问题,本文建立了一个级联的单目3D人体姿态估计网络。该网络采用分层监督机制,深度模型中使用本文所提出的复合残差模块（Composite residual module,CRM）和增强融合模块（Enhanced Fusion Module,EFM）作为主要组成模块。在此基础上,深度级联模型中,由CRM进一步堆叠形成级联模块。与传统的残差模块相比,CRM可在网络中产生更多信息流通道。此外,本文使用提出的EFM与级联模块在深度网络中交替放置,旨在解决多级级联造成的精度降低和鲁棒性不足的问题。实验在Human3.6M数据集上进行了训练,同时在Human3.6M数据集和MPI-INF-3DHP数据集上进行了测试实验。最后将实验结果在全监督方法下与六种先进算法进行比较,弱监督方法下与五种算法进行比较。使用以毫米为单位的平均关节位置误差（MPJPE）作为评价指标,并提高识别精度。另一方面,本文在基于深度学习的3D人体姿态估计的应用方面进行了研究,如舞蹈专家通常将舞蹈视为一个信息层次,多层次信息包括低级（原始图像、图像序列）、中级（人体姿态和身体部位动作）和高级（舞蹈类型）的语义信息。本文改进了一个舞蹈视频分层识别框架,该框架首先估计出人体的2D姿态序列,然后估计相应的3D姿态成像参数。通过一个特定的数据集进行训练,实现了多人姿态估计并进一步估计出舞蹈类型。但在视频处理时存在网络参数量过大的问题,为此,本文通过门控卷积的引入和网络模型简化,对深度网络进行了轻量化设计。实验结果表明,简化后的模型参数量大幅下降。在精度上本模型在以平均关节点误差作为评价指标,结果显示3D姿态的精度略有下降,但在对舞蹈类型的判断上依然有效。