基于沙漏网络的人体姿态估计算法改进研究及应用

作     者：吴翠娜 

作者单位：东北石油大学 

学位级别：硕士

导师姓名：高丙坤;刘明

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：2D人体姿态估计 3D人体姿态估计 堆叠沙漏网络 高分辨率维持模块 

摘      要：人体姿态估计旨在从图像和视频中检测人体关键点,以此实现对图像中的人类活动的理解和人体姿态识别。使用堆叠沙漏网络进行重复自底向上和自顶向下的采样过程,能够获取到不同尺度的图像特征,进而完成2D人体姿态估计任务。在此基础上,使用图卷积算法与堆叠沙漏网络相结合,可实现对人体骨架的重建,以得到3D人体姿态。然而,在深度模型中,对特征图的下采样-上采样过程中,面临着多尺度信息利用不足和识别的三维关键点与实际关节位置不一致等问题,影响模型估计的精度,为此本文分别对2D和3D人体姿态估计算法进行了改进。在2D人体姿态估计任务中,本文提出了一个变尺度高分辨率沙漏堆叠网络(Variable-scale High-resolution Hourglass Network,VHHNet),它由可变尺度残差模块(Variable-scale Residual Module,VRM)和分级高分辨率维持模块(Multi-level High-resolution Maintenance Module,MHMM)组成。VRM通过双通道变尺度的卷积算法,强化了沙漏网络多尺度空间信息提取能力。MHMM可维持多尺度融合信息在整个网络中的高分辨特征。此外,为了获取更多的融合信息,在逐层的分辨率提取过程中,采用了相邻尺寸残差融合的采样处理策略。实验在MPII数据集上进行,训练了两层的VHHNet。实验以PCKh@0.5作为评价指标,模型的评分为89.6%,与原始网络相比提高了1.3%。3D人体估计任务中,将基于图卷积算法的堆叠沙漏网络进行了改进。首先,新的模型将VRM在3D网络中进行适配,使之代替原始沙漏中的残差作为基础模块。此外,为提高卷积对沙漏中图结构数据的利用率,模型对堆叠沙漏网络进行了重新构建,提出了新融合方式利用沙漏层内信息。另外,模型对图卷积网络的残差结构进行了改进,增强了其对3D人体骨架的重构逻辑。深度模型在Human3.6M数据集上进行训练和测试。使用MPJPE作为评价指标。实验结果表明,改进后的3D人体姿态估计模型与原模型相比,误差下降了1.1毫米。