基于视频的三维人体模型重建精度提升与抖动消除的研究

作     者：张晗 

作者单位：天津工业大学 

学位级别：硕士

导师姓名：苑春苗;王森

授予年度：2021年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：深度学习 计算机视觉 三维人体模型重建 对抗生成网络 

摘      要：近年来,影视动画和虚拟现实技术日渐成熟,随着三维人体建模方法的发展,通过深度学习训练的参数模型可预先生成真实的三维人体模型,从而可以取代使用工业建模软件或CG技术建模的方法以解决效率低,且制作成本耗费巨大的问题。目前从单目图像中重建三维人体网格方面显示出良好的结果,主要分为两段式和直接估计两种网络结构方法。然而,这些方法仍存在一些问题:预测的人体参数的微小偏差会导致估计的网格模型与原图人物明显不对齐,人体模型重建结果精度低;基于视频重建的人体模型结果,常常会出现动作不流畅,某一帧动作突变的情况。为了解决这些问题,本文从提升精度和消除抖动两方面进行优化。本文使用对抗生成网络结构,通过生成器和鉴别器对抗式训练。生成器预测人体参数,鉴别器来区分真实的人类动作和生成器预测的动作,这样的对抗训练可以使生成器产生运动学上合理的结果。本文使用特征金字塔网络提取多尺度特征来丰富语义信息,并基于深度回归器中的图像网格对齐显式修正预测参数。在反馈循环中,给定当前预测的参数,将从更高分辨率的特征中相应地提取网格对齐的信息,通过迭代校正参数以提高精度。同时通过加入人体参数约束损失函数,判断前后两帧预测的参数差值是否超出阈值范围,通过迭代优化,有效地限制了视频序列中pose和shape参数的变化,改善人体模型的抖动和动作突变问题。本文在鉴别器中使用门控循环单元,有效学习视频序列中隐藏的时间信息,有利于提高建模结果动作的连续性和平滑性。本文通过定性和定量结果分析,验证了我们的优化方法在Human3.6M、3DPW、MPIINF-3DHP等数据集和多个基准上的有效性,并进行了消融实验来分析网格对齐特征和人体参数约束的重要性。