基于深度学习的单目视频人体动作捕捉研究

作     者：杨起航 

作者单位：新疆大学 

学位级别：硕士

导师姓名：张振宇

授予年度：2021年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：人体动作捕捉 轻量化 脚部触地判断 深度学习 

摘      要：单目视频人体动作捕捉是近年来视觉算法领域的热门研究课题之一,在人机交互,虚拟现实,动漫,游戏等领域有着广泛的应用前景。本文主要研究单目视频人体动作捕捉问题,该问题可分为从图像空间中估计二维人体关键点坐标、利用二维关键点坐标估计三维深度信息和利用人体模型进行形体重建几个步骤。而目前的单目人体动作捕捉技术较传统动作捕捉技术虽然一定程度上降低了成本和使用场景限制,但仍存在运算耗时较大,重建的人体动作脚部有穿地、滑步和漂浮问题,不便于影视动画制作和虚拟直播等场景中的使用。针对上述问题,本论文提出一种基于深度学习的单目视频人体动作捕捉方法。主要研究工作包括以下几点:(1)通过对当前二维人体姿态估计方法和轻量级目标检测网络的综合研究分析,以现有网络结构设计简洁的二维人体姿态估计方法为基准,借鉴轻量级目标检测网络设计思路,提出了LiteHumanPoseNet方法,该方法具有参数量少、推理速度快、估计精度较高和训练方便的特点,并通过消融实验表明所提出的方法的有效性。(2)通过对传统人体动作捕捉系统对脚部动作仿真处理方法的研究与分析,结合当前成熟的深度学习方法,提出了一种结合二维姿态算法使用的脚部触地判别器用以判断视频帧中脚部关键点接触地面的情况。该脚部触地判别器可以实现和穿戴式传感器相近的功能,且成本更低,摆脱掉硬件和场地等条件的约束。(3)形体重建,主要利用人体模型拟合图像空间中的二维人体坐标和估计的深度坐标获取重建的人体动作,目前深度坐标的估计技术较为成熟,选择现有的技术。针对重建后动作出现的脚部有穿地、滑步和漂浮问题,提出了一种根据脚部触地情况优化拟合后人体模型脚部问题的方法。实验结果表明,该方法可以一定程度上代替传统动捕方法,简化动作捕捉的使用难度,降低动作捕捉成本。实验表明,本文提出的单目视频动作捕捉方法较之前的方法,更加适用于影视动画制作和虚拟主播等应用领域的需求,且对运行速度做了一定的优化。