基于深度学习的人体动作捕捉研究

作     者：李俊怡 

作者单位：桂林电子科技大学 

学位级别：硕士

导师姓名：李俊

授予年度：2020年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：动作捕捉 深度学习 双目视觉 立体匹配 人体三维动作重建 

摘      要：人体动作捕捉技术一直是计算机视觉和计算机图形学研究的热点之一,这项技术被广泛应用于机器人、虚拟现实、影视动画、步态康复和运动分析等各项领域。现有的动作捕捉方法大多数都需要为实验者佩戴相关的动作传感器,设备昂贵并且对采集的环境有较高的要求;其它的一些方法则是利用数据集驱动人体建模完成三维动作的重建,这种方法过于依赖数据集的特征,扩展性较低。因此本论文提出通过深度学习和双目立体视觉相结合的方法实现人体动作的捕捉。首先使用ZED相机所拍摄的图片作为输入源,然后采用深度学习Mask R-CNN为基本框架实现人体动作二维姿态检测,接着对双目立体视觉获取人体骨架关节点之间的映射关系进行了研究,通过双目相机标定,视差原理以及关节点的立体匹配获取人体关节点的三维信息,最后参考人体骨架的链接方式和SCAPE模型等人体建模技术进行人体动作的三维重建。本文的主要研究成果及创新点如下:（1）本文采用了深度学习算法对采集到的图像进行人体二维关节点检测,避免了传统动作捕捉方法中因穿戴设备的束缚和环境条件限制带来的不便。由于深度学习算法对计算机配置要求高,并且需要训练庞大的数据集,因此提出了一种基于迁移学习下的Mask R-CNN深度学习算法进行人体二维关节点的检测。与传统方法相比,此方法可以实现在小样本数据集下较准确的对目标二维关节点进行检测,准确率高。（2）对于人体动作三维骨架的重建,提出将深度学习算法和双目立体视觉相结合,在获取人体二维姿态信息的基础上利用立体匹配和双目视差原理恢复人体骨架关节点的三维信息。针对获取的关节点信息可能存在一定的误差问题,进行了关键点匹配算法的改进,提出一种基于特征约束的双目局部匹配算法,提高了关节特征点的匹配精度,为人体三维动作重建提供了基础。（3）分析并搭建了基于深度学习和双目立体视觉相结合的动作捕捉系统。该系统完成了图像获取、二维关节点检测、双目校正、立体匹配和三维关节点坐标的获取,最后通过人体骨架的链接方式和人体动作建模的相关技术实现了人体动作的捕捉和三维重建。通过实验结果和数据分析可以得出二维关节点的检测和三维关节点信息的提取在一定程度上均可以满足人体三维动作重建要求。同时对动作捕捉系统的搭建和人体动作的三维重建结果也比较理想,实验误差在3%左右,证明了本文所提出的方法具有一定的可行性和应用前景。