基于单目视觉的动作捕捉方法及其应用

作     者：耿直 

作者单位：山东大学 

学位级别：硕士

导师姓名：韩爱丽

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：动作捕捉 单目视觉 可变形残差网 时间卷积 BVH数据 

摘      要：随着计算机视觉技术的快速发展,动作捕捉方法在虚拟现实、计算机动画、体育分析、医疗康复等诸多领域具有广泛的应用前景。本文探讨基于单目视觉的动作捕捉方法及其应用。(1)通过改进基于ResNet网络的关节特征编码器给出了一种基于可变形和时空卷积残差网络DRN-T的关节特征编码器。DRN-T融合了残差网络、可变形卷积及时间特征,在一定程度上提高了关节特征提取的准确性和鲁棒性。具体地,通过将ResNet模型残差块的首个普通卷基层替换为可变形卷积后再与LSTM融合得到DRN-T模型以提高模型在不同姿势和视角下的性能;通过基于DRN-T对连续帧的视频数据进行分析来捕获时空信息使得模型可以考虑运动的连续性以提高动作捕捉的准确性并可以利用时间信息提高模型的鲁棒性;通过基于DRN-T融合不同尺度的特征来提高对不同大小和距离的关节的检测性能使得模型在处理不同场景时具有更高的适应性。(2)通过改进基于时间空洞卷积的神经网络给出了一种基于运动学关节层约束与时空卷积网络HK-TCN的单目视觉3D动作捕捉改进方法。HK-TCN利用关节之间的约束信息、局部运动特征以及时序依赖关系来提高预测精度。通过在HK-TCN中引入了图卷积网络模块GCN来建立关节之间的连接以构建图结构使得模型能利用关节之间的约束信息进一步优化关节位置的预测;通过将输入的关节坐标分为不同的关节组来更有效地捕获人体局部运动信息以降低模型复杂度并提高计算效率;通过在HK-TCN中使用多层时间卷积和扩张卷积结构来捕获不同时间尺度的时序依赖关系使得在复杂动作序列中能对关节位置进行更准确的预测;通过在HK-TCN中使用包含均方误差损失和关节约束损失的组合损失函数使得模型在优化过程中能平衡预测准确性与关节约束的满足程度;基于HK-TCN能更好地捕获关节之间的约束信息和时序依赖关系使得模型具有更强的泛化能力,从而面对不同场景和动作类型时能保持较高的预测性能。(3)基于DRN-T和HK-TCN模型给出了一种适用于单目视频流的3D人体动作捕捉工作管线,实现了端到端的从输入视频流到BVH格式的3D人体动作捕捉的全自动化处理应用。实验结果表明该方法具有较高的精度和稳定性。所做工作减少了传统多摄像头或传感器设备的限制,降低了动作捕捉的成本和复杂性,提高了便携性,为广泛应用于虚拟现实、计算机动画、体育分析、医疗康复等领域提供了有力支持。