基于双流深度网络的人体姿态生成

作     者：张晋 

作者单位：北京邮电大学 

学位级别：硕士

导师姓名：唐于涛;唐进

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：人体姿态生成 时空联合卷积 对称残差网络 时间一致性网络 图卷积网络 

摘      要：近年虚拟现实、人机交互场景应用大幅兴起,基于人体关节点姿态的人工智能算法成为计算机视觉领域的重要课题。人体姿态生成任务是通过观测人体动作姿态序列样本,提炼人体运动规律,并衍生出人物执行其他动作的拟真姿态的任务。目前使用深度网络实现人体姿态生成的研究中,如何设计合理的网络结构实现融合多模态时空联合特征以及如何精确建模人体动静态关节运动规律成为关键问题。针对以上问题,本研究分别从网络深度、残差连接方式、多模态信息及其融合等方面展开,取得的主要成果如下:1、提出了一种基于时间一致性的时空联合双流网络(TCNet),解决了双流网络融合过程中时空混乱的问题。针对双流网络传统融合方法存在时空耦合性较差的现象,在融合过程中构建了一个时空耦合强化模块,对融合信息进行二次建模,加强了网络的时空联合建模能力。此外,TCNet有效地综合了速度信息与位置信息分别在短、长时建模的优势,实验表明TCNet在H3.6M、CMU-Mocap和3DPW公开数据集上,都取得了优异的结果。2、提出了一种适用于人体姿态生成的对称残差连接方法,丰富了人体姿态建模过程中的特征尺度,缓解了网络梯度消失。文中设计的对称残差连接模块,实现了感受野最大化。实验表明提出的对称残差网络(SRNet)提高了对浅层动态特征的利用,使生成的人体姿态更精确,模型使用参数更少。3、提出了基于动态引导的多图网络(DP-MGnet),联合建模相似模态下的关节动态特征,缓解模态纠缠问题。网络引入了时间维度特征增强模块,增强了关键帧信息占比。实验验证经由图卷积网络进行多图联合建模及融合,可提炼各尺度关节的动态特征,有效保留了全局关节点协调运动规律,最终实现对人体姿态的精准生成。