基于双侧通道特征融合的三维姿态迁移网络

作     者：刘珏 

作者机构：东南大学自动化学院 东南大学复杂工程测量与控制教育部重点实验室 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2024年

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主　　题：姿态迁移 形变迁移 卷积神经网络 条件归一化 

摘      要：为了解决现有方法中， 姿态特征在前向传播过程中的姿态失真问题， 提出了一种基于双侧通道特征融合的姿态迁移网络. 首先， 通过姿态编码器从源网格中提取固定长度的姿态编码， 并将其和目标顶点组合成混合特征; 然后， 设计了一种特征融合自适应实例归一化模块， 通过2个侧通道处理三维网格的姿态和身份特征， 使姿态特征在逐层前向传播中得到补偿， 从而解决姿态失真问题; 最后， 使用该模块构成的网格解码器， 逐步将姿态迁移到目标网格上. 在SMPL， SMAL， FAUST和MultiGarment数据集上的实验结果表明， 文中方法在保持较小网络结构的同时， 评价指标PMD， CD， EMD分别达到0.57×10-4， 1.37×10-4， 13.40×10-3， 成功地解决了姿态失真问题， 同时能够适应不同顶点数的网格. 文中方法的代码详见https://***/YikiDragon/DSFFNet.