基于单幅图像形状特征的三维漫画人脸重建

作     者：孙刘杰 王佳耀 王文举 

作者机构：上海理工大学出版印刷与艺术设计学院 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2025年第1期

页      面：282-290页

学科分类：1304[艺术学-美术学] 13[艺术学] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：上海市科学技术委员会科研计划项目(18060502500) 上海市自然科学基金面上项目(19ZR1435900) 

主　　题：地标检测 三维漫画人脸 人脸重建 三维形变模型 深度学习 自解码器 

摘      要：针对单幅图像的三维漫画人脸重建存在地标检测准确性差和生成模型还原高频细节能力低的问题，提出了一种多尺度特征融合与高频信息映射的两阶段方法。在第一阶段中，多尺度通道融合地标检测器用于提高检测的准确性。其中多尺度特征由HRNet产生；由通道注意力和Swin Transformer构成的注意力层用于多尺度通道融合特征提取；为了提高生成地标的精度，损失函数由地标损失和热图损失两部分构成。在第二阶段中，傅里叶特征共享层变形网络使生成的三维漫画人脸具有更丰富的高频形状细节。其中傅里叶特征映射提取高维特征，使网络学习更多形状的高频信息；共享层超网络加快了网络的收敛和重建速度。该方法应用于CaricatureFace和3DCaricShop数据集。实验结果表明，该方法中的地标检测器的平均检测误差减少了4.4%；变形网络在形状重建上的均方误差减少了26%，并且平均重建时间减少了18%；最终重建出的三维漫画人脸具有夸张的形状和自然的细节。