三维人脸重建技术与应用研究

作     者：翁子淳 

作者单位：华南理工大学 

学位级别：硕士

导师姓名：向友君

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：三维人脸重建 3DMM 多任务学习 人脸表情合成 生成对抗学习 

摘      要：人类天生对三维信息感知的偏好以及近年来发展迅猛的3D游戏、影视等产业不断推动着三维人脸重建技术的发展。自从著名的3DMM模型提出以来,三维人脸重建领域涌现了大量的工作,其中基于深度学习技术的方法备受关注。然而基于深度学习的方法面临着缺乏大规模三维人脸训练数据的问题,这在很大程度上限制了模型的非线性建模能力。另一方面,人脸图像合成技术,作为早期三维人脸重建的重要应用之一,在隐私保护、影视制作等领域扮演着越来越重要的角色。其发展主要可以分为两个阶段:基于三维人脸形变的方法和基于深度学习的方法,然而这两种方法在合成人脸的真实感和一致性上往往只能二选一,使得相关技术难以推广到实际应用当中。本文针对以上两种问题,围绕三维人脸重建技术开展了以下研究工作:针对三维人脸重建方法所面临的大规模训练数据缺失的问题,提出了结合三维人脸重建-人脸属性识别的多任务学习方案,从而利用合成数据集以外的大规模人脸数据集进行模型训练。通过共享两个高度相关的领域之间的信息,模型的三维人脸重建精度得以有效提升。此外还提出了一种混合数据集的训练策略,从而实现在一个训练批次内同时利用两种异质数据集进行学习。实验结果表明,通过利用辅助任务提供的大量有益信息,所提出的方法不仅达到了与SOTA算法相当的性能,并且在无约束场景下也具有较强的鲁棒性。此外还进一步分析了共享人脸特征空间中的特征解耦性和两个任务的高度语义关联性,验证了多任务学习框架在人脸图像表示学习的有效性。针对当前人脸表情合成领域的两种主流方法各自存在的缺陷,提出了一种融合两者优势的解决方案:以GANs(Generative Adversarial Networks)模型为基底,以人脸表情编码为生成条件,并在Cycle GAN的循环一致性设计基础上引入人脸的身份一致性和形状一致性约束。通过条件GANs模式的无监督学习,所提出的方法可以实现单个表情编码单元对人脸表情动作的解耦控制,以及通过表情编码之间的线性插值实现准确的表情迁移;通过身份一致性和形状一致性的约束,模型得以在更高的感知层级上保持合成人脸与原始人脸的一致性。定性和定量的实验结果表明,该方法不仅能够通过低维的表情编码实现精确的人脸图像表情操控,并且还能在表情编辑的同时最大限度地保留原始人脸的身份特性,有效地解决了目前两种主流人脸表情合成方法的矛盾。