基于无约束图片集的无监督三维人脸精细重建方法研究

作     者：罗屹 

作者单位：广州大学 

学位级别：硕士

导师姓名：方美娥

授予年度：2024年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：人脸重建 多视图融合 生成对抗先验 局部对齐 子集选择 

摘      要：人脸作为人类最直观的生物特征,蕴含着丰富的个人信息,例如身份、情感和年龄等。如何从中提取所需信息,是计算机视觉领域的一个重要课题。在早期,研究人员通过从2D的人脸图像中提取特征。然而,由于自然条件的限制,如尺度、姿势或眼镜等的遮挡因素,使得仅依靠2D信息的方法难以取得满意的效果。然而,通过三维人脸重建技术从2D人脸图像中恢复出具有丰富信息的三维人脸模型,进而突破2D人脸研究的瓶颈。为此,本文对多视图3D人脸重建的LAP框架(Learning to Aggregate and Personalize)进行了研究,并分别从整体轮廓和局部细节两个方面进行了改进。 首先,针对无监督方法难以有效建模出合理的三维人脸结构的问题,本文从整体轮廓出发,在网络结构上做了改进。基于编码器-解码器结构,新增了一个残差网络模块,并在原编码器和残差网络模块之间增加了跳跃链接,以提取足够的特征。在损失函数方面,本文采用生成对抗网络(GAN)为模型提供指导,使用3DMM模型通过关键点拟合生成“真实人脸深度图,通过生成器和判别器交替训练,使它们在相互博弈中提升各自精度,从而达到建模高精度人脸的目的。实验证明,这种方法能有效提高建模精度,使得三维人脸的轮廓更加清晰。 其次,针对重建时预测的旋转参数存在误差以及输入图像本身存在遮挡问题,本文从局部细节出发,提出了局部一致性损失和局部子集选择损失,达到正确匹配的目的。具体地,局部一致性损失考虑像素对应位置之间的差异,同时在周围寻找是否有差异更小的点,以达到更精确的对齐。局部子集选择损失从输入人脸的正视图和所有渲染图像的正视图中选择差异最小的部分,以降低遮挡对建模的影响。通过实验验证,本方法不仅能重建更加精细的细节,还超越大多数单图像解决方案,可以与最优解决方案相媲美。 综上所述,本文从整体轮廓和局部细节两个方面出发,提出了一种新增带跳跃链接残差网络模块的网络改进方法和3DMM拟合生成“真实人脸深度图的方法,以及局部一致性损失和局部子集选择损失。实验结果表明,这些方法能够生成高质量的三维人脸结构,分别具有良好的轮廓和细节。