融合多级属性与注意力机制的人脸替换方法

作     者：肖清 杜建超 张向东 Xiao Qing;Du Jianchao;Zhang Xiangdong

作者机构：西安电子科技大学综合业务网理论及关键技术国家重点实验室西安710071 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2022年第34卷第1期

页      面：121-132页

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：陕西省重点研发计划(2020GY-058). 

主　　题：人脸替换 生成对抗网络 注意力机制 多级属性编码器 

摘      要：针对当前人脸替换方法仅利用目标图像的姿势和表情指导换脸过程中常常忽略背景、光照等其他属性,同时生成的替换人脸与目标图像的融合效果较差的问题,提出一种融合多级属性和注意力机制的人脸替换方法.在提取目标图像属性阶段,基于U-Net结构设计一种多级属性编码器,采用多层次级联的卷积块和反卷积块以及层间连接准确、全面地提取目标图像的表情与背景属性,保留更多细节信息;在生成替换人脸阶段,设计一种结合注意力机制的生成器,利用注意力模型权重自适应地调整源人脸特征和目标属性集成的有效区域,使生成器生成更加符合视觉机制的替换人脸.在FaceForensics++图像集上的实验结果表明,与DeepFaceLab方法相比,该方法所生成的替换人脸与目标图像的结构相似度提高了6.73%,头部姿势差异和面部表情差异分别降低了1.026和0.491.该方法不仅更好地保留了源人脸特征信息,还更大程度地忠实于目标图像属性,达到了良好的替换效果.