脸由音生:语音驱动的静动态人脸生成方法

作     者：赵璐璐 陈雁翔 赵鹏铖 朱玉鹏 盛振涛 ZHAO Lulu;CHEN Yanxiang;ZHAO Pengcheng;ZHU Yupeng;SHENG Zhentao

作者机构：合肥工业大学计算机与信息学院合肥230009 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2022年第58卷第18期

页      面：122-129页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61972127 61672201) 

主　　题：语音驱动 静动态人脸生成 属性关联 嘴唇同步 生成对抗网络 

摘      要：语音驱动人脸生成旨在挖掘语音片段和人脸之间的静动态关联性,进而由给定的语音片段生成对应的人脸图像。然而已有的研究方法大多只考虑其中的一种关联性,且对静态人脸生成的研究严格依赖于时序对齐的音视频数据,在一定程度上限制了静态模型的使用范围。提出了一种基于条件生成对抗网络的语音驱动静动态人脸生成模型(SDVF-GAN)。该模型基于自注意力机制构建语音编码器网络以获得更为准确的听觉特征表达,并将其作为静态生成网络和动态生成网络的输入;静态生成网络利用基于投影层的图像判别器合成出属性一致(年龄、性别)且高质量的静态人脸图像,动态生成网络利用基于注意力思想的嘴唇判别器和图像判别器合成出嘴唇同步的动态人脸序列。实验利用所构建的属性对齐的Voice-Face数据集和公共的LRW数据集分别训练静态人脸生成网络和动态人脸生成网络。结果表明,该模型综合研究了语音和人脸之间的属性对应和嘴唇同步关系,实现了质量更高且关联性和同步性更强的人脸图像生成。