基于LSTM-CBAM的音视频同步人脸视频生成

作     者：洪学敏 张海翔 HONG Xuemin;ZHANG Haixiang

作者机构：浙江理工大学信息学院杭州310018 

出 版 物：《智能计算机与应用》 (Intelligent Computer and Applications)

年 卷 期：2023年第13卷第5期

页      面：151-155页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 08[工学] 081104[工学-模式识别与智能系统] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：视频生成 语音驱动 生成式对抗网络 

摘      要：语音驱动的人脸视频生成是指通过视觉与听觉双模态的输入来生成唇音同步的高自然度人脸视频。人脸视频生成任务的主要挑战是如何在保证人脸面部真实性的同时,生成语音同步且连贯的人脸视频。传统方法仅将其考虑为多个单帧的视频生成,而不考虑视频帧间的时序关系,从而导致生成的视频存在不连贯性,容易出现像素抖动问题。本文提出了基于LSTM-CBAM的音视频同步生成模型来生成唇音同步的人脸视频,通过LSTM模块处理音频数据,可以对音频数据进行更好地特征编码,通过CBAM模块来推断网络中的注意力映射,可以实现对音频信息与人脸口型信息的特征细化,从而生成音频与人物口型同步的视频。实验结果表明,本文生成的人脸视频连续自然,指标较优。