基于时空特征和注意力机制的伪造检测方法
作者机构:郑州大学网络空间安全学院 四川大学计算机学院 河南众诚信息科技股份有限公司 智能警务四川省重点实验室
出 版 物:《郑州大学学报(理学版)》 (Journal of Zhengzhou University(Natural Science Edition))
年 卷 期:2024年
学科分类:08[工学] 0839[工学-网络空间安全] 080203[工学-机械设计及理论] 0802[工学-机械工程] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术(可授工学、理学学位)]
摘 要:针对伪造检测中存在的特征冗余以及缺乏判别性等问题,提出一种基于时空特征和注意力机制的人脸伪造检测方法,旨在从时域和空域上挖掘图像的伪造线索,由帧间差异信息作为出发点进行伪造检测。首先利用空间注意力模块,使模型关注到真实场景下易产生伪造的脸部区域;其次利用时间注意力模块,对视频中人脸运动幅度变化更大、判别性更强的帧给予更高的权重。在FaceForensics++数据集上进行实验,结果表明,所提方法的曲线下面积(AUC)指标在低质量和高质量视频上分别达到89.04%和98.81%。此外,在Celeb-DF数据集上的测试结果也显示了所提方法具有良好的泛化性能。