面向深度学习伪造人脸的鉴别技术研究

作     者：武茜 

作者单位：大连交通大学 

学位级别：硕士

导师姓名：贾世杰

授予年度：2021年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 0839[工学-网络空间安全] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 081201[工学-计算机系统结构] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：深度学习 伪造人脸鉴别 DeepFake 注意力机制 

摘      要：随着深度学习的飞速发展,以Deep Fake为代表的深度人脸伪造技术,给个人和社会造成了巨大的安全威胁。针对现有鉴别Deep Fake方法泛化能力差的问题,本文提出了一种基于多通道注意力机制的鉴别方法。该方法主要由Xception主干网络、多通道注意力模块MCA、双线性特征-注意力汇合模块BFAP和自动数据增强模块AG-DA四部分组成,以“端到端的学习方式,实现了鉴别Deep Fake图片的功能。本文主要研究内容如下:(1)针对CBAM注意力的信息损失问题,本文借鉴自注意力的思想对CBAM注意力进行改进,并设计了MCA注意力模块。该模块以矩阵相乘的方式结合了单层卷积全局注意力表示和CBAM注意力表示,并在与主网络的连接上引入了跳跃连接,实现了两种注意力表示的双通道融合。(2)针对人脸区域结构分明的特点,本文借鉴特征融合的思想对双线性汇合进行改进,设计了BFAP双线性特征-注意力汇合模块。该模块将模型生成多个注意力图与特征图按元素逐个相乘,并通过GAP层进行维度优化并拼接,实现人脸区域特征的进一步提取。(3)针对传统的裁剪数据增强会造成信息损失这一问题,本文利用注意力机制设计了AG-DA自动数据增强模块。该模块首先利用网络每一批次训练生成的一组注意力图,从中选出比重较高的两张,然后通过阈值选择对两张注意力图进行分割,分别得到裁剪和去除掩模,最后利用双线性插值使尺寸恢复至输入图像大小,再送入模型训练,实现了具有学习效果的自动数据增强功能。(4)对经典分类损失函数进行了扩增,在交叉熵损失的基础上添加了对人脸更敏感的中心损失。将中心损失的类中心替换为不同特征的特征中心,使同一类别中同一部分的特征尽可能地接近,以得到更适用于Deep Fake鉴伪的损失函数。本文整体方法分别在自己构建的同源数据集和DFDC异源数据集上,与五种方法Xception、Meso Net、Capsule-Net、S-MIL-T和B4Att进行了对比。实验结果表明,与五种方法相比较,在同源数据集上测试精度提高了1.36%～9.95%;在异源数据集上测试精度提高了3.88%～18.50%。另外本文设计的MCA模块、BFAP模块、AG-DA模块和损失函数相较改进前测试精度分别提升了0.29%、0.42%、0.51%和0.19%。