一种基于多模态的高质量对抗样本的生成网络

作     者：匡仁盛 

作者单位：南昌大学 

学位级别：硕士

导师姓名：朱小刚

授予年度：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：深度伪造 深度学习 多模态 数字反取证 对抗样本 生成对抗网络 

摘      要：如今,伪造的数字图像或视频可以成为犯罪或恶意行为无可辩驳的证据。对手故意伪造视频图像就是所谓的对抗样本,人们通常在视觉上无法区分它们与原始图像,并且可能在使用基于GAN的模型的各种应用中出现灾难性错误。尽管研究表明这些合成图像包含可以被深度伪造检测器轻松识别的伪造痕迹,但它们仍然容易受到对抗样本攻击从而绕开检测器的检测。在本文中我们提出了一个高效、简单且易于使用的框架:DCHV-GAN,来生成高视觉质量对抗样本。我们的方法使用经过对抗训练的生成器合成与真实图像相关联的取证痕迹来攻击探测器。我们通过把在扩散模型前向过程中噪声添加方法应用在预处理阶段,将噪声注入到图像中来欺骗检测器。同时,我们将MAB添加到生成网络中,以提高生成样本的视觉质量。此外,我们分别提出了空间域和频率域的五重损失来控制对抗样本的生成。训练过程我们采用双阶段训练方法。通过一系列实验,我们证明我们的攻击可以攻击Deepfake检测器,同时不会在对抗样本中引入任何明显的失真,从而实现最先进的对抗样本攻击。