基于掩膜自动编码器的对抗对比蒸馏算法

作     者：张点 董云卫 ZHANG Dian;DONG Yun-Wei

作者机构：西北工业大学计算机学院 西北工业大学软件学院 

出 版 物：《计算机学报》 (Chinese Journal of Computers)

年 卷 期：2024年第47卷第10期

页      面：2274-2288页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划(2022YFB4501801) 西北工业大学博士论文创新基金(CX2024075)资助~~ 

主　　题：神经网络 对抗样本 对抗训练 掩膜自动编码器 对比蒸馏 对抗鲁棒性 

摘      要：随着人工智能的不断发展,神经网络对不同领域的任务都表现出了优异的性能.然而,对抗样本的存在对神经网络在安全相关领域中的应用提出了挑战.为了改善对抗训练耗时和对抗样本缺乏多样性的问题,本文提出一种使用改进掩膜自动编码器训练教师网络的对比蒸馏算法抵御对抗攻击.首先,为了减弱教师模型对图像全局特征的依赖,教师模型在改进的掩膜自动编码器中学习如何根据可见子块推理遮挡子块的特征.然后,为了减弱对抗干扰的影响,本文采用知识蒸馏和对比学习的方法提升目标模型的对抗鲁棒性,通过知识蒸馏转移教师模型的特征到学生模型减少模型对全局特征的依赖,通过对比学习提升学生模型对图像之间细节特征的识别能力.最后,本文采用标签信息对分类头进行调节确保识别准确率.在ResNet50和WideResNet50中进行的实验表明,CIFAR-10中对抗准确率平均提升11.50%;CIFAR-100中对抗准确率平均提升6.35%.实验结果证明基于掩膜自动编码器的对比蒸馏算法能够通过只生成一次对抗样本减弱对抗干扰的影响,并通过随机掩膜构建多样本视角提升样本多样性,增强神经网络对抗鲁棒性.