面向卷积神经网络泛化性和健壮性权衡的标签筛选方法

作     者：王益民 龙显忠 李云 熊健 

作者机构：南京邮电大学计算机学院软件学院网络空间安全学院 

出 版 物：《软件学报》 (Journal of Software)

年 卷 期：2024年

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(62371254 61906098) 

主　　题：卷积神经网络 对抗学习 标签信息 正则化 

摘      要：虽然卷积神经网络凭借优异的泛化性能被广泛应用在图像识别领域中,但被噪声污染的对抗样本可以轻松欺骗训练完全的网络模型,带来安全性的隐患.现有的许多防御方法虽然提高了模型的健壮性,但大多数不可避免地牺牲了模型的泛化性.为了缓解这一问题,提出了标签筛选权重参数正则化方法,在模型训练过程中利用样本的标签信息权衡模型的泛化性和健壮性.先前的许多健壮模型训练方法存在下面两个问题:1)大多通过增加训练集样本的数量或复杂度来提高模型的健壮性,这不仅弱化了干净样本在模型训练过程中的主导作用,也使得训练任务的工作量大大提高; 2)样本的标签信息除了被用于与模型预测结果对比来控制模型参数的更新方向以外,在模型训练中几乎不被另作使用,这无疑忽视了隐藏于样本标签中的更多信息.所提方法通过样本的正确标签和对抗样本的分类标签筛选出模型在分类该样本时起决定性作用的权重参数,对这些参数进行正则优化,达到模型泛化性和健壮性权衡的效果.在MNIST、CIFAR-10和CIFAR-100数据集上的实验和分析表明,提出的方法能够取得很好的训练效果.