检索结果-南通市图书馆

应用积分梯度和生成模型的黑盒对抗样本生成方法研究

在线全文

学校读者我要写书评

暂无评论

应用积分梯度和生成模型的黑盒对抗样本生成方法研究

作者：王正来中国科学技术大学

学位级别：硕士

对抗样本普遍存在于深度神经网络模型之中,严重威胁网络模型在自动驾驶、安防监控等敏感领域的应用,从而引发人们对人工智能技术安全性的担忧。通过微小修改原始数据制作成对抗样本,可以在不引起人察觉的前提下误导模型输出错误结果。... 详细信息

对抗样本普遍存在于深度神经网络模型之中,严重威胁网络模型在自动驾驶、安防监控等敏感领域的应用,从而引发人们对人工智能技术安全性的担忧。通过微小修改原始数据制作成对抗样本,可以在不引起人察觉的前提下误导模型输出错误结果。研究者致力于开发更先进的对抗样本生成方法,以高效地欺骗模型,该技术在评估网络模型的安全性、促进防御技术发展等方面都具有重要意义。目前研究难点集中于黑盒攻击,在该场景下,攻击者仅具有获取模型预测结果的权限。黑盒攻击分为基于迁移和基于查询两种路线,其中,迁移攻击成功率普遍较低,而查询攻击需要多次访问模型,样本隐匿性不足,易被防御技术抵御。为应对以上难点,本文将聚焦于黑盒攻击的两种技术路线,研究如何提升迁移攻击成功率,以及在保持低查询需求的前提下提升对抗样本的隐匿性。本文研究内容和创新贡献主要包括以下三个部分:(1)提出一种基于自适应引导积分梯度的迁移攻击算法。现有攻击方法大多将视野投放到整张图片,对所有特征无差别攻击,忽略了不同区域对预测结果的影响差异,制约了对抗样本在不同模型之间的迁移能力。因此,本文研究如何改进注意力机制来设计出能够衡量不同特征重要性的攻击方式。作为一种常用的模型解释技术,积分梯度生成的注意力结果存在大量的无规律噪声,在一定程度上限制了攻击迁移性。本文分析这种现象源于其采取的直线积分路径易进入不相关的像素区域,其中高幅值的梯度累积导致了无效噪点的产生。为解决这一问题,本文利用引导积分梯度技术,将直线积分路径优化为自适应路径,设计了一种迁移攻击算法。具体来说,首先,在基线到输入的路径内设置多个固定点;然后,相邻固定点之间的区段内沿较小梯度方向前进;最后,算法在迭代攻击过程中结合梯度裁剪和动量记忆等策略来平稳优化方向。实验表明,该算法可以有效提升对抗样本迁移性。(2)提出一种基于信息熵基线和扩展路径的迁移攻击算法。积分梯度从数学定义转向工程应用普遍存在两类问题:其一,基线指代不含任何信息的参考量,而目前没有合适的基线可以适用于所有模型;其二,仅考虑从基线到输入的有限积分路径忽略了路径之外的有效梯度累积。因此,本文研究改进积分梯度来提升其生成的注意力区域的精准性。首先,针对第一个问题,本文提出信息熵基线,用信息熵来衡量不同输入在模型视角下所携带的信息量,并针对不同模型单独训练,确保预测的所有类别概率相近,基线对模型呈现中性。其次,针对第二个问题,本文提出扩展积分梯度,将无穷远处设定为饱和区,在原定义路径上额外补充从输入到饱和点的有效梯度累积。最后,本文提出了基于信息熵基线和扩展路径的迁移攻击算法,将改进之后的积分梯度作为优化方向,并结合梯度平滑操作来过滤噪点,进一步提升算法的迁移攻击性能。(3)提出一种基于变分自编码器的分布拟合查询攻击算法。查询攻击的成功率远高于迁移攻击,但是需要庞大的访问次数来支撑,生成的对抗样本在大尺度视角下具有明显的扰动条纹,易引起监管者警觉,这与对抗样本远离原始数据分布息息相关。因此,本文从数据分布的角度研究如何制作出隐匿性较强的对抗样本生成技术。具体来说,首先,在原始数据集上训练一个变分自编码器作为提取中间分布参数的工具;然后,利用自然进化策略在分布参数的临近区域内搜索具有对抗性的点;最后,通过解码器和裁剪等操作将对抗点映射回可行域内,从而输出最终结果。实验结果表明,该方法能够以较低的查询次数制作出无对抗条纹的对抗样本,即使模型使用各种防御技术来抵抗外部攻击,该方法也能取得更高的成功率,与现有算法相比具有明显优势。

关键词：对抗样本深度神经网络迁移能力积分梯度查询攻击

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

应用引导积分梯度的对抗样本生成

计算机系统应用 2023年第7期32卷 171-178页

作者：王正来关胜晓中国科学技术大学信息科学技术学院合肥230026

给图片添加特定扰动可以生成对抗样本,误导深度神经网络输出错误结果,更加强力的攻击方法可以促进网络模型安全性和鲁棒性的研究.攻击方法分为白盒攻击和黑盒攻击,对抗样本的迁移性可以借已知模型生成结果来攻击其他黑盒模型.基于直线... 详细信息

给图片添加特定扰动可以生成对抗样本,误导深度神经网络输出错误结果,更加强力的攻击方法可以促进网络模型安全性和鲁棒性的研究.攻击方法分为白盒攻击和黑盒攻击,对抗样本的迁移性可以借已知模型生成结果来攻击其他黑盒模型.基于直线积分梯度的攻击TAIG-S可以生成具有较强迁移性的样本,但是在直线路径中会受噪声影响,叠加与预测结果无关的像素梯度,影响了攻击成功率.所提出的Guided-TAIG方法引入引导积分梯度,在每一段积分路径计算上采用自适应调整的方式,纠正绝对值较低的部分像素值,并且在一定区间内寻找下一步的起点,规避了无意义的梯度噪声累积.基于ImageNet数据集上的实验表明,Guided-TAIG在CNN和Transformer架构模型上的白盒攻击性能均优于FGSM、C&W、TAIG-S等方法,并且制作的扰动更小,黑盒模式下迁移攻击性能更强,表明了所提方法的有效性.

关键词：深度神经网络对抗攻击积分梯度引导路径迁移攻击

在线全文

学校读者我要写书评

暂无评论

数据驱动的电力系统关键断面筛选

电网技术 2023年第10期47卷 4035-4045页

作者：刁晗肖谭南黄少伟陈颖沈沉清华大学电机工程与应用电子技术系北京市海淀区100084 清华四川能源互联网研究院能源系统数字孪生研究所四川省成都市610299

关键断面筛选对电力系统运行分析与控制至关重要。现代电力系统日益规模化和复杂化,传统的物理模型驱动的筛选方法计算效率偏低,难以满足在线分析需求,而现有的数据驱动算法难以兼顾模型性能、可解释性和发现新关键断面的能力。针对上... 详细信息

关键断面筛选对电力系统运行分析与控制至关重要。现代电力系统日益规模化和复杂化,传统的物理模型驱动的筛选方法计算效率偏低,难以满足在线分析需求,而现有的数据驱动算法难以兼顾模型性能、可解释性和发现新关键断面的能力。针对上述问题,该文提出了一种基于神经网络可解释性的数据驱动算法。首先,建立了基于多通道长短时记忆(long short-term memory,LSTM)神经网络的暂态稳定分析模型,根据故障后短时受扰曲线类型建立多个特征提取通道,实现功角稳定性预测。接着,采用基于积分梯度的神经网络可解释方法探究线路功率与暂态稳定性之间的关系,结合输电断面的拓扑约束和潮流流向约束,筛选出对暂态稳定影响较大的关键断面。最后,在IEEE39节点系统中对所提算法进行了测试,验证了算法的正确性,该算法兼顾了模型表达能力与可解释性,具备发现新关键断面的能力,计算效率高,可用于在线关键断面筛选。

关键词：深度学习神经网络积分梯度暂态稳定关键断面

基于逐层增量分解的深度网络神经元相关性解释方法

在线全文

学校读者我要写书评

暂无评论

自动化学报 2024年第10期50卷 2049-2062页

作者：陈艺元李建威邵文泽孙玉宝智能信息处理与通信技术省高校重点实验室(南京邮电大学) 南京210003 南京邮电大学通信与信息工程学院南京210003 南京信息工程大学教育部数字取证工程研究中心南京210044

神经网络的黑箱特性严重阻碍了人们关于网络决策的直观分析与理解.尽管文献报道了多种基于神经元贡献度分配的决策解释方法,但是现有方法的解释一致性难以保证,鲁棒性更是有待改进.本文从神经元相关性概念入手,提出一种基于逐层增量分... 详细信息

神经网络的黑箱特性严重阻碍了人们关于网络决策的直观分析与理解.尽管文献报道了多种基于神经元贡献度分配的决策解释方法,但是现有方法的解释一致性难以保证,鲁棒性更是有待改进.本文从神经元相关性概念入手,提出一种基于逐层增量分解的神经网络解释新方法LID-Taylor(Layer-wise increment decomposition),且在此基础上先后引入针对顶层神经元相关性的对比提升策略,以及针对所有层神经元相关性的非线性提升策略,最后利用交叉组合策略得到最终方法SIG-LID-IG,实现了决策归因性能的鲁棒跃升.通过热力图对现有工作与提出方法的决策归因性能做了定性定量评估.结果显示,SIG-LID-IG在神经元的正、负相关性的决策归因合理性上均可媲美甚至优于现有工作.SIG-LID-IG在多尺度热力图下同样取得了精确性更高、鲁棒性更强的决策归因.

关键词：神经网络可解释性决策相关性逐层相关性传播类激活图积分梯度

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

去中心化场景下的隐私保护联邦学习优化方法

计算机应用研究 2024年第8期41卷 2419-2426页

作者：侯泽超董建刚新疆大学软件学院乌鲁木齐830000

联邦学习的提出为跨数据孤岛的共同学习提供了新的解决方案,然而联邦节点的本地数据的非独立同分布(Non-IID)特性及中心化框架在参与方监管、追责能力和隐私保护手段上的缺失限制了其大规模应用。针对上述问题,提出了基于区块链的可信... 详细信息

联邦学习的提出为跨数据孤岛的共同学习提供了新的解决方案,然而联邦节点的本地数据的非独立同分布(Non-IID)特性及中心化框架在参与方监管、追责能力和隐私保护手段上的缺失限制了其大规模应用。针对上述问题,提出了基于区块链的可信切片聚合策略(BBTSA)和联邦归因(FedAom)算法。FedAom引入归因思想,基于积分梯度法获取归因,从而定位影响模型决策行为的参数,分级考虑参数敏感性,在局部更新过程中保持和强化全局模型所学习到的关键知识,有效利用共享数据,从而缓解Non-IID问题。BBTSA基于区块链构建去中心化的联邦学习环境,允许联邦节点在无须中心化第三方的情况下,通过在参与方间交换噪声而非权重或梯度参数,基于合作树结构实现对参数的切片混淆,以保护节点隐私。在两种数据集上的不同分布条件下的验证结果显示,FedAom在大多数条件下相比基线方法在稳定性和收敛速度上都有显著提升。而BBTSA能够隐藏客户端的隐私参数,在不影响精度的情况下确保了训练过程的全程监控和隐私安全。

关键词：联邦学习区块链隐私保护非独立同分布积分梯度归因

张力线磁场测量系统的平台搭建与相关测试实验研究

在线全文

学校读者我要写书评

暂无评论

原子核物理评论 2023年第3期40卷 377-384页

作者：杨颜冰杨文杰吴巍冯文天欧贤金李大为杨静张翔陈广全张旭姚庆高马力祯中国科学院近代物理研究所兰州730000 中国科学院大学北京100049 兰州大学核科学与技术学院兰州730000

张力线法作为一种优质的磁场测量方法,具有定位精度高、测量快捷、可测量小孔径磁体等优势,被许多国外实验室所采用并广泛应用于加速器磁场测量领域当中。本工作研究了张力线测量方法的相关理论,搭建了一套张力线磁场测量平台;并对一台... 详细信息

张力线法作为一种优质的磁场测量方法,具有定位精度高、测量快捷、可测量小孔径磁体等优势,被许多国外实验室所采用并广泛应用于加速器磁场测量领域当中。本工作研究了张力线测量方法的相关理论,搭建了一套张力线磁场测量平台;并对一台常规四极铁进行了一系列的测试实验,研究了信号处理方法并验证了测量精度。结果表明,该张力线系统的磁中心测量重复性精度好于±6μm,满足大部分加速器工程的测试需求。未来该系统还将继续完善并广泛应用于相关装置的磁场测量工作中。

关键词：张力线磁场测量磁中心偏差积分梯度

在线全文

学校读者我要写书评

暂无评论

防御链接预测攻击的隐私保护方法

计算机工程与设计 2022年第1期43卷 18-25页

作者：韩学波王利娥黄丝曼刘鹏李先贤广西师范大学广西多源信息挖掘与安全重点实验室广西桂林541004

为解决现有的防御链接预测攻击的隐私保护方法的不足,提出一种基于积分梯度的局部扰动算法LDIG(local disturbance algorithm based on integral gradient)。利用敏感链接的闭合子图确定扰动范围,根据扰动范围内链接的积分梯度迭代扰动... 详细信息

为解决现有的防御链接预测攻击的隐私保护方法的不足,提出一种基于积分梯度的局部扰动算法LDIG(local disturbance algorithm based on integral gradient)。利用敏感链接的闭合子图确定扰动范围,根据扰动范围内链接的积分梯度迭代扰动链接,同时将链接预测对扰动图中敏感链接的预测结果作为扰动结束的判断依据。实验结果表明,LDIG算法的计算复杂度较低,适用于大规模社交网络的隐私保护,扰动链接的数量较少,提高了数据的效用性。

关键词：社交网络深度学习链接预测敏感链接积分梯度局部扰动隐私保护

在线全文

学校读者我要写书评

暂无评论

面向图像分类的对抗攻击与防御研究

面向图像分类的对抗攻击与防御研究

作者：章进南京邮电大学

学位级别：硕士

近年来,随着数据量的爆炸式增长和计算机性能的飞速提升,深度神经网络得到了空前的发展。深度神经网络由于其强大的特征提取能力和表达能力,被广泛的运用于越来越多的领域。然而,研究者们发现深度神经网络也存在安全威胁。特别在图像分... 详细信息

近年来,随着数据量的爆炸式增长和计算机性能的飞速提升,深度神经网络得到了空前的发展。深度神经网络由于其强大的特征提取能力和表达能力,被广泛的运用于越来越多的领域。然而,研究者们发现深度神经网络也存在安全威胁。特别在图像分类领域,攻击者可以通过向干净图片上加入精心设计的微小的扰动,来使得深度神经网络分类器作出错误的预测,并且这种扰动对于人类来说是不可见的。加入了扰动之后的图片就是对抗样本。对抗样本的存在严重威胁到深度学习模型在众多安全领域的运用,例如人脸识别、自动驾驶、医疗辅助系统等。因此,如何保护深度学习模型使其免受对抗样本的攻击是一个急需解决并具有挑战性的问题。此外,研究强有力的对抗攻击算法,对于理解深度网络内在的脆弱性,进一步提升模型的鲁棒性和安全性变的非常的有意义。目前的对抗样本生成算法容易过拟合,并且白盒攻击成功率较高,而黑盒攻击成功率较低。针对该问题,本文提出了一种基于积分损失的对抗样本生成算法,利用积分损失函数来衡量模型输入对于模型输出的重要性程度,进而找出能够影响模型输出的重要的输入特征,并在这些特征上进行扰动,有效地提升了对抗样本攻击成功率。实验结果表明,在Image Net数据集上,所提出的算法相比于目前主流的PGD算法,在保留几乎100%白盒攻击成功率的同时,将黑盒攻击成功率进一步提升了10-20%。传统的基于图像重构的鲁棒性防御算法具有一个共同的做法,即对整个图像进行重构。这种做法在某些算法上是非常的耗时的,例如总方差最小化算法。同时,图像重构算法也在一定程度上会影响原始图片数据集的分类准确率。针对以上问题,本文提出了一种基于随机区域的图像重构鲁棒性防御算法。实验结果表明,在Image Net数据集上,与传统的完全区域的图像重构算法相比,所提出的算法减少了最大50%的运行时间,并且在不降低对于对抗样本的防御性能上,一定程度上减轻了对于原始图像数据集分类准确率的影响。

关键词：对抗样本白盒攻击积分梯度对抗防御卷积神经网络深度学习

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

针对人脸识别模型的对抗样本生成技术研究

针对人脸识别模型的对抗样本生成技术研究

作者：陈诗浩广州大学

学位级别：硕士

近期,随着人工智能领域的迅速进展,各行各业普遍采用了人脸识别技术。随着这项技术被越来越广泛地应用,它的安全性问题也受到了广泛关注。人脸识别模型作为一类深度学习模型,它同样也很容易受到一些微小扰动的攻击,这些扰动产生的对抗... 详细信息

近期,随着人工智能领域的迅速进展,各行各业普遍采用了人脸识别技术。随着这项技术被越来越广泛地应用,它的安全性问题也受到了广泛关注。人脸识别模型作为一类深度学习模型,它同样也很容易受到一些微小扰动的攻击,这些扰动产生的对抗样本难以被察觉,并且会误导模型做出错误的判断。因此,研究针对人脸识别的对抗攻击技术变得格外重要,这对理解模型的基本原理具有重大意义。现有的对抗样本生成方法主要是针对图像分类模型,尽管在图像分类模型上取得比较好的效果,但是由于人脸图像的高维度性以及人脸识别模型的复杂性,这些方法应用到人脸识别模型上,存在一定的局限性。为了揭露人脸识别模型同样易受对抗样本干扰的这种现象,本文分别在白盒和灰盒场景下提出了两种针对人脸识别模型的生成对抗样本的方法,研究内容如下:(1)提出了基于区域感知的人脸对抗样本生成方法(IG-FGSM)。现有的Attentionguided Transfer Attack算法(ATA),它从白盒场景出发,选用Grad-CAM的思想来找到模型在做决策时最关注的特征,利用模型的概率向量去计算特定类别关于卷积层输出的梯度,专注于对这些关键的特征使用I-FGSM方法施加扰动,从而生成有针对性的对抗样本。然而,因为大多数情况人脸识别模型的输出是特征向量,并不是分类模型的概率向量,而Grad-CAM需要利用概率向量去计算特定类别关于卷积层输出的梯度,在这种情况下使用它的效果不好。另一方面,应用I-FGSM会有一定的概率陷入局部最优解,导致生成的对抗样本攻击能力一般。因此,本文提供了一种基于区域感知的人脸对抗样本生成方法,使用积分梯度法来对输入样本进行梯度可视化生成显著图,利用显著图选出决策关键区域,该方法不依赖模型必须输出概率向量,同时针对样本的关键区域应用攻击效果较好的MI-FGSM算法生成局部对抗扰动。本文在LFW人脸数据集上进行了实验,实验结果表明本文提出的方法要比ATA方法更有效,在攻击成功率与MI-FGSM相近的同时,比ATA方法的攻击成功率有10.4%至40.5%的提升,并且提高了对抗样本的隐蔽性。(2)提出了基于组合式差分进化算法的人脸对抗样本生成方法(Co DE-AG)。现有的One Pixel Attack方法,从灰盒的场景出发,强调不使用模型的梯度信息,将生成对抗样本的优化问题利用差分进化算法来解决,只改变少量像素点即可达到攻击模型的效果。但是,传统的差分进化算法只使用一种变异策略以及一组固定的参数搭配,并且该OPA算法缺乏交叉操作,在面对人脸数据集这样高维的样本下,不利于平衡算法迭代期对全局搜索与局部搜索的需求,有概率陷入局部最优解。针对上述问题,本文提出了一个基于组合式差分进化算法的人脸对抗样本生成方法,该方法使用组合式差分进化算法,含有三种变异策略和三组参数,在优化过程中随机组合使用,可以让算法适应更多的场景,有效跳出局部最优解。另一方面,本文使用与低维样本相同的扰动比例确定扰动的像素个数,其次利用MTCNN人脸检测技术预先确定人脸区域,针对人脸区域应用攻击算法,可以降低算法的搜索空间。实验结果表明,本文提出的算法在攻击成功率上要优于One Pixel Attack算法,对比0.7%扰动比例下的OPA算法时仍然展现出了10%至13.9%的成功率提升,同时在算法的查询次数上普遍降低了100左右。

关键词：对抗样本人脸识别模型局部扰动积分梯度差分进化算法