检索结果-南通市图书馆

不同监督强度下的多标签分布外样本检测算法研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

不同监督强度下的多标签分布外样本检测算法研究

作者：王磊重庆大学

学位级别：硕士

随着图像分类模型在开放世界的广泛应用,分布外样本的干扰已成为制约模型部署的主要挑战之一。现有相关研究大多聚焦于单标签图像分类背景下的分布外样本检测任务,然而多标签图像更能准确反映与描述真实场景,该图像分类背景下的分布外... 详细信息

随着图像分类模型在开放世界的广泛应用,分布外样本的干扰已成为制约模型部署的主要挑战之一。现有相关研究大多聚焦于单标签图像分类背景下的分布外样本检测任务,然而多标签图像更能准确反映与描述真实场景,该图像分类背景下的分布外样本检测问题却鲜有研究。少数前期研究工作已针对多标签分布外样本检测问题进行了初步探索,但相关工作主要集中于解决全监督强度下的多标签分布外样本检测问题,弱监督强度下的多标签分布外样本检测问题仍缺少系统性的研究。与此同时,这些工作往往忽略了多标签数据的一些天然属性及其标签空间中广泛存在的潜在关联,无法利用标签空间的潜在信息提升多标签分布外样本检测性能。因此,研究不同监督强度下的多标签分布外样本检测算法,探索并利用标签空间的潜在信息,对提升多标签分布外样本检测能力与多标签图像分类模型应用能力具有重要意义。为实现上述目标,本文针对不同监督强度下的多标签分布外样本检测任务,围绕标签空间潜在信息,提出了两种不同监督强度下的分布外样本检测算法,整体提升了多标签图像分类模型在不同监督强度下的分布外样本检测能力。本文主要创新点与贡献包括:(1)在全监督多标签图像分类情形下,提出了基于标签共现关系与稀疏性的分布外样本检测算法,计算分布内数据标签共现矩阵,刻画多标签数据标签空间潜在关联信息,并利用标签稀疏性抑制低置信度预测结果,生成稳定的分布外样本检测得分,验证了标签空间中的标签共现关系与稀疏性在多标签分布外样本检测任务中的有效性。在Pascal VOC 2012、Microsoft COCO与NUS-WIDE等多个通用公开多标签数据集上的大量实验表明,相较于现有分布外样本检测方法,该方法在FPR@95指标上分别提升了12.41%、12.85%与9.50%。(2)在弱监督多标签图像分类情形下,提出了基于噪声标签损失效应的分布外样本检测算法,在训练阶段计算自适应损失阈值,矫正噪声标签引起的异常损失值完成多标签图像分类模型参数学习,在推断阶段抑制未知类别的过高置信度预测结果,甄别噪声标签引起的异常损失值,生成具有判别性的分布外样本检测得分,验证了噪声标签损失效应与标签空间稀疏性在多标签分布外样本检测任务中的有效性。在Pascal VOC 2012、Microsoft COCO与NUS-WIDE等多个通用公开多标签数据集上的大量实验表明,相较于现有分布外样本检测方法,该方法在三个数据集上的FPR@95指标分别提升了1.05%、0.97%与0.35%。

关键词：多标签图像分类分布外样本检测全监督学习弱监督学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于模型库增强的分布外样本检测

基于模型库增强的分布外样本检测

作者：薛峰湖南大学

学位级别：硕士

分布外(Out-Of-Distribution,OOD)样本检测,即识别输入是否来自不同于训练样本的新分布,是现实世界中构建可靠机器学习系统的关键任务之一。近年来,利用预训练模型进行OOD检测的方法表现出了良好的性能,并且可以被推广到超大规模检测任... 详细信息

分布外(Out-Of-Distribution,OOD)样本检测,即识别输入是否来自不同于训练样本的新分布,是现实世界中构建可靠机器学习系统的关键任务之一。近年来,利用预训练模型进行OOD检测的方法表现出了良好的性能,并且可以被推广到超大规模检测任务中。然而,由于经典OOD检测方法的效果受限于预训练模型,因此难以进一步提升OOD检测性能。例如,模型A对来自某个分布的OOD样本检测效果较好,对来自另外一个分布的样本检测效果较差,而模型B的表现与模型A恰好相反。这自然引出了一个重要的研究问题:能否利用不同预训练模型的多样性,设计出对分布变化更加敏感的OOD检测器呢?针对上述问题,本文从预训练模型库的角度对OOD检测问题提供了新的解决方案,并且设计了一种基于模型选择的集成检测框架,能够自动为每个测试样本挑选合适的预训练模型来判断其是否为OOD样本。当没有模型被选择时,则将测试样本判别为OOD样本。本文将提出的方法命名为基于模型库增强的OOD检测(Zoo-based OOD Detection Enhancement,ZODE)方法。与传统使用阈值的单模型检测器不同,本文提出的ZODE框架采用集成p值的方式来进行OOD检测。本文的主要贡献如下:(1)从理论上分析并证明了所提方法的可靠性。(2)在不同的OOD检测任务上与其他同类方法进行了对比实验。理论分析结果表明:当模型库规模足够大时,ZODE可以保证分布内(In-Distribution,ID)样本检测的真阳性率达到目标水平,并且能以很高的概率识别出测试数据集中的OOD样本。实验结果表明:ZODE可以有效地利用不同单模型检测器之间的互补性,显著地提高OOD检测性能。与以CIFAR10为ID样本的检测任务中表现最好的方法相比,ZODE将平均假阳率从11.07%降到3.83%,将检测精度提升65.40%;在以Image Net-1k为ID样本的检测任务上,ZODE将平均假阳率从38.47%降到28.10%,将检测精度相对提升26.96%。

关键词：分布外样本检测预训练模型库模型选择集成检测框架

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

异常样本对DNN模型鲁棒性的影响研究

异常样本对DNN模型鲁棒性的影响研究

作者：周玲军天津大学

学位级别：硕士

基于深度神经网络(DNN)模型的智能系统在无人驾驶、人脸识别等多领域不断落地,改变着我们的日常生活。然而,DNN模型的内在决策逻辑尚不明朗,可解释性和鲁棒性的相关研究仍不充分,阻碍了其在安全攸关领域的进一步应用。因此,对于DNN模型... 详细信息

基于深度神经网络(DNN)模型的智能系统在无人驾驶、人脸识别等多领域不断落地,改变着我们的日常生活。然而,DNN模型的内在决策逻辑尚不明朗,可解释性和鲁棒性的相关研究仍不充分,阻碍了其在安全攸关领域的进一步应用。因此,对于DNN模型在不同场景下的鲁棒性研究就变得至关重要。本文从广泛存在的两类异常样本——对抗样本和分布外样本出发,揭示了深度神经网络模型在处理图像分类任务中存在的潜在安全风险,并对其进行鲁棒性分析。一方面,本文提出了一种在黑盒场景下的对抗样本生成技术,即基于两阶段进化算法的黑盒对抗攻击方法Deep Evolve。该方法在只有“输入-输出”的情况下,通过对原始图像进行像素级别的变换和微小的扰动变换来生成对抗样本。两阶段的进化算法分别以变换向量和扰动图像为种群个体进行遗传变异过程,可以突破现有的防御机制,对目标DNN模型进行更强的攻击。另一方面,本文从数据分布的角度出发,在两个基准图像分类任务上,利用12个不同的分布外数据集和4个流行的网络结构,训练了8个不同的模型,对现有的6种分布外检测方法从检测性能、鲁棒性等方面进行了系统地评估比较。基于评估的结果,本文进一步研究了分布外样本感知模型与无感知模型,在准确性、鲁棒性和不确定性方面的差异,指出了在模型生命周期中考虑数据分布影响的必要性。对抗样本的实验结果显示,Deep Evolve可以在黑盒情况下更有效率地寻找到高欺骗性、强鲁棒性的语义对抗样本,从而能揭示DNN模型更深层次的缺陷。分布外样本的研究发现表明,在部署和测试基于DNN模型的深度学习系统时,要充分考虑不同数据分布对其可靠性和鲁棒性的影响。通过训练分布外感知的模型可以避免无意义、不可靠的输出结果,从而推动可信赖深度学习的发展。

关键词：深度神经网络异常样本对抗攻击分布外样本检测鲁棒性分析

通过生成辅助样本解决神经网络分布外高置信度问题

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

通过生成辅助样本解决神经网络分布外高置信度问题

作者：马霄龙广州大学

学位级别：硕士

随着深度学习技术的迅猛发展,计算机在图像分类等任务上不断取得新的突破。然而,神经网络在训练过程中基于封闭世界假设,认为实际输入的样本始终与训练样本的类别一致。导致在实际应用中,一旦遇到未知的类别,即分布外(OOD,Out-of-Distri... 详细信息

随着深度学习技术的迅猛发展,计算机在图像分类等任务上不断取得新的突破。然而,神经网络在训练过程中基于封闭世界假设,认为实际输入的样本始终与训练样本的类别一致。导致在实际应用中,一旦遇到未知的类别,即分布外(OOD,Out-of-Distribution)样本,神经网络往往会以极高置信度将它们预测为某种已知的类别。这一现象被称为神经网络对OOD样本过度自信的问题,严重影响了神经网络在实际应用场景中的部署。为应对这一问题,一种常见的思路是将其看作一个简单的二分类任务,通过OOD检测器提前检测出OOD样本并拒绝其作为神经网络的输入。但是这需要引入额外的检测模块且检测的效果很大程度取决于分类模型的性能。另外一种思路则是通过压制训练为模型补充缺失的OOD监督信号,强制神经网络对OOD样本输出比较均匀的置信度。相较于OOD检测,学术界认为压制训练可以从根本上解决神经网络过度自信的问题。压制训练的核心在于如何为模型提供更好的OOD监督信号。首先,要构建高质量的OOD辅助集。从现实世界直接采集OOD样本、将噪声作为OOD样本或通过生成式方法都可以被用于构建OOD辅助集,但是这些方法存在成本高、OOD样本质量差、不够多样化等问题。此外,当前的压制训练算法虽然可以缓解神经网络过度自信问题,但可能会导致模型在原本分类任务上性能的降低。基于这些问题,本文提出了一种高效的OOD样本生成方法与一种温和的OOD样本利用方法,有助于提升神经网络的鲁棒性,本文主要研究工作如下:(1)设计并实现了一种高效的OOD样本生成方法。通过特征交叉的方式将ID样本转化为OOD样本,可以快速构建具有大量、多样样本的OOD辅助集,为神经网络分类器提供更优质的OOD监督信号。(2)提出了一种更加温和的压制训练算法。通过贡献度矩阵找出模型中对ID决策具有重要作用的区域,并在压制训练时尽可能减小OOD样本对这些区域的干扰,从而实现模型分类性能与鲁棒性的平衡。(3)设计并实现了OOD样本生成与评测系统。集成了OOD样本生成、利用和评估的全流程,为后续开展OOD样本相关研究提供了便利条件,对于解决神经网络对OOD样本过度自信问题的研究有积极作用。

关键词：神经网络鲁棒性分布外样本生成压制训练分布外样本检测