检索结果-南通市图书馆

检索条件"主题词=压制训练"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

通过生成辅助样本解决神经网络分布外高置信度问题

通过生成辅助样本解决神经网络分布外高置信度问题

引用

作者：马霄龙广州大学

学位级别：硕士

随着深度学习技术的迅猛发展,计算机在图像分类等任务上不断取得新的突破。然而,神经网络在训练过程中基于封闭世界假设,认为实际输入的样本始终与训练样本的类别一致。导致在实际应用中,一旦遇到未知的类别,即分布外(OOD,Out-of-Distri... 详细信息

随着深度学习技术的迅猛发展,计算机在图像分类等任务上不断取得新的突破。然而,神经网络在训练过程中基于封闭世界假设,认为实际输入的样本始终与训练样本的类别一致。导致在实际应用中,一旦遇到未知的类别,即分布外(OOD,Out-of-Distribution)样本,神经网络往往会以极高置信度将它们预测为某种已知的类别。这一现象被称为神经网络对OOD样本过度自信的问题,严重影响了神经网络在实际应用场景中的部署。为应对这一问题,一种常见的思路是将其看作一个简单的二分类任务,通过OOD检测器提前检测出OOD样本并拒绝其作为神经网络的输入。但是这需要引入额外的检测模块且检测的效果很大程度取决于分类模型的性能。另外一种思路则是通过压制训练为模型补充缺失的OOD监督信号,强制神经网络对OOD样本输出比较均匀的置信度。相较于OOD检测,学术界认为压制训练可以从根本上解决神经网络过度自信的问题。压制训练的核心在于如何为模型提供更好的OOD监督信号。首先,要构建高质量的OOD辅助集。从现实世界直接采集OOD样本、将噪声作为OOD样本或通过生成式方法都可以被用于构建OOD辅助集,但是这些方法存在成本高、OOD样本质量差、不够多样化等问题。此外,当前的压制训练算法虽然可以缓解神经网络过度自信问题,但可能会导致模型在原本分类任务上性能的降低。基于这些问题,本文提出了一种高效的OOD样本生成方法与一种温和的OOD样本利用方法,有助于提升神经网络的鲁棒性,本文主要研究工作如下:(1)设计并实现了一种高效的OOD样本生成方法。通过特征交叉的方式将ID样本转化为OOD样本,可以快速构建具有大量、多样样本的OOD辅助集,为神经网络分类器提供更优质的OOD监督信号。(2)提出了一种更加温和的压制训练算法。通过贡献度矩阵找出模型中对ID决策具有重要作用的区域,并在压制训练时尽可能减小OOD样本对这些区域的干扰,从而实现模型分类性能与鲁棒性的平衡。(3)设计并实现了OOD样本生成与评测系统。集成了OOD样本生成、利用和评估的全流程,为后续开展OOD样本相关研究提供了便利条件,对于解决神经网络对OOD样本过度自信问题的研究有积极作用。

关键词：神经网络鲁棒性分布外样本生成压制训练分布外样本检测

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：