检索结果-南通市图书馆

现代电子技术 2024年第16期47卷 51-57页

作者：赵明刘胜全岳柳新疆大学软件学院新疆乌鲁木齐830000 新疆大学计算机科学与技术学院新疆乌鲁木齐830000

远程监督关系抽取可以在非人工标注条件下自动构建数据集,而基线模型SENT可以将负训练思想引入到该场景进行关系抽取任务。但基线模型使用双向长短期记忆网络提取特征,主要注重长距离依赖关系的学习,在关注局部上下文中的特征方面存在不... 详细信息

远程监督关系抽取可以在非人工标注条件下自动构建数据集,而基线模型SENT可以将负训练思想引入到该场景进行关系抽取任务。但基线模型使用双向长短期记忆网络提取特征,主要注重长距离依赖关系的学习,在关注局部上下文中的特征方面存在不足,对于局部特征捕捉不够充分;同时基线模型在负训练训练模型时,未能重点关注与互补标签相关的特征,对互补标签信息的学习不足,这影响了对噪声数据的识别能力。为了解决这些问题,文中引入卷积神经网络,通过卷积核在输入关系序列上进行卷积操作,从而捕捉到输入关系实例中的局部信息,提高模型对于输入数据的局部特征学习能力。针对模型对互补标签特征未能关注的问题,引入逆向注意力机制,通过调整与互补标签相关的隐藏单元的权重,使模型能够有选择性地关注与互补标签相关的信息,从而提高模型对基于互补标签的噪声数据的识别性能,进一步改善模型关系抽取性能。通过NYT10数据集对所设计的方法进行了验证,结果表明,所提方法相较于基线模型在NYT10数据集关系抽取任务中F1值提高了4.84%,有效地提高了模型远程监督关系的抽取能力。

关键词：远程监督关系抽取基线模型SENT 负训练注意力机制互补标签深度学习

来源：

维普期刊数据库

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于对比学习的模型微调和半监督优化算法研究

基于对比学习的模型微调和半监督优化算法研究

引用

作者：邓钦艺华南理工大学

学位级别：硕士

对比学习是一种基于对比思想的判别式表示学习框架,通过将数据与正负例样本进行对比,对样本间的特征表示进行拉远或靠近,从而学习到关于数据特征分布的嵌入空间。目前,对比学习在计算机视觉、自然语言处理、推荐系统等领域都有广泛的应... 详细信息

对比学习是一种基于对比思想的判别式表示学习框架,通过将数据与正负例样本进行对比,对样本间的特征表示进行拉远或靠近,从而学习到关于数据特征分布的嵌入空间。目前,对比学习在计算机视觉、自然语言处理、推荐系统等领域都有广泛的应用,其理论技术部分如损失函数设计、理论研究、样本对构造方法都在不断发展和完善。本文主要关注两方面的研究,即使用对比学习来改进模型微调和半监督学习模型。模型微调是指利用事先在大规模数据上预训练好的模型,针对特定任务类型和应用场景,对模型参数进行适当调整,快速获得适用于当前任务和场景的高效模型,具有很强的可迁移性和灵活性;半监督学习是一种利用小部分有标签样本和大量无标签样本进行模型训练的机器学习方法,可以有效缓解标注成本高、标注困难的现实问题。模型微调和半监督学习这两个技术已经广泛应用在机器翻译、迁移学习和跨语言迁移等方面,尤其适用于下游任务数据量不足的场景。本文主要研究采用对比学习技术来改进自监督视觉模型微调和基于伪标签的半监督学习模型,进一步优化模型的特征学习能力,提升模型性能。传统的单阶段自监督视觉模型的微调方法往往仅使用交叉熵损失来进行优化,然而由于预训练数据集和目标数据集之间存在较大的分布差异,交叉熵损失在传递类间特征分布方面的能力十分有限,最终影响模型的准确性。为了缓解模型微调中的分布偏移问题,我们提出在微调之前首先将特征差异从预训练数据集转移到目标数据集,设计了一种简单有效的两阶段的微调训练方法(TC-Tuning)来提高模型的泛化能力。大量基准数据集上的实验表明,与目前最先进的微调方法相比,在不引入额外训练成本的情况下,我们的方法在多个分类任务上始终取得最优的性能。在基于伪标签的半监督方法中,目前大多数方法仅为那些预测大于置信度阈值的高置信度无标签样本生成伪标签。至于低置信度无标签样本,由于认为这些不可靠的伪标签可能会误导模型,现有方法通常会简单地丢弃它们。我们则认为虽然直接利用低置信度无标签样本来进行预测会导致不准确的结果,但样本的互补标签可以提供对训练有益的信息。因此,提出了一种对比互补标签(CCL)的半监督方法,基于互补标签构建大量的负样本对,并采用对比学习来训练所有的无标签样本。大量实验表明CCL可以有效提高现有半监督方法的性能,尤其是在标签稀缺的场景下,模型的性能提升更明显。

关键词：对比学习模型微调半监督学习互补标签

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：