检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于知识注入提示学习的专利短语相似度计算

计算机工程 2024年第4期50卷 294-302页

作者：邓远飞李加伟蒋运承华南师范大学计算机学院广东广州510631 华南师范大学人工智能学院广东佛山528225

专利是授予发明者在一定时期内保护其发明的法定权利,在当今的社会活动中发挥着重要作用。然而现有研究并未针对专利相似度数据进行适配优化,导致其应用在专利短语相似度匹配任务中效果不佳。已有研究表明,在低资源的场景下,提示学习将... 详细信息

专利是授予发明者在一定时期内保护其发明的法定权利,在当今的社会活动中发挥着重要作用。然而现有研究并未针对专利相似度数据进行适配优化,导致其应用在专利短语相似度匹配任务中效果不佳。已有研究表明,在低资源的场景下,提示学习将文本片段(模板)作为输入,将分类问题转换为掩码语言建模问题,其关键的一步是在标签空间和标签词空间之间构造一个投影。提出一种基于知识注入的提示学习方法,将其应用于专利短语相似度匹配计算任务。为解决专利短语信息不足的问题,利用专利短语中的相似度标签信息,使用知识增强专利短语与标签信息。首先通过实体链接技术建立专利短语与外部知识的关联关系;然后设计一种基于实体影响度的邻域信息过滤机制,用于缓解专利短语信息不足的问题;最后考虑不同外部知识对专利短语相似度计算的影响,设计应用于专利短语的多种增强提示文本。实验结果表明,该方法的Pеarson相关系数(PCC)和Spеarman相关系数(SRC)相较次优对比方法分别提升6.8%和5.7%。

关键词：专利短语相似度计算知识注入提示学习提示文本

基于联合训练和知识注入的中文医疗对话生成研究

在线全文

学校读者我要写书评

暂无评论

基于联合训练和知识注入的中文医疗对话生成研究

作者：陶欣长春工业大学

学位级别：硕士

医疗健康领域正在迅速向信息化方向发展,传统的纸质化病历正在被数字化的健康系统取代。通过信息技术,患者可以与医生进行远程的交流和问诊。同时,网络在线平台上积累了大量关于医患对话的文本数据。在一个现实的医患对话场景中,医生和... 详细信息

医疗健康领域正在迅速向信息化方向发展,传统的纸质化病历正在被数字化的健康系统取代。通过信息技术,患者可以与医生进行远程的交流和问诊。同时,网络在线平台上积累了大量关于医患对话的文本数据。在一个现实的医患对话场景中,医生和患者的对话通常包括疾病主题,症状和药物等重要信息,如何高效的挖掘这些文本数据的潜在价值并训练出一个合格的医疗对话机器人,成为当前医疗对话领域中研究的热点内容。在大规模数据和高算力的背景下,深度学习的语言模型在自然语言处理上表现出了卓越的性能。但是现有的医疗对话生成模型通常在英语中表现的更加出色,很少有针对中文医疗领域进行明确的训练,导致模型的生成效果不佳,文本对话生成类模型在医疗领域仍然存在模型输出结果与实际对话中所扮演‘医生’这一角色不一致的情况,以及模型对医疗实体语义理解偏差的问题。本文的主要贡献如下:(1)在医患对话中,针对模型对自身扮演的角色身份认知不足导致影响医患对话文本生成质量的问题,本文结合自然语言推理(NLI)任务进行联合训练,多损失函数共同针对医患角色对话生成模型进行优化,共享模型底层特征提取可以提高训练时间上的效率。同时引入了特殊字符[DOC]和[PAT]结合自然语言推理任务进行联合建模,这些字符会出现在医生和患者对应角色发言的开头,并充当医患对话的角色标签。通过这种方式,可以明确区分不同的对话角色,有助于文本序列获得对话的结构信息。实验结果表明,引入特殊字符和联合训练的方式可以使模型更好的模拟自身所扮演‘医生’这一角色,从而提高医患对话文本生成的质量。(2)考虑到医学对话的轮次通常较多并且在多个对话语句中使用了丰富的医学术语,在长对话情境下可能会出现模型对医疗实体语义的理解产生偏差,从而导致文本生成效果不佳的问题,本文针对这一问题在联合训练方法的基础上设计了一种基于知识注入的医患对话理解模型Med Dia TKI,通过将疾病主题、症状、药物等具有医疗实体语义信息进行编码并与医患对话语义信息进行融合用于丰富模型的语义空间,增强模型对医疗实体语义的理解。同时,再次引入新的特殊字符[ENT]和[END]放在医疗实体字符的开头和结尾,在文本空间中增强模型对医疗实体语义的理解。实验结果表明,通过结合联合训练和知识注入的方式可以增强模型对医患对话中医疗实体语义的理解,提高医患对话文本生成的质量,同时在各项评价指标中性能均有提升。

关键词：医疗对话联合训练对话生成知识注入

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于知识注入的大语言模型水印

网络空间安全科学学报

网络空间安全科学学报 2024年第1期2卷 63-71页

作者：陈可江李帅张卫明俞能海中国科学技术大学网络空间安全学院合肥 230026

大语言模型凭借其出色的文本理解能力和生成能力,在自然语言处理任务上取得了优异的表现。训练大语言模型需要高质量的标注数据、昂贵的算力资源,这使其成为重要的数字资产,具有极高的商业价值,但是却存在被盗用等知识产权泄露风险。因... 详细信息

大语言模型凭借其出色的文本理解能力和生成能力,在自然语言处理任务上取得了优异的表现。训练大语言模型需要高质量的标注数据、昂贵的算力资源,这使其成为重要的数字资产,具有极高的商业价值,但是却存在被盗用等知识产权泄露风险。因此,亟须发展大语言模型水印技术,以保护模型的版权。现有基于无盒水印的大语言模型水印可以保护模型的版权,但是这些方法水印隐蔽性不足、生成文本质量下降,并且难以应用于模型开源场景。为了解决上述问题,提出了一种基于知识注入的大语言模型水印方法。在嵌入水印阶段,将水印嵌入到自定义知识中,并通过监督微调让大语言模型学会带水印的知识。在水印提取阶段,模型拥有者只需要设计与水印知识相关的问题,询问待检测的大语言模型,根据模型的回答提取水印信息,并通过实验验证了该方法的有效性、保真性和鲁棒性。

关键词：大语言模型水印知识注入监督微调隐蔽鲁棒性

在线全文

学校读者我要写书评

暂无评论

基于知识注入的预训练语言模型研究

基于知识注入的预训练语言模型研究

作者：丁雪怡河北师范大学

学位级别：硕士

预训练语言模型(Pre-trained Language Model)自身的跨任务迁移能力将自然语言处理带入“预训练”时代。围绕预训练语言模型的研究已成为近年的热点,但现有的预训练语言模型参数量巨大,普通研究者从0到1实现模型难度高、成本大。如何在... 详细信息

预训练语言模型(Pre-trained Language Model)自身的跨任务迁移能力将自然语言处理带入“预训练”时代。围绕预训练语言模型的研究已成为近年的热点,但现有的预训练语言模型参数量巨大,普通研究者从0到1实现模型难度高、成本大。如何在降低模型训练成本的同时不降低模型性能成为一大难题。研究人员考虑将知识图谱与预训练语言模型结合,将知识注入预训练语言模型,以提升模型的推理能力,然而两者无法直接进行融合,并且外部知识注入预训练语言模型会带来知识噪声。本文围绕预训练语言模型进行研究,提出基于知识注入的预训练语言模型。论文主要工作和创新点包括以下三个部分:(1)基于SM-RTD的double-encoder预训练方法针对预训练语言模型训练成本巨大的问题,提出基于SM-RTD的double-encoder预训练方法。首先,采用结构化剪枝方法对BERT模型编码器进行层数剪枝,串联搭建double-encoder模型架构,有效降低模型体量,为后续模型预训练节省成本;其次,在double-encoder模型架构上设计SM-RTD串联式预训练任务,实现无监督学习,要求串联的编码器模块中encoder1完成跨度掩码预训练任务,encoder2完成替代检测预训练任务,加快模型预训练的收敛速度;最后,对大型语料库进行预处理并作为训练数据集对模型进行训练,模型在大量文本序列中充分学习词法、句法、语义知识,实现知识的隐式注入,为下游任务的迁移学习提供基础。(2)利用文本分类和回归任务对encoder2进行微调针对模型预训练与微调阶段输入文本数据不一致的问题,微调阶段,使用小型微调数据集对单个编码器进行有监督微调训练、验证。首先,搭建single-encoder模型架构,选取预训练阶段完成替代检测预训练任务的编码器模块,将其作为微调阶段的主要编码模块;然后,基于单句分类任务、句对分类任务、句对回归任务,使用四个数据集对模型进行微调训练,进行少量参数更新,解决预训练、微调阶段输入不一致问题。与目前同等参数量级的模型进行实验对比,微调后的模型在目标下游任务上实现了准确率的提升,且模型综合性能优于对比模型。(3)基于知识注入的预训练语言模型将知识图谱三元组中客观世界的常识知识与微调数据集进行融合,把知识显式注入模型,实现模型在下游任务中更佳的表现,评估指标数值提升。首先,提出id2word方法对知识图谱进行处理,完成entity＿id到字符串的映射;其次,使用命名实体识别工具抽取文本序列中的实体,将其与知识图谱实体进行链接,将外部实体知识与原始文本序列进行异构信息融合,形成具有丰富知识的输入文本序列;最后,更新位置编码方式,提出基于token间相关系数的K-self-attention机制算法,有效缓解知识注入后带来的知识噪声问题。实验结果显示,知识注入有助于模型在下游任务上提高预测准确性。

关键词：自然语言处理深度学习预训练语言模型知识图谱知识注入

面向知识注入的多人在线竞技类游戏装备推荐算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向知识注入的多人在线竞技类游戏装备推荐算法研究

作者：孙啸川北京工业大学

学位级别：硕士

在多人在线竞技类游戏(Multiplayer Online Battle Arena,MOBA)中,赛前游戏装备推荐能够给予玩家在对局宏观层面上装备选择战略性的指导,是提升玩家游戏体验的重要手段。然而,现有模型仅关注个体间信息交互,忽视了宏观群体对个体行为的... 详细信息

在多人在线竞技类游戏(Multiplayer Online Battle Arena,MOBA)中,赛前游戏装备推荐能够给予玩家在对局宏观层面上装备选择战略性的指导,是提升玩家游戏体验的重要手段。然而,现有模型仅关注个体间信息交互,忽视了宏观群体对个体行为的影响。此外,MOBA赛事数据集中存在严重的样本标签信息缺失问题,当前模型并未对其处理并均基于此类样本完成模型训练,导致模型结果具有极低的可用性。目前,通过在模型中注入领域知识来解决复杂难题的思想已得到研究人员的广泛关注。但在MOBA场景下,领域知识难以形式化表达,其更多存在于宏观抽象层面。因此,如何将运用MOBA领域知识,并注入现有赛前游戏装备推荐模型中,优化模型性能,值得深入探究。针对上述问题,本文开展了面向知识注入的MOBA赛前游戏装备推荐算法设计与研究,本文的主要工作内容总结如下:(1)在用户侧提出了基于群体特征增强的赛前游戏装备推荐模型。针对当前模型忽视群体信息的问题,基于MOBA作为特殊的团体竞技项目,其群体特征可进一步拆解这一领域知识。通过对玩家个体间相关性矩阵进行拆分处理,分别获取内部群体特征表达与外部群体特征表达。随后,加以信息交互模块,将相应群体特征注入现有模型,优化了模型性能。实验结果表明,本文所提方案在各项评价指标上均优于当前最优模型。其中在TOP@6标准下,精确率提升0.5%,召回率提升0.7%,F1值提升0.6%,MAP值提升0.3%。(2)在物品侧提出了基于自监督学习的赛前游戏装备推荐模型。针对MOBA赛事数据集中存在的样本标签信息缺失问题。基于MOBA游戏装备间存在互斥、互助等关联关系这一领域知识,通过在深入分析MOBA赛前数据集特点的基础上,设计数据增强方案来构建自监督学习任务,从完备样本中挖掘游戏装备间抽象复杂的关联关系。随后将学习到的领域知识应用于对不完备样本标签信息修复过程中,最终有效地改善了模型训练效果。实验结果表明,本文所提方案相比于只采用完备样本训练的模型,在TOP@6标准下,精确率提升0.92%,可用率提升4.09%。

关键词：知识注入游戏装备推荐群体特征自注意力机制自监督学习

DFE3D:双重特征增强的三维点云类增量学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机系统应用 2024年第8期33卷 132-144页

作者：孙昊帅惠许翔刘青山南京信息工程大学计算机学院南京210044 南京邮电大学计算机学院、软件学院、网络空间安全学院南京210023 南京航空航天大学南京211106 南京邮电大学南京210023

随着点云采集技术的发展和三维应用需求的增加,实际场景要求针对流动数据持续动态地更新点云分析网络.对此,提出了双重特征增强的三维点云类增量学习方法,通过增量学习使点云目标分类技术能够适应新数据中不断出现新类别目标的场景.该... 详细信息

随着点云采集技术的发展和三维应用需求的增加,实际场景要求针对流动数据持续动态地更新点云分析网络.对此,提出了双重特征增强的三维点云类增量学习方法,通过增量学习使点云目标分类技术能够适应新数据中不断出现新类别目标的场景.该方法通过对点云数据特性和旧类信息的研究分别提出了差异性局部增强模块和知识注入网络,以缓解类增量学习中的新类偏好问题.具体而言,差异性局部增强模块通过感知丰富的局部语义,表征出三维点云物体中不同的局部结构特性.随后,根据目标中每个局部结构的全局信息获得各个局部的重要性权重,强化对差异性局部特征的感知,从而提高新旧类特征差异性.另外,知识注入网络将旧模型中的旧知识注入新模型的特征学习过程中,增强后的混合特征能够更有效缓解旧类信息不足导致的新类偏好加剧现象.在三维点云数据集ModelNet40,ScanObjectNN,ScanNet,ShapeNet上的实验表明,该方法与现有最优方法相比,在4个数据集上的平均增量准确率有2.03%、2.18%、1.65%、1.28%提升.

关键词：三维点云目标分类类增量学习差异性局部增强知识注入灾难性遗忘点云表征

同方期刊数据库

K-SimCSE：融入领域知识的文本检索研究

在线全文

学校读者我要写书评

暂无评论

K-SimCSE：融入领域知识的文本检索研究

作者：黎志扬华中师范大学

学位级别：硕士

文本检索的主要任务是从海量语料中匹配与查询相关的文档,通常返回的是相关的候选文档集合或是按照语义相关性排序的候选文档序列。为了得到语义相关性,通常是将查询和文档集合映射到相同的语义空间中,得到蕴含语义的向量。然后用这些... 详细信息

文本检索的主要任务是从海量语料中匹配与查询相关的文档,通常返回的是相关的候选文档集合或是按照语义相关性排序的候选文档序列。为了得到语义相关性,通常是将查询和文档集合映射到相同的语义空间中,得到蕴含语义的向量。然后用这些向量之间的距离来表示语义相似度。这便是文本检索中的文本表示和语义相关性计算。然而这种方式存在两个不足:一是文本的语义表示需要更多领域相关的信息才能更加精确地推定;二是这种仅考虑“查询-候选文档”计算方式忽略了“候选文档-候选文档”之间的语义相关性。候选结果之间的相关性可能会非常小,从而导致检索效果不理想。本文在生物教学领域的检索场景下,对上述两个问题进行了深入研究。工作包含了 1)针对特定领域的文本相似度任务,设计了融入外部知识的文本表示方法;2)在生物教学领域测试了该方法的性能;3)用聚类的方法描述了该方法所引起的语义空间的变化。主要成果如下:1)本文提出了一种被称为K-SimCSE的文本表示方法。它将文本与知识有机融合成实体树结构,同时利用实体树的可见矩阵来修正SimCSE模型中自注意力机制的计算方式,从而完成了文本表示从通用领域到特殊领域的迁移。在特定领域的文本检索任务中,这种修正的文本表示优化了候选文档结果集,并使K-SimCSE在MAP指标上相比SimCSE提升了 4.1%;2)本文通过聚类分析实验从文本在语义空间中的分布特征、聚类簇的变化情况和文本表示的迁移现象三个层次描述了知识注入的影响。知识注入可以将通用领域的文本表示向特定领域迁移,得到更适合该领域的文本表示。这一过程没有破坏文本的语义结构,也没有使语义产生过大的偏离。它进一步考虑了文本知识的相关性,使语义相关的文档更好地聚集在一起,是对语义表示的修正。

关键词：文本检索对比学习知识注入自然语言处理知识图谱

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

融合预训练语言模型的生物医学文本挖掘研究

融合预训练语言模型的生物医学文本挖掘研究

作者：江姗南华大学

学位级别：硕士

近年来,由于医疗信息化的高速发展,生物医学文本数据的规模呈爆炸式增长,生物医学文本挖掘变得尤为重要,它能从海量生物医学文本数据中挖掘出有用的信息,为医学研究、临床决策等方面提供有力的支持。随着预训练语言模型BERT的成功,表明... 详细信息

近年来,由于医疗信息化的高速发展,生物医学文本数据的规模呈爆炸式增长,生物医学文本挖掘变得尤为重要,它能从海量生物医学文本数据中挖掘出有用的信息,为医学研究、临床决策等方面提供有力的支持。随着预训练语言模型BERT的成功,表明了预训练模型在自然语言处理领域的重要性。在生物医学领域中,Bio BERT、Sci BERT等基于BER T的衍生模型通过在大型生物医学语料库上进行预训练以获取生物医学知识,并在多项生物医学文本挖掘任务中取得良好效果。然而,研究发现,大多数生物医学预训练语言模型依赖于传统的遮蔽语言模型(Mask ed Language Model,MLM)任务。当随机掩盖策略未能掩盖医学相关术语时,模型则无法充分捕获医学上下文语义关系。此外,由于中文生物医学语料资源的缺乏以及中文医学术语的复杂性和多样性,使得模型学习中文生物医学知识存在困难。针对以上问题,本文研究的主要内容如下:1.本文提出了一个基于知识注入的中文生物医学预训练语言模型CMed BERT。该模型采用医学百科中的文章结构作为弱监督信号,将百科结构中所包含的医学术语及其方面作为标签,训练模型从医学描述文本中推断出相应的医学术语和方面,从而捕获生物医学上下文语义信息。该方法不仅避免了因传统MLM随机掩盖策略而无法充分捕捉医学上下文语义关系,同时还减少了人工标注所耗费的时间和标注成本。2.为了进一步提高模型的性能,本文在下游任务的微调阶段引入对抗训练。通过在词嵌入层添加对抗扰动的方式,对模型进行正则化,并对FGM、PGD、SMART、ALUM和Free LB五种对抗训练方法进行实验比较。3.为了评估模型在生物医学文本挖掘任务上的性能,本文在CBLUE评测标准1.0所提供的八个中文医疗信息处理任务上进行实验。其中,相比于四个基线模型,基于FGM对抗训练方法的CMed BERT-adv模型,平均得分提高了1.8%。

关键词：预训练语言模型知识注入对抗训练文本挖掘