检索结果-南通市图书馆

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于元多任务提示学习的零样本谣言检测方法

北京邮电大学学报 2024年

作者：石宇于宁孙亚伟刘建毅北京邮电大学可信分布式计算与服务教育部重点实验室北京邮电大学网络空间安全学院

针对现有谣言检测方法在微调大语言模型时导致的高内存占用，以及提示学习方法对初始点选择敏感的问题，提出一种基于元多任务提示学习的零样本谣言检测方法。首先，基于提示学习范式调整零样本谣言检测任务目标，通过设计提示模板使这... 详细信息

针对现有谣言检测方法在微调大语言模型时导致的高内存占用，以及提示学习方法对初始点选择敏感的问题，提出一种基于元多任务提示学习的零样本谣言检测方法。首先，基于提示学习范式调整零样本谣言检测任务目标，通过设计提示模板使这一任务目标与大语言模型的训练任务目标保持一致，以充分利用大语言模型积累的先验知识。其次，利用元学习的参数更新策略以定位适用于零样本谣言检测任务的提示模板初始点，从不同的元任务中学习通用知识来实现参数优化。最后，引入情感分析作为辅助元任务进一步调整和优化模型参数。在多个公开数据集上进行了对比实验，结果表明所提方法在零样本谣言检测任务中表现出色，其性能指标优于基准方法。

关键词：谣言检测提示学习元学习多任务学习

基于注意力机制和提示学习联合训练的上下位关系识别研究

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机科学 2024年第S1期51卷 199-203页

作者：白宇王新哲沈阳航空航天大学人机智能研究中心沈阳110136

专利术语间的上下位关系是一种重要的语义关系,专利文本中术语间的上下位关系识别在专利检索、查询扩展、知识图谱构建等多个领域发挥着重要作用。然而,专利文本领域的多样性、语言表述的复杂性使得术语间的上下位关系识别仍然面临许多... 详细信息

专利术语间的上下位关系是一种重要的语义关系,专利文本中术语间的上下位关系识别在专利检索、查询扩展、知识图谱构建等多个领域发挥着重要作用。然而,专利文本领域的多样性、语言表述的复杂性使得术语间的上下位关系识别仍然面临许多挑战。文中提出一种融合提示学习和注意力机制的术语上下位关系识别方法,该方法基于远程监督框架,将术语之间的最短依存路径作为辅助特征融入提示模板,使用图神经网络将术语间的共现信息融入提示学习和注意力机制联合训练过程。在专利文本测试数据集上的实验结果表明,所提方法的AUC值、F1值达到94.94%和89.33%,相较于PARE模型分别提升了3.82%和3.17%。该方法有效地去除了使用远程监督方法标注的数据集的噪声,避免了掩码语言模型的训练目标和下游任务的不匹配问题,充分利用了预训练语言模型中存在的语言知识信息。

关键词：术语关系识别远程监督提示学习注意力机制上下位关系

维普期刊数据库

基于提示学习和全局指针网络的中文古籍实体关系联合抽取方法

在线全文

学校读者我要写书评

暂无评论

计算机应用 2024年

作者：李斌林民斯日古楞高颖杰王玉荣张树钧内蒙古师范大学文学院内蒙古师范大学数学科学学院内蒙古民族大学计算机科学与技术学院内蒙古师范大学计算机科学技术学院

基于“预训练+微调”范式的实体关系联合抽取方法依赖大规模标注数据，在数据标注难度大、成本高的中文古籍小样本场景下，微调效率低，抽取性能不佳；中文古籍中普遍存在实体嵌套和关系重叠问题，限制了实体关系联合抽取的效果；管道... 详细信息

基于“预训练+微调”范式的实体关系联合抽取方法依赖大规模标注数据，在数据标注难度大、成本高的中文古籍小样本场景下，微调效率低，抽取性能不佳；中文古籍中普遍存在实体嵌套和关系重叠问题，限制了实体关系联合抽取的效果；管道式抽取方法存在错误传播问题，影响抽取准确率。针对以上问题，提出一种基于提示学习和全局指针网络的中文古籍实体关系联合抽取方法。首先，利用区间抽取式阅读理解的提示学习方法，对预训练语言模型（PLM）注入领域知识以统一预训练和微调的优化目标，并对输入句子进行编码表示。其次，使用全局指针网络分别对主、客实体边界和不同关系下的主、客实体边界进行预测并联合解码，对齐成实体关系三元组，完成PTBG(Prompt Tuned BERT with Global Pointer)模型构建，解决了实体嵌套和关系重叠问题，避免了管道式解码的错误传播问题。最后在此基础上分析了不同提示模板对抽取性能的影响。在《史记》数据集上进行实验，较注入领域知识前后的Onerel模型F1值提升了4.71和1.91个百分点。实验结果表明，所提方法能更好地对中文古籍实体关系进行联合抽取，为低资源的小样本深度学习场景提供了新的研究思路与方法。

关键词：实体关系联合抽取全局指针网络提示学习预训练语言模型中文古籍

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

提示学习启发的无监督情感风格迁移研究

计算机工程与应用 2024年第5期60卷 146-155页

作者：蔡国永李安庆桂林电子科技大学计算机与信息安全学院广西桂林541004 广西可信软件重点实验室广西桂林541004

文本样式迁移是在保留文本内容信息的同时移植具有某种所需样式属性的文本生成任务。为了提高在非平行样式语料下的迁移质量,提出了一种指导填充掩码模型将句子重写为目标样式的新方法。该方法总体上基于“删除-检索-生成”样式迁移框架... 详细信息

文本样式迁移是在保留文本内容信息的同时移植具有某种所需样式属性的文本生成任务。为了提高在非平行样式语料下的迁移质量,提出了一种指导填充掩码模型将句子重写为目标样式的新方法。该方法总体上基于“删除-检索-生成”样式迁移框架,但采用大型无监督预训练语言模型和Transformer架构。根据Transformer的工作机理,改进了从源语句中筛选样式属性的方法,通过提示学习方法挖掘预训练模型的内部知识以实现对目标样式词的生成。在两个情感基准数据集上的实验表明,该方法在文本样式迁移任务上明显优于现有的编辑类方法,综合指标的相对分数平均提高了14%以上。

关键词：文本生成文本样式迁移情感迁移提示学习 Transformer

维普期刊数据库

同方期刊数据库

一种混合提示学习与规则的领域命名实体识别方法

在线全文

学校读者我要写书评

暂无评论

郑州大学学报(理学版) 2024年

作者：张晗张亚洲徐秉智张铖方智能警务四川省重点实验室四川警察学院网络空间安全学院郑州大学

基于提示的微调学习为改善针对特定领域的命名实体识别(named entity recognition, NER)任务的性能提供了一个新的研究方向,但现有的提示学习方法面临需要人工构造模板、提示信息冗长、提示模板固定等问题。针对以上问题,提出了一种结... 详细信息

基于提示的微调学习为改善针对特定领域的命名实体识别(named entity recognition, NER)任务的性能提供了一个新的研究方向,但现有的提示学习方法面临需要人工构造模板、提示信息冗长、提示模板固定等问题。针对以上问题,提出了一种结合提示学习与专家知识的领域命名实体识别方法。首先,通过引入Bootstrapping算法自动识别潜在的实体,并改进了同上下文未标注实体类别获取过程中字符串匹配的算法以获取更多提示信息模板。然后,引入领域本体中的专家知识来解决提示信息的可靠性问题;同时,采用一阶谓词的形式表示提示信息来改善提示信息长度。最后,通过在金融与信息安全两个数据集上的实验,验证了方法能够有效提高领域命名实体识别的性能。

关键词：提示学习命名实体识别自然语言处理低资源

基于知识增强和提示学习的小样本新闻主题分类方法

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机应用 2024年第6期44卷 1767-1774页

作者：余新言曾诚王乾何鹏丁晓玉湖北大学人工智能学院武汉430062 湖北省软件工程技术研究中心(湖北大学) 武汉430062 智慧政务与人工智能应用湖北省工程研究中心(湖北大学) 武汉430062 湖北大学网络空间安全学院武汉430062

基于预训练微调的分类方法通常需要大量带标注的数据,导致无法应用于小样本分类任务。因此,针对中文小样本新闻主题分类任务,提出一种基于知识增强和提示学习的分类方法KPL(Knowledge enhancement and Prompt Learning)。首先,利用预训... 详细信息

基于预训练微调的分类方法通常需要大量带标注的数据,导致无法应用于小样本分类任务。因此,针对中文小样本新闻主题分类任务,提出一种基于知识增强和提示学习的分类方法KPL(Knowledge enhancement and Prompt Learning)。首先,利用预训练模型在训练集上学习最优的提示模板;其次,将提示模板与输入文本结合,使分类任务转化为完形填空任务;同时利用外部知识扩充标签词空间,丰富标签词的语义信息;最后,对预测的标签词与原始的标签进行映射。通过在THUCNews、SHNews和Toutiao这3个新闻数据集上进行随机采样,形成小样本训练集和验证集进行实验。实验结果表明,所提方法在上述数据集上的1-shot、5-shot、10-shot和20-shot任务上整体表现有所提升,尤其在1-shot任务上提升效果突出,与基线小样本分类方法相比,准确率分别提高了7.59、2.11和3.10个百分点以上,验证了KPL在小样本新闻主题分类任务上的有效性。

关键词：新闻主题分类提示学习知识增强小样本学习文本分类

维普期刊数据库

同方期刊数据库

面向CNN和Transformer的自注意力机制自适应性提示学习

在线全文

学校读者我要写书评

暂无评论

小型微型计算机系统 2024年

作者：杨鹏跃王锋魏巍山西大学计算机与信息技术学院

随着大规模预训练模型对视觉领域中的一般性数据的深入研究，当将其应用于特定下游任务时，若模型只训练分类头方法则极其依赖于预训练模型且效果一般；而全面微调预训练模型也因模型参数过大而变得不切实际；另外如VPT等视觉提示学习... 详细信息

随着大规模预训练模型对视觉领域中的一般性数据的深入研究，当将其应用于特定下游任务时，若模型只训练分类头方法则极其依赖于预训练模型且效果一般；而全面微调预训练模型也因模型参数过大而变得不切实际；另外如VPT等视觉提示学习方法在图像数据集具有很大的数据多样性时，每个数据集的通用提示在向原始预训练数据分布转变时会带来极大的挑战．基于以上的种种挑战，本文提出一种新的提示学习方法，即在输入空间中添加特定任务的自注意力机制提示块，并在增强通道间的竞争条件下，引入极小的参数量进行预训练模型的自适应性调整，最终实现将视觉领域中具有一般性的特征信息应用于特定的视觉任务．实验以CNN和Transformer代表性的网络为基础模型并选取CIFAR、Tiny ImageNet等数据集，结果表明本文提出的方法相比常见的微调方法在平均准确率上提高了0.55%、1.86%．

关键词：模型的微调数据多样性提示学习自注意力机制提示块自适应性调整

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于提示学习的跨域推荐研究

基于提示学习的跨域推荐研究

作者：王春晓山东师范大学

学位级别：硕士

在数据大爆炸发展的今天,推荐系统帮助用户在海量的数据中高效的获得感兴趣的商品或信息,满足了信息时代用户对于信息的个性化需求。推荐系统现已广泛应用于很多领域,在学术界的研究热度一直很高。应用于推荐系统的各种推荐模型和方法... 详细信息

在数据大爆炸发展的今天,推荐系统帮助用户在海量的数据中高效的获得感兴趣的商品或信息,满足了信息时代用户对于信息的个性化需求。推荐系统现已广泛应用于很多领域,在学术界的研究热度一直很高。应用于推荐系统的各种推荐模型和方法的发展,总是会受到信息数据量的限制,冷启动和数据稀疏问题是推荐系统面临的两大挑战,跨域推荐成为应对这个问题的较好解决方案。推荐系统的迅速发展使其面向的推荐目标也更加多元化,有着多场景、多平台的特点,加上数据稀疏以及业务隐私策略等问题的影响,在进行跨域推荐时存在来自不同平台/系统的重叠用户或项目是不切实际的。因此,本项工作在跨域推荐的基础上,考虑一个更为现实的场景,即无重叠跨域推荐场景,域之间的用户和项目交互是完全断开的,在跨域过程中没有重叠的用户和项目可以利用。本项工作总结了面向无重叠跨域场景时,现有的跨域推荐系统存在的问题:1)忽略了序列信息中蕴含的时间信息,目前的无重叠跨域推荐任务一般都是研究评分类数据,而忽略了对序列数据的研究。2)在无重叠跨域推荐任务下进行跨域推荐时,存在着语义和域表示纠缠问题,域对齐和保留语义信息这两个目标可能是对立的。解决解纠缠问题是一个重要的研究方向。3)现有的无重叠跨域推荐多考虑单目标跨域,忽略了源域与目标域数据都较为稀疏,需要彼此改善推荐结果的情况,双向跨域推荐是更具有挑战性也更有意义的研究方向。4)另外,提示学习源于NLP领域,其以往的研究表明,能够有效的激发预训练模型对于信息的挖掘能力,并且展现出了对上下游任务的适应性、少样本的学习能力以及作为模板的灵活性。但是提示学习在无重叠跨域推荐任务中还没有被应用,它在此类任务上的效果值得期待。针对以上问题,本文提出了一种基于共享提示学习的无重叠跨域序列推荐模型(SPLCR)。它首先在双域的数据集中将一个针对序列推荐的模型进行预训练,利用提示学习设计了一种能够在不同域之间获取域无关上下文的共享提示工程方法,激发了预训练模型对序列信息的挖掘能力,通过在两域之间共享提示进行跨域知识迁移。同时,设计了一个双目标训练方式,在训练过程中,双目标交替训练,进一步保证每个域在进行训练时,减少其他域训练目标对其的干扰,尽可能的提取针对每个域有用的跨域信息,在一定程度上保留了域信息。本文进一步考虑针对每个域进行个性化推荐性能的提升,基于SPLCR,在提示组件中添加域独特上下文提示,将其整合为一个整体,提出了一个基于个性化提示学习的跨域推荐模型,即PPLCR。它在SPLCR的基础上,设计了一个域独特提示上下文组件,只在域内具有相同标签的序列中进行共享,而不进行跨域学习。保证在跨域过程中将域公共信息和域内独特信息分开学习,进一步将语义信息和域表示解纠缠。在学习域公共和域独特知识时,使用自注意力机制对两者的关系自动赋予不同的权重,使得推荐器在获取域内个性化结果时,域公共信息与域独特信息有一个有效的权衡。为验证PPLCR和SPLCR的推荐性能,本文在真实世界的数据集Amazon Review Dataset中选择了两对互补的域(Movie-Book和Food-Kitchen)作为评估数据集,并在此数据集上进行跨域实验,结果证明它们在进行无重叠跨域推荐表现出良好的效果,并且PPLCR模型在提升域个性化推荐方面比SPLCR表现出更好的效果。

关键词：跨域推荐无重叠跨域推荐提示学习注意力机制序列推荐

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于提示学习的文本情感分析方法研究

基于提示学习的文本情感分析方法研究

作者：陈柱基东莞理工学院

学位级别：硕士

在自然语言处理领域中,文本情感分析任务一直备受关注。文本情感分析任务按粒度属性可分为三类,从篇章级到句子级、方面级,任务粒度不断细化。方面级情感分析任务具有更加细粒度的信息,一般体现为句子中某个实体、方面的情感极性。对于... 详细信息

在自然语言处理领域中,文本情感分析任务一直备受关注。文本情感分析任务按粒度属性可分为三类,从篇章级到句子级、方面级,任务粒度不断细化。方面级情感分析任务具有更加细粒度的信息,一般体现为句子中某个实体、方面的情感极性。对于许多商业应用软件,人们通过识别产品评论中特定方面的情感极性来确定该产品的好坏,如何高效准确地获取产品特定方面的情感极性是人们需要解决的问题。最常见的方法是使用相关领域的有监督训练数据集对预训练语言模型进行微调,根据特定下游任务调整模型参数使得它在这一任务上达到最好的效果。目前,篇章级与句子级的情感分析在前人的努力下已取得了非常多优秀的成果,但方面级情感分析的研究仍集中在餐厅、电脑这两个公开数据集上,实际应用中往往因缺乏目标领域的标注数据导致效果不理想,因此,本文对文本情感分析的研究重点放在方面级情感分析上。提示学习通过构造合适的提示模板使预训练语言模型更充分地利用模型预训练阶段学习到的知识,从而使预训练语言模型在零样本或少样本环境的下游任务训练情况下产生正确的输出。然而,人工构造的不同的模板会对预测结果产生很大的影响,挑选出合适的提示模板需要人为地花费大量时间去不断试错。基于上述问题,本文有以下研究内容:1.考虑到目标领域数据获取困难的问题,本文设计了一种思维提示来使生成式大规模预训练语言模型生成高质量的方面级情感分析数据集,通过逻辑自洽的方式使模型生成的数据质量接近人工标注数据的质量。2.考虑到不同提示模板对性能的影响,本文设计了一种基于实例检索的提示模板挑选方法来为每个实例挑选匹配提示模板,本文的方法在零样本环境下的方面级情感分析任务上对比单一最优提示模板方法取得了平均4.88%的准确率提升与4.64%的F1-marco提升。3.本文提出了基于句子正确性判断任务的提示模板过滤模型,通过提示模板将方面级情感分析任务降级为句子正确性判断任务。通过筛选出开发集困难样本并将其改造为微调训练集,引入Focal Loss使过滤模型聚焦在此类困难样本的非匹配模板过滤上,该方法结合实例检索的提示模板挑选方法在零样本环境下的方面级情感分析任务上对比单一最优提示模板方法取得了平均10.35%的准确率提升与12.90%的F1-marco提升。综上所述,本文的研究旨在利用提示学习方法在零样本与少样本的环境下解决文本情感分析任务性能不佳的问题。实验结果表明,本文所提的方法能有效提升模型在零样本与少样本环境下的性能,尤其是不需要微调模型的零样本环境,为该环境下的文本情感分析任务的研究提供了新的思路,为提示学习方法的改进研究提供了新的方向。

关键词：预训练语言模型提示学习文本情感分析