检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

提示学习启发的无监督情感风格迁移研究

计算机工程与应用 2024年第5期60卷 146-155页

作者：蔡国永李安庆桂林电子科技大学计算机与信息安全学院广西桂林541004 广西可信软件重点实验室广西桂林541004

文本样式迁移是在保留文本内容信息的同时移植具有某种所需样式属性的文本生成任务。为了提高在非平行样式语料下的迁移质量,提出了一种指导填充掩码模型将句子重写为目标样式的新方法。该方法总体上基于“删除-检索-生成”样式迁移框架... 详细信息

文本样式迁移是在保留文本内容信息的同时移植具有某种所需样式属性的文本生成任务。为了提高在非平行样式语料下的迁移质量,提出了一种指导填充掩码模型将句子重写为目标样式的新方法。该方法总体上基于“删除-检索-生成”样式迁移框架,但采用大型无监督预训练语言模型和Transformer架构。根据Transformer的工作机理,改进了从源语句中筛选样式属性的方法,通过提示学习方法挖掘预训练模型的内部知识以实现对目标样式词的生成。在两个情感基准数据集上的实验表明,该方法在文本样式迁移任务上明显优于现有的编辑类方法,综合指标的相对分数平均提高了14%以上。

关键词：文本生成文本样式迁移情感迁移提示学习 Transformer

在线全文

学校读者我要写书评

暂无评论

基于提示学习增强的文本情感分类模型

数据分析与知识发现 2024年第3期8卷 77-84页

作者：黄泰峰马静南京航空航天大学经济与管理学院南京211106

【目的】解决在样本量不足的情况下,使用预训练模型进行情感分类准确率偏低的问题。【方法】提出一种基于提示学习增强的情感分类模型Pe-RoBERTa,以RoBERTa模型为基础,使用不同于传统微调方法的集成提示方法,通过提示帮助模型进一步理... 详细信息

【目的】解决在样本量不足的情况下,使用预训练模型进行情感分类准确率偏低的问题。【方法】提出一种基于提示学习增强的情感分类模型Pe-RoBERTa,以RoBERTa模型为基础,使用不同于传统微调方法的集成提示方法,通过提示帮助模型进一步理解下游任务,改善模型对文本情感特征的提取能力。【结果】在多个公开的中英文情感分类数据集上的实验表明,少样本场景下模型的平均情感分类准确率为93.2%,相较于传统微调和离散型提示,准确率分别提升13.8%和8.1%个百分点。【局限】处理的数据模态仅限于文本形式,目标任务主要为情感二分类任务,没有做细粒度更高的情感分类任务。【结论】Pe-RoBERTa模型能够有效地进行文本情感特征的提取,在多个情感分类任务中取得较高的准确率。

关键词： Pe-RoBERTa 情感分类提示学习特征提取

在线全文

学校读者我要写书评

暂无评论

基于视觉语言提示学习的少样本图像分类方法

北京邮电大学学报 2024年第2期47卷 11-17页

作者：李宝安王欣宇滕尚志吕学强北京信息科技大学网络文化与数字传播北京市重点实验室北京100101

为了提高少样本图像分类的性能和泛化能力,充分利用大规模视觉语言预训练模型,提出了一种高效处理少样本图像分类问题的方法。首先,在文本编码部分,整合多个可学习的文本提示,充分挖掘图像类别标签在提示语句中不同位置对模型泛化性能... 详细信息

为了提高少样本图像分类的性能和泛化能力,充分利用大规模视觉语言预训练模型,提出了一种高效处理少样本图像分类问题的方法。首先,在文本编码部分,整合多个可学习的文本提示,充分挖掘图像类别标签在提示语句中不同位置对模型泛化性能的影响;其次,在图像编码部分,引入可学习的视觉提示,使图像预训练参数能更好地表征少样本图像;最后,在图像和文本特征编码器后添加特征适配器,并在图像分类数据集上微调网络,以提升网络在少样本图像分类数据集上的性能。在10个公开数据集上进行了大量实验,结果表明,相较于现有方法,所提方法在单样本分类的平均准确度上提高了2.9%。

关键词：提示学习视觉语言模型少样本学习图像分类预训练模型

在线全文

学校读者我要写书评

暂无评论

增强提示学习的少样本文本分类方法

北京大学学报（自然科学版） 2024年第1期60卷 1-12页

作者：李睿凡魏志宇范元涛叶书勤张光卫北京邮电大学人工智能学院北京100876 教育部信息网络工程研究中心北京100876 交互技术与体验系统文化和旅游部重点实验室北京100876 北京邮电大学计算机学院北京100876

针对少样本文本分类任务,提出提示学习增强的分类算法(EPL4FTC)。该算法将文本分类任务转换成基于自然语言推理的提示学习形式,在利用预训练语言模型先验知识的基础上实现隐式数据增强,并通过两种粒度的损失进行优化。为捕获下游任务中... 详细信息

针对少样本文本分类任务,提出提示学习增强的分类算法(EPL4FTC)。该算法将文本分类任务转换成基于自然语言推理的提示学习形式,在利用预训练语言模型先验知识的基础上实现隐式数据增强,并通过两种粒度的损失进行优化。为捕获下游任务中含有的类别信息,采用三元组损失联合优化方法,并引入掩码语言模型任务作为正则项,提升模型的泛化能力。在公开的4个中文文本和3个英文文本分类数据集上进行实验评估,结果表明EPL4FTC方法的准确度明显优于所对比的基线方法。

关键词：预训练语言模型少样本学习文本分类提示学习三元组损失

PromptWE:一种融合解释的提示学习事实核查模型

在线全文

学校读者我要写书评

暂无评论

清华大学学报（自然科学版） 2024年第5期64卷 760-769页

作者：张翔然李璐旸浙江大学工程师学院杭州310015 北京外国语大学信息科学技术学院北京100089

针对事实核查任务中如何利用生成的解释更好地辅助真实性判断的问题,该文提出一种融合解释的提示学习事实核查模型PromptWE。该模型在生成任务中通过证据筛选和摘要生成更易理解的解释,然后在分类任务中将解释融合进提示学习模型的提示... 详细信息

针对事实核查任务中如何利用生成的解释更好地辅助真实性判断的问题,该文提出一种融合解释的提示学习事实核查模型PromptWE。该模型在生成任务中通过证据筛选和摘要生成更易理解的解释,然后在分类任务中将解释融合进提示学习模型的提示模板中,从而将解释与预训练模型储备的知识相结合,以提高真实性判别的准确率。该模型在2个数据集上的F1值比SOTA模型高5%,表明模型生成的解释能提升模型判别信息真假的能力。此外,为了说明高质量的解释在分类任务中的重要性,该文将数据集中的专家证据直接作为解释,融合进提示模板中进行了提示学习训练,比融合模型生成的解释的F1值提高了16%,证明了高质量解释能有效激发通用语言模型在事实核查任务上的能力。

关键词：事实核查提示学习解释生成

在线全文

学校读者我要写书评

暂无评论

提示学习和知识增强的对话文本情绪识别

情报科学 2024年

作者：余本功邵梦露合肥工业大学管理学院

【目的/意义】对话情绪识别是情感分析领域的一个新兴且重要的子领域，旨在从多种预定义情绪中准确识别每个话语的情绪状态。不仅适用于情感相关社交媒体的意见挖掘，还可以实时分析对话情绪，对舆情分析、用户情感洞察等领域有着积极... 详细信息

【目的/意义】对话情绪识别是情感分析领域的一个新兴且重要的子领域，旨在从多种预定义情绪中准确识别每个话语的情绪状态。不仅适用于情感相关社交媒体的意见挖掘，还可以实时分析对话情绪，对舆情分析、用户情感洞察等领域有着积极的影响。【方法/过程】提出了一种名为ERC-PrKE的对话情绪识别模型，该模型通过整合从外部结构化数据中学习到的知识，为理解对话提供额外的语境信息，从而增强对话建模并丰富上下文表达。此外，在目标对话输入之后，引入了提示模板，使模型更好地理解目标话语并将其与上下文区分开。【结果/结论】实验结果表明，通过增加提示和引入外部知识使得对话情绪识别的性能提升，在MELD、EmoryNLP和IEMOCAP数据集上性能提升超过2%，在EmoryNLP数据集上更是达到了4.05%的增幅。【创新/局限】提出了一种融入提示与外部知识的对话情感分析模型，为在对话式人工智能迅猛发展的背景下改善用户情感体验提供了新的方向。未来将进一步考虑整合其他外部知识源，以增强情绪识别的鲁棒性和准确性。

关键词：对话情绪识别提示学习知识增强对话理解情感分析

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于知识注入提示学习的专利短语相似度计算

计算机工程 2024年第4期50卷 294-302页

作者：邓远飞李加伟蒋运承华南师范大学计算机学院广东广州510631 华南师范大学人工智能学院广东佛山528225

专利是授予发明者在一定时期内保护其发明的法定权利,在当今的社会活动中发挥着重要作用。然而现有研究并未针对专利相似度数据进行适配优化,导致其应用在专利短语相似度匹配任务中效果不佳。已有研究表明,在低资源的场景下,提示学习将... 详细信息

专利是授予发明者在一定时期内保护其发明的法定权利,在当今的社会活动中发挥着重要作用。然而现有研究并未针对专利相似度数据进行适配优化,导致其应用在专利短语相似度匹配任务中效果不佳。已有研究表明,在低资源的场景下,提示学习将文本片段(模板)作为输入,将分类问题转换为掩码语言建模问题,其关键的一步是在标签空间和标签词空间之间构造一个投影。提出一种基于知识注入的提示学习方法,将其应用于专利短语相似度匹配计算任务。为解决专利短语信息不足的问题,利用专利短语中的相似度标签信息,使用知识增强专利短语与标签信息。首先通过实体链接技术建立专利短语与外部知识的关联关系;然后设计一种基于实体影响度的邻域信息过滤机制,用于缓解专利短语信息不足的问题;最后考虑不同外部知识对专利短语相似度计算的影响,设计应用于专利短语的多种增强提示文本。实验结果表明,该方法的Pеarson相关系数(PCC)和Spеarman相关系数(SRC)相较次优对比方法分别提升6.8%和5.7%。

关键词：专利短语相似度计算知识注入提示学习提示文本

在线全文

学校读者我要写书评

暂无评论

基于提示学习的医学量表问题文本多分类研究

中国循证医学杂志 2024年第1期24卷 76-82页

作者：郝洁彭庆龙丛山李姣孙海霞中国医学科学院/北京协和医学院医学信息研究所北京100020 哈尔滨工程大学青岛创新发展基地山东青岛266000

目的目前医学量表资源的加工与组织多集中在文档层面,不利于用户从条目层面进行检索与复用。本文旨在提出一种低资源场景下的医学量表条目多分类方法,支持细粒度医学量表资源组织与服务。方法采用一种基于预训练语言模型BERT的提示学... 详细信息

目的目前医学量表资源的加工与组织多集中在文档层面,不利于用户从条目层面进行检索与复用。本文旨在提出一种低资源场景下的医学量表条目多分类方法,支持细粒度医学量表资源组织与服务。方法采用一种基于预训练语言模型BERT的提示学习分类方法来实现医学量表条目文本的多分类。首先收集肺癌临床评估量表,提取功能、领域分类标签,采用人工标注“功能-领域”组合标签形成肺癌临床评估条目小样本语料集;然后采用提示学习方法,通过将自定义构建的模板格式输入BERT模型,对模板空缺位置进行预测填充;最后将填充文本映射到标签,实现对医学量表中条目文本的多分类。结果构建的语料包含肺癌临床评估条目347条,涉及“功能-领域”分类标签9个;在自制的语料集上,提出的多分类方法的平均准确率达到93%,比次优的GAN-BERT模型性能提高约6%。结论基于预训练语言模型BERT的提示学习分类方法能够在减少医学量表条目语料构建成本的同时保持较优的性能,在医学量表条目分类研究与实践中具有推广价值。

关键词：医学量表问题分类多分类提示学习预训练语言模型

基于片段抽取原型网络的古籍文本断句标点提示学习方法

在线全文

学校读者我要写书评

暂无评论

计算机应用 2024年

作者：高颖杰林民斯日古楞李斌张树钧内蒙古师范大学计算机科学技术学院内蒙古民族大学计算机科学与技术学院内蒙古师范大学文学院

针对古籍信息处理中自动断句及标点任务对大规模标注语料依赖的现象，在考虑到高质量、大规模训练样本的成本昂贵且难以获取的背景下，本文提出了一种基于片段抽取原型网络的古籍文本断句标点提示学习方法。首先，本文通过对支持集加入... 详细信息

针对古籍信息处理中自动断句及标点任务对大规模标注语料依赖的现象，在考虑到高质量、大规模训练样本的成本昂贵且难以获取的背景下，本文提出了一种基于片段抽取原型网络的古籍文本断句标点提示学习方法。首先，本文通过对支持集加入结构化提示信息，形成有效的提示模板，以提高模型的学习效率。其次，结合标点位置提取器和原型网络分类器，有效减少了传统序列标注方法中的误判影响及非标点标签的干扰。实验结果表明，与BERT-BiGRU-CRF的方法相比，在《史记》数据集上F1值提升了2.5个百分点。此外，在公开多领域古籍数据集CCLUE上，本文方法的精确率和F1值分别达到了91.60%和93.12%，说明本方法利用少量训练样本就能对多领域古籍有效自动断句标点。因此，本研究为多领域古籍文本自动断句及标点任务的深入研究、提高模型的学习效率提供了新的思路和方法。

关键词：古籍智能整理片段抽取原型网络提示学习自动断句标点深度学习