检索结果-南通市图书馆

基于槽位语义增强提示学习的篇章级事件抽取方法

在线全文

学校读者我要写书评

暂无评论

计算机工程 2023年第9期49卷 23-31页

作者：李鸿鹏马博杨雅婷王磊王震李晓中国科学院新疆理化技术研究所乌鲁木齐830011 中国科学院大学北京100049 新疆民族语音语言信息处理实验室乌鲁木齐830011

事件抽取旨在将非结构化自然语言文本中的事件信息以结构化形式进行识别提取。传统事件抽取方法抽取范围局限于单个句子,且依赖较大规模的标注数据,在篇章级抽取任务与低资源目标领域中表现不佳。现有研究利用提示学习方法,以模板槽位... 详细信息

事件抽取旨在将非结构化自然语言文本中的事件信息以结构化形式进行识别提取。传统事件抽取方法抽取范围局限于单个句子,且依赖较大规模的标注数据,在篇章级抽取任务与低资源目标领域中表现不佳。现有研究利用提示学习方法,以模板槽位填空方式实现篇章级事件抽取,其缺点在于传统提示模板槽位对论元角色分类准确度不高,容易造成论元角色抽取错误。针对上述问题,提出一种基于槽位语义增强提示学习的篇章级事件抽取方法,在提示学习方法的基础上,将传统事件抽取范式中的论元角色语义信息融入提示模板槽位中,为模型的槽位预测生成环节提供论元类型约束,提高篇章级事件抽取的准确率。通过使预训练语言模型上下游任务保持一致,提高模型的泛化能力,同时以较低成本实现知识迁移,在低资源事件抽取场景下提升模型性能。实验结果表明,相较于表现次优的传统基线方法,在包含59种论元类型的英文事件抽取数据集、包含92种论元类型的中文数据集以及低资源数据规模下,该方法的F1值分别取得了2.6、2.9和4.0个百分点的提升。

关键词：事件抽取提示学习信息抽取自然语言处理预训练语言模型

在线全文

学校读者我要写书评

暂无评论

基于提示学习的中文短文本分类方法

中文信息学报 2023年第7期37卷 82-90页

作者：穆建媛朱毅周鑫柯李云强继朋袁运浩扬州大学计算机科学与技术系江苏扬州225127

伴随着互联网的飞速发展,产生了海量以微博、推特等为代表的少于100字的短文本数据,这些文本长度极短、特征稀疏、语义不足,因此给短文本分类问题带来了巨大挑战。现有的中文短文本分类方法往往需要大量的有标签或无标签的数据,但在实... 详细信息

伴随着互联网的飞速发展,产生了海量以微博、推特等为代表的少于100字的短文本数据,这些文本长度极短、特征稀疏、语义不足,因此给短文本分类问题带来了巨大挑战。现有的中文短文本分类方法往往需要大量的有标签或无标签的数据,但在实际应用中,大量的训练数据往往难以获取,且成本很高。为此,该文提出了一种基于提示学习的中文短文本分类方法,适用于少样本状况下的短文本分类。实验结果表明,该方法在仅使用少样本训练数据的情况下比使用大量训练数据的其他模型表现更好。具体来说,该文手工设计了模板,将使用了模板的原始数据替换为含有mask的文本作为新的输入,最终取得了较好的分类效果。通过对4个基准数据集进行验证,基于提示学习的分类方法在仅有40个训练样本的情况下比BERT预训练语言模型使用740个样本的准确率高出近6%。

关键词：短文本分类提示学习少样本

在线全文

学校读者我要写书评

暂无评论

与知识相结合的提示学习研究综述

中文信息学报 2023年第7期37卷 1-12页

作者：鲍琛龙吕明阳唐晋韬李莎莎王挺国防科技大学计算机学院湖南长沙410073

近年来,提示学习方法由于可以充分激发预训练语言模型的潜能而得到了研究者越来越多的关注,特别是在知识抽取任务中取得了较好进展。为了提升提示学习性能,研究者也开展了基于知识的提示学习模板工程、答案工程优化等多项研究。该文对... 详细信息

近年来,提示学习方法由于可以充分激发预训练语言模型的潜能而得到了研究者越来越多的关注,特别是在知识抽取任务中取得了较好进展。为了提升提示学习性能,研究者也开展了基于知识的提示学习模板工程、答案工程优化等多项研究。该文对提示学习与知识相结合的相关研究进行了系统综述,包括知识抽取中的提示学习方法以及基于知识约束的提示学习相关进展。在此基础上,该文还探讨了目前方法存在的局限性,展望了提示学习与知识相结合的发展趋势。

关键词：提示学习知识抽取知识提示

在线全文

学校读者我要写书评

暂无评论

基于提示学习的中文文本分类方法探究

火力与指挥控制 2023年第10期48卷 198-203,211页

作者：蔡飞宋城宇王思远李佩宏林可菁国防科技大学信息系统工程重点实验室长沙410073 中国人民大学信息资源管理学院北京100872

自动文本分类方法是当前信息化和数据化时代处理非结构化信息的基本方法,是提升决策系统智能化程度的关键技术手段。近年来,由于其在小样本领域以及迁移学习方面的优异性能,基于提示学习的文本分类方法逐渐被广泛应用于一系列自然语言... 详细信息

自动文本分类方法是当前信息化和数据化时代处理非结构化信息的基本方法,是提升决策系统智能化程度的关键技术手段。近年来,由于其在小样本领域以及迁移学习方面的优异性能,基于提示学习的文本分类方法逐渐被广泛应用于一系列自然语言处理任务上。然而,当前对基于提示学习的方法仍集中于英文领域。英文和中文在语义、文法上的巨大差异性,基于提示学习的分类方法能否在中文任务中提高模型性能仍然有待探索。因此,使用中文基线数据集CLUE中多个分类任务对基于提示学习的文本分类方法性能进行实验验证。结果表明,基于提示学习的分类方法在多种分类任务上都表现出了较基线更强的性能,在不同的输入长度以及标签数量设置下也具有较强的鲁棒性。

关键词：提示学习文本分类预训练语言模型

基于多源停电数据提示学习的电网轻量化停电感知模型

在线全文

学校读者我要写书评

暂无评论

现代电力 2023年

作者：骆晨冯玉吴凯周建军吴少雷郭小东国网安徽省电力有限公司电力科学研究院国网安徽省电力有限公司

电网的稳定运行对于现代社会的生产生活至关重要，实现从低压到系统多层面的停电监测与分析成为电力系统中的重要任务之一。在这个问题上，以新增边端节点的方式实现停电状态监测将会带来巨大的建设和运维成本。因此，通过引入电网外部... 详细信息

电网的稳定运行对于现代社会的生产生活至关重要，实现从低压到系统多层面的停电监测与分析成为电力系统中的重要任务之一。在这个问题上，以新增边端节点的方式实现停电状态监测将会带来巨大的建设和运维成本。因此，通过引入电网外部的智能家居等网络设备数据，开辟了兼具强实时高精度与低成本广覆盖的停电故障感知技术路径。同时当前深度学习停电研判模型对不同场景需重新训练参数，缺乏轻量化部署且模型实时性不高。为此基于多源异构数据融合方法，提出了一种端到端的轻量化电网停电感知模型。首先通过图聚类算法挖掘用户簇停电事件特征，并且获取停电先验作为停电研判提示。在此基础上引入自适应提示学习，轻量化实现重复使用同一个模型参数，能在不同层面场景下进行停电研判。进一步应用组稀疏算法优化停电模型的计算效率。该方法具有重要的实用价值和应用前景，对于提高电力系统的可靠性和稳定性具有重要的意义。

关键词：智能电网多源异构数据停电感知图聚类提示学习深度学习

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于提示学习的小样本文本分类方法

计算机应用 2023年第9期43卷 2735-2740页

作者：于碧辉蔡兴业魏靖烜中国科学院大学北京100049 中国科学院沈阳计算技术研究所沈阳110168

文本分类任务通常依赖足量的标注数据,针对低资源场景下的分类模型在小样本上的过拟合问题,提出一种基于提示学习的小样本文本分类方法BERT-P-Tuning。首先,利用预训练模型BERT(Bidirectional Encoder Representations from Transforme... 详细信息

文本分类任务通常依赖足量的标注数据,针对低资源场景下的分类模型在小样本上的过拟合问题,提出一种基于提示学习的小样本文本分类方法BERT-P-Tuning。首先,利用预训练模型BERT(Bidirectional Encoder Representations from Transformers)在标注样本上学习到最优的提示模板;然后,在每条样本中补充提示模板和空缺,将文本分类任务转化为完形填空任务;最后,通过预测空缺位置概率最高的词并结合它与标签之间的映射关系得到最终的标签。在公开数据集FewCLUE上的短文本分类任务上进行实验,实验结果表明,所提方法相较于基于BERT微调的方法在评价指标上有显著提高。所提方法在二分类任务上的准确率与F1值分别提升了25.2和26.7个百分点,在多分类任务上的准确率与F1值分别提升了6.6和8.0个百分点。相较于手动构建模板的PET(Pattern Exploiting Training)方法,所提方法在两个任务上的准确率分别提升了2.9和2.8个百分点,F1值分别提升了4.4和4.2个百分点,验证了预训练模型应用在小样本任务的有效性。

关键词：小样本学习文本分类预训练模型提示学习自适应模板

面向中文网络对话文本的论辩挖掘——基于微调与提示学习的大模型算法

在线全文

学校读者我要写书评

暂无评论

中文信息学报 2023年第10期37卷 139-148页

作者：言佳润鲜于波中山大学哲学系逻辑与认知研究所广东广州510275

随着互联网技术的飞速发展,即时通信、在线论坛等应用广泛普及,网络上产生了了大量非结构化或半结构化的网络对话论辩文本,对这些文本进行论辩挖掘研究具有重要的学术价值与现实意义。该文首先构建了中文网络对话论辩语料库,以子句作为... 详细信息

随着互联网技术的飞速发展,即时通信、在线论坛等应用广泛普及,网络上产生了了大量非结构化或半结构化的网络对话论辩文本,对这些文本进行论辩挖掘研究具有重要的学术价值与现实意义。该文首先构建了中文网络对话论辩语料库,以子句作为标注的粒度;然后,基于此语料库使用预训练语言模型微调和提示方法分别进行论辩元素及其关系的识别,分别使用了目前受到广泛认可的BERT、XLNet、RoBERTa及其衍生的预训练语言模型,通过预训练微调的方式进行实验。在GPT、BERT、RoBERTa预训练模型上进行提示学习,通过P-tuning自动构建连续模板,进行论辩挖掘。实验结果显示,提示学习用于论辩挖掘任务是可行的,且准确率与现今取得很好效果的预训练微调方法相近,有时准确率甚至更高,同时在小样本或零样本数据集上有着更好的效果。实验还显示GPT与Prompt结合可以较好地完成论辩关系识别任务。

关键词：论辩挖掘网络对话文本论辩语料库预训练模型提示学习

在线全文

学校读者我要写书评

暂无评论

基于提示学习增强的文本情感分类算法

数据分析与知识发现 2023年

作者：黄泰峰马静南京航空航天大学经济与管理学院

[目的]解决在样本量不足的情况下，使用预训练模型进行情感分类准确率偏低的问题。[方法]本文提出了一种基于提示学习增强的情感分类算法Pe(prompt ensemble)-RoBERTa，以RoBERTa模型为基础，使用不同于传统微调方法的集成提示方法，通... 详细信息

[目的]解决在样本量不足的情况下，使用预训练模型进行情感分类准确率偏低的问题。[方法]本文提出了一种基于提示学习增强的情感分类算法Pe(prompt ensemble)-RoBERTa，以RoBERTa模型为基础，使用不同于传统微调方法的集成提示方法，通过提示帮助模型进一步理解下游任务，改善模型对文本情感特征的提取能力。[结果]在多个公开的中英文情感分类数据集上的实验表明，少样本场景下模型平均的情感分类准确率为93.2%，相较于微调，离散型提示而言，本模型准确率分别提升了13.8%和8.1%。[局限]本方法处理的数据模态仅限于文本形式，目标任务主要为情感二分类任务，没有做细粒度更高的情感分类任务。[结论]本文提出的Pe-RoBERTa能够有效地进行文本情感特征的提取，在多个情感分类任务中取得较高的准确率。

关键词： Pe-RoBERTa 情感分类提示学习特征提取

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于提示学习的维吾尔语文本分类研究

计算机工程 2023年第6期49卷 292-299,313页

作者：张博旭蒲智程曦新疆农业大学计算机与信息工程学院乌鲁木齐830000

维吾尔语属于低资源语言和黏着性语言,现有维吾尔语文本分类方法缺少足够的语料来训练维吾尔语预训练模型。因此,维吾尔语无法基于预训练模型提取有效的句向量信息。现有的文本分类方法利用深度学习模型提取词向量,然而,维吾尔语具有特... 详细信息

维吾尔语属于低资源语言和黏着性语言,现有维吾尔语文本分类方法缺少足够的语料来训练维吾尔语预训练模型。因此,维吾尔语无法基于预训练模型提取有效的句向量信息。现有的文本分类方法利用深度学习模型提取词向量,然而,维吾尔语具有特征稀疏且维度偏高的特点,使得其在文本分类上的效果较差。为此,提出基于提示学习的维吾尔语文本分类方法。基于提示学习,采用多语言预训练模型Cino构造不同的模板,利用模型的掩码预测能力对不同的掩码位置进行预测。为避免掩码预测的词汇信息具有多样性,将模板掩盖掉的词向量代替整体的句向量,利用掩码模型的预测能力,以有限大小的向量表示当前句子的语义信息,将下游任务靠近模型的预训练任务,减少在微调阶段两者不同所造成的影响。在爬取维吾尔语网站所构建新闻数据集上进行的文本分类实验结果表明,相比Cino微调预训练模型,融合提示学习的Cino模型的F1值最高可达到92.53%,精准率和召回率分别提升了1.79、1.04个百分点,具有更优的维吾尔语文本分类效果。

关键词：文本分类维吾尔语提示学习预训练模型深度学习