检索结果-南通市图书馆

维普期刊数据库

基于提示微调的科技论文语义评价指标量化方法研究

在线全文

学校读者我要写书评

暂无评论

数据分析与知识发现 2024年第Z1期 200-212页

作者：李西雨钱力张智雄中国科学院文献情报中心中国科学院大学经济管理学院信息资源管理系国家新闻出版署学术期刊新型出版与知识服务重点实验室

【目的】基于大语言模型实现科技论文语义评价指标的自动量化，支撑科技文献语义评价研究。【方法】从科技论文中抽取与评价指标相关的语步句，设计标准、简化、详细三种不同详尽程度的提示词，横向对比提示词效果，利用少量标注样本微... 详细信息

【目的】基于大语言模型实现科技论文语义评价指标的自动量化，支撑科技文献语义评价研究。【方法】从科技论文中抽取与评价指标相关的语步句，设计标准、简化、详细三种不同详尽程度的提示词，横向对比提示词效果，利用少量标注样本微调大语言模型，得到科技论文语义评价指标量化模型。【结果】基于论文文本的语义内容，从“实验条件的苛刻程度”维度量化论文评价指标并开展分析。实验结果表明，基于详细提示词微调的模型取得最佳效果。在训练样本数为100时，Micro-Acc和Fuzzy-Acc分别达到0.72和0.87。【局限】仅选取计算机领域科技论文进行实验，未考察所提方法在不同学科上的效果差异。【结论】基于提示微调大语言模型的指标量化方法具有较高的精确度和可靠性，提高提示词的详尽程度可明显提升量化效果。此外，增加微调阶段的样本数虽可提升总体效果，但不同得分段的提升程度存在差异。

关键词：科技论文语义评价指标量化大语言模型提示微调

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于提示微调的微博立场检测研究

中国电子科学研究院学报 2024年第4期19卷 340-349页

作者：蒲秋梅李辅德中央民族大学民族语言智能分析与安全治理教育部重点实验室北京100081

鉴于传统机器学习和自然语言处理技术在处理微博等社交媒体短文本数据时遇到的挑战,特别是数据的信息稀疏性影响数据的表达和分类性能,文中通过提示微调的方法,进行微博立场检测任务。提示微调方法可以充分挖掘和利用预训练语言模型内... 详细信息

鉴于传统机器学习和自然语言处理技术在处理微博等社交媒体短文本数据时遇到的挑战,特别是数据的信息稀疏性影响数据的表达和分类性能,文中通过提示微调的方法,进行微博立场检测任务。提示微调方法可以充分挖掘和利用预训练语言模型内嵌的丰富知识库,以便更精确捕捉并识别不同文本内容对特定话题的立场倾向。文中首先对微博立场检测数据进行基于反翻译的数据增强,将训练数据从3000条增强到12000条;然后,根据微博文本内容以及对应话题,设计出提示词。这些提示旨在引导预训练语言模型的注意力机制关注文本中对立场检测尤为关键的信息片段,从而提高模型对微博文本立场的识别能力。为了验证提示微调在微博立场检测任务上的有效性,文中在NLPCC 2016的中文微博立场数据集上进行实验,实验结果显示,相较于最优的基线方法,基于提示微调的微博立场检测方法在五个评价指标上提升了0.6%~6%。综上,本研究不仅揭示了基于提示微调的方法在微博立场检测任务中具有巨大的应用潜力,同时也为未来的研究提供了有价值的参考。

关键词：自然语言处理立场检测提示微调通用语言模型数据增强

维普期刊数据库

基于prompt tuning的中文文本多领域情感分析研究

在线全文

学校读者我要写书评

暂无评论

计算机工程与科学 2024年第1期46卷 179-190页

作者：赵文辉吴晓鸰凌捷 HOON Heo 广东工业大学计算机学院广东广州510006 三星电机韩国水原16674

不同领域的情感文本表达方式不一样,通常需要为各个领域训练相应的情感分析模型。针对无法用一个模型进行高效多领域情感分析的问题,提出了基于提示微调(prompt tuning)的多领域文本情感分析方法MSAPT。借助hard prompt,指示情感文本的... 详细信息

不同领域的情感文本表达方式不一样,通常需要为各个领域训练相应的情感分析模型。针对无法用一个模型进行高效多领域情感分析的问题,提出了基于提示微调(prompt tuning)的多领域文本情感分析方法MSAPT。借助hard prompt,指示情感文本的所属领域和待选的情感标签,调动不同领域情感分析相关的知识,再为情感分析预训练一个统一的“通才模型”,在下游的各领域文本学习中,保持模型冻结,通过prompt tuning使模型学习到下游各领域情感文本的特征。MSAPT仅需保存一个模型和一些参数量远远小于模型的prompt,实现了多领域情感分析。在多个属于不同领域的情感文本数据集上进行实验,结果表明仅进行prompt tuning时,MSAPT效果优于模型微调(model tuning)的。最后,分别对适应特定领域的prompt tuning、hard prompt、soft prompt的长度和中间训练数据集的大小进行消融实验,从证明其对情感分析效果的影响。

关键词：多领域情感分析提示微调预训练语言模型 T5

维普期刊数据库

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

三支提示知识的持续学习方法研究

小型微型计算机系统 2024年

作者：杨晓龙刘家芬王向坤李昱洁李艳花杨新西南财经大学计算机与人工智能学院互联网金融创新及监管四川省协同创新中心

当前基于预训练模型和提示微调的持续学习范式受到了广泛的关注.然而，该范式在选取提示时未考虑知识的不确定性，若选取对任务有负作用的不确定性提示将导致模型性能下降.如何有效处理不确定性提示成为提升模型性能的关键.本文结合三... 详细信息

当前基于预训练模型和提示微调的持续学习范式受到了广泛的关注.然而，该范式在选取提示时未考虑知识的不确定性，若选取对任务有负作用的不确定性提示将导致模型性能下降.如何有效处理不确定性提示成为提升模型性能的关键.本文结合三支决策理论，提出了一种基于三支提示知识的持续学习方法，将可学习的参数化提示作为知识构建三支决策知识系统，对提示知识做出接受、拒绝和延迟的决策，相应地将其划分为正知识、负知识和不确定性知识，并在持续学习过程中累积正知识、丢弃负知识、更新不确定性知识，构建提示知识库并利用其帮助新任务的学习.本文在经典持续学习数据集上进行了全面的实验，并取得了优秀的表现.

关键词：三支决策不确定性提示微调知识迁移持续学习

基于预训练模型微调的方面级情感分析模型研究

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于预训练模型微调的方面级情感分析模型研究

作者：何烨重庆理工大学

学位级别：硕士

随着互联网的发展,越来越多的人在网络上发表评论,这些评论包含几乎各个方面,如购物评价、新闻点评等,蕴藏着极大的价值。如何对这些文本数据进行分析并提取有用信息一直是研究的重点。作为一项细粒度的情感分析任务,方面级情感分析(Asp... 详细信息

随着互联网的发展,越来越多的人在网络上发表评论,这些评论包含几乎各个方面,如购物评价、新闻点评等,蕴藏着极大的价值。如何对这些文本数据进行分析并提取有用信息一直是研究的重点。作为一项细粒度的情感分析任务,方面级情感分析(Aspect-based Sentiment Analysis,ABSA)旨在识别句子中特定实体的情感极性。然而,由于句子结构以及其包含的实体数量等因素的限制,如何正确地建模方面词与对应情感之间的关系仍然是目前研究的难点。为了提升模型建模句子中方面和对应情感关系的能力以及预测准确率,本文从方面情感特征增强,句法信息噪声过滤,预训练模型微调等方面,采用序列模型、图卷积网络模型、注意力机制、提示微调以及对比学习等技术,对方面级情感分析任务进行更深入的研究。主要研究内容与创新总结如下:(1)提示语义增强的网络模型针对现有研究中建模方面和情感关系困难的情况,通过构造任务相关的提示模板和标签模板,利用预训练语言模型的理解能力和表示能力将标签信息引入到模型中。通过这种方法,对预训练语言模型进行微调,并将该过程中获得的表示作为提示语义信息。同时,通过图卷积网络和自注意力网络提取句子的句法信息和上下文信息,将其与提示语义信息结合,进行情感的预测。在公开的方面级情感分析数据集上进行实验的结果表明,该方法优于对比基线模型。(2)通过提示进行对比学习和合作学习的图卷积网络模型利用标签模板引入标签信息虽然可以提升任务的表现,但是这种方法对标签信息的利用并不充分。因此,提出通过为输入构造特定于任务的提示模板以及对应的正样本和负样本,来进行对比学习。同时将输入样本和正样本的特征表示与输出预测的结果一致化。通过这种方法来充分学习构造样本中包含的标签信息。此外,利用提示微调过程中的预测结合方面特征对句法信息进行过滤,以此缓解模型在建模句法信息时可能产生的噪声。综上所述,针对方面级情感分析任务中存在的问题和挑战,从利用标签信息增强方面情感特征和缓解句法信息中的噪声等方面出发,构造了多个方面级情感分析模型,取得了相对好的结果。所提出的方法可以为商品评价,社会舆情调查,情感机器人等方面提供技术支持。

关键词：方面级情感分析图卷积网络对比学习预训练语言模型提示微调

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

大型预训练语言模型基础逻辑能力测评研究

曲阜师范大学学报（自然科学版） 2024年第3期50卷 89-95页

作者：倪睿康肖达高鹏曲阜师范大学网络空间安全学院山东省曲阜市273165 北京邮电大学网络空间安全学院北京市100876

针对数量问题、集合关系、量词问题和常识推理等4类基本逻辑推理问题,构建少样本学习模板,对数据集进行自动生成扩展,设计了11个逻辑推理子任务.采用语境学习和提示微调2种少样本学习方法,从模型、测试、任务3个维度测试了GPT-Neo-1.3B... 详细信息

针对数量问题、集合关系、量词问题和常识推理等4类基本逻辑推理问题,构建少样本学习模板,对数据集进行自动生成扩展,设计了11个逻辑推理子任务.采用语境学习和提示微调2种少样本学习方法,从模型、测试、任务3个维度测试了GPT-Neo-1.3B、GPT-J-6B、GPT-3-Curie、GPT-3-Davinci等模型的逻辑推理能力.结果表明,GPT-3模型在数量问题、量词问题和常识推理问题方面相对优秀,GPT-Neo与GPT-J模型在集合关系问题上更具优势.相较于语境学习,对预训练模型进行提示微调能显著提升预测能力.

关键词：自然语言处理预训练语言模型语境学习提示微调少样本学习

维普期刊数据库博看期刊

在线全文

学校读者我要写书评

暂无评论

基于类型知识提示的隐喻理解方法

清华语言学

清华语言学 2024年 271-290页

作者：张声龙刘颖清华大学人文学院

针对大语言模型输出不可控且易产生幻觉的问题,文章从提示微调的角度出发,验证了在提示语中融入类型知识可以显著提升模型的隐喻识别和理解能力。当把这一方法与上下文学习技术结合起来时,模型的表现能得到进一步的提升。文章的研究证... 详细信息

针对大语言模型输出不可控且易产生幻觉的问题,文章从提示微调的角度出发,验证了在提示语中融入类型知识可以显著提升模型的隐喻识别和理解能力。当把这一方法与上下文学习技术结合起来时,模型的表现能得到进一步的提升。文章的研究证明了通常情况下大语言模型不会主动寻找词语的隐喻义,合适的类型知识提示能够有效激活模型的参数化知识,从而增强模型识别和理解隐喻的能力。

关键词：大语言模型隐喻理解提示微调上下文学习

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于生成对抗网络的文本到图像合成算法研究

基于生成对抗网络的文本到图像合成算法研究

作者：李祥羽中国科学技术大学

学位级别：硕士

移动互联网时代,图像已经成为人类社会信息传播的主要媒介,但图像创作复杂、低效,文本到图像合成任务旨在根据自然语言文本描述合成与之语义一致的目标图像,使图像创作更加高效。因其广泛的现实价值,文本到图像合成研究成为多模态机器... 详细信息

移动互联网时代,图像已经成为人类社会信息传播的主要媒介,但图像创作复杂、低效,文本到图像合成任务旨在根据自然语言文本描述合成与之语义一致的目标图像,使图像创作更加高效。因其广泛的现实价值,文本到图像合成研究成为多模态机器学习领域的重要课题。生成对抗网络在文本到图像合成任务中取得了良好的效果,但也存在很多问题。首先,传统的多阶段堆叠式模型各阶段网络之间存在参数纠缠,训练难度较大,且效果受限于初始阶段合成图像的质量。其次,最近的单阶段模型避免了前述问题,但对细粒度文本特征的利用不充分。再次,当前模型对多模态特征间相互信息的利用不足。最后,受限于特征编码器的跨模态特征提取能力,基于生成对抗网络的模型与大型自回归、扩散模型相比竞争力不足。针对上述挑战,本论文对基于生成对抗网络的文本到图像合成进行了研究,主要工作总结如下:(1)针对当前单阶段模型对细粒度文本特征利用不充分的问题,提出了一种基于多尺度特征融合机制的文本到图像合成模型。本模型提供了一种多尺度特征融合机制,包含仿射融合块、属性词和单词联合块和属性词增强块等组件,在合成图像的过程中,利用仿射变换与混合注意力机制深度融合图像特征和句子、属性词、单词等不同细粒度的文本特征。针对当前模型对多模态特征间相互信息利用不足的问题,基于对比学习思想设计了对比损失函数充分利用正负样本对的相互信息。此外,本文还使用注意力机制来增强判别器中图文特征的连接效果。实验表明,本模型的表现优于前沿的生成对抗网络主干的文本到图像合成模型。(2)针对当前模型特征编码器的跨模态特征提取能力不足的问题,提出了一种基于视觉Transformer预训练模型CLIP的文本到图像合成模型,提供了在文本到图像合成研究中结合生成对抗网络和预训练模型的新范式。本模型设计了文本特征适配器、视觉提示监督块等组件,通过提示微调迁移CLIP的跨模态特征提取能力到本研究中,并设计特征提取块提升判别器的特征鉴别能力。此外,在对抗损失函数中加入了 CLIP相似性度量以充分利用多模态特征间的相互信息。实验表明,本模型的表现不仅优于前沿的生成对抗网络主干的文本到图像合成模型,在与一些大型自回归、扩散模型的比较中也表现出了相当的竞争力,并且推理速度更快。

关键词：文本到图像合成生成对抗网络多尺度特征融合通道-空间注意力机制视觉Transformer 提示微调