检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

面向图书自动分类的大语言模型提示学习研究

图书馆学研究 2024年第1期 86-103页

作者：戎璐郑州轻工业大学

为避免高昂的人力成本,从少量样本中学习图书类目的特征与规律已成为图书馆学的热门问题。以图书为研究对象,利用大语言模型ChatGPT表征文本,构建大语言模型提示学习模型,以实现自动识别并分类图书的目的。针对当前方法需要大规模数据... 详细信息

为避免高昂的人力成本,从少量样本中学习图书类目的特征与规律已成为图书馆学的热门问题。以图书为研究对象,利用大语言模型ChatGPT表征文本,构建大语言模型提示学习模型,以实现自动识别并分类图书的目的。针对当前方法需要大规模数据样本与大量训练时间的缺陷,构建“询问大语言模型-提示-生成”图书分类范式。在广州图书馆和郑州图书馆10个一级类目共114 823条图书数据集上进行实验验证。实验结果显示,此范式在精准率、召回率与F1等指标上获得最优分类结果。

关键词：提示学习图书分类小样本学习图书资源

在线全文

学校读者我要写书评

暂无评论

基于提示学习的小样本文献分类方法

图书馆论坛 2024年第5期44卷 96-104页

作者：安波中国社会科学院民族学与人类学研究所

文章研究学术文献分类中的长尾现象和文献类别新增问题,提出基于提示学习的小样本文献分类方法,旨在实现低资源场景下的文献自动分类。借助大规模预训练语言模型的文本表示与生成能力,在提示学习框架下分析不同的提示模板、文献字段、... 详细信息

文章研究学术文献分类中的长尾现象和文献类别新增问题,提出基于提示学习的小样本文献分类方法,旨在实现低资源场景下的文献自动分类。借助大规模预训练语言模型的文本表示与生成能力,在提示学习框架下分析不同的提示模板、文献字段、文献类别表示、样本数等对低资源文献分类的影响。实验结果表明:通过合理地设计提示模板、文献类别表示、文献字段等方式,模型能高效实现低资源场景下的文献分类(50-shot的分类F1值约85%),是传统文献分类算法的重要补充;但在处理细粒度文献分类时存在分类错误问题,需要完善。

关键词：小样本学习提示学习文献分类预训练语言模型

维普期刊数据库博看期刊

同方期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于提示学习的轻量化代码生成方法

计算机科学 2024年第6期51卷 61-67页

作者：徐一然周宇南京航空航天大学计算机科学与技术学院南京210016 南京航空航天大学高安全系统的软件开发与验证技术工信部重点实验室南京211100

代码自动生成是提高软件开发效率的有效途径之一,已有的研究一般将代码生成作为一项序列到序列的任务,并且大规模预训练语言模型的微调过程往往伴随着高昂的算力开销。文中提出了一种基于提示学习的轻量化代码生成方法(Prompt Learning ... 详细信息

代码自动生成是提高软件开发效率的有效途径之一,已有的研究一般将代码生成作为一项序列到序列的任务,并且大规模预训练语言模型的微调过程往往伴随着高昂的算力开销。文中提出了一种基于提示学习的轻量化代码生成方法(Prompt Learning based Parameter-Efficient Code Generation,PPECG),该方法通过查询代码语料库中与当前需求最相似的结果作为提示,指导预训练语言模型进行代码生成,并且在该过程中固定模型的绝大多数参数以实现减少算力开销的目的。为了验证PPECG的有效性,文中选取了两个代码生成数据集,分别是CONCODE和Solidity4CG,通过计算生成结果的BLEU,CodeBLEU以及Exact Match值来验证PPECG的有效性,实验结果表明,PPECG有效地减少了微调时的显存开销,且在上述指标上基本接近甚至优于目前的SOTA方法,能够较好地完成代码生成的任务。

关键词：代码生成提示学习预训练语言模型信息检索智能合约

同方期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于提示学习的电信网络诈骗案件分类方法

山东大学学报（理学版） 2024年第7期59卷 113-121页

作者：纪杰孙承杰单丽莉尚伯乐林磊哈尔滨工业大学计算学部黑龙江哈尔滨150001 哈尔滨市公安局香坊分局黑龙江哈尔滨150000

针对电信诈骗案件自动分类技术进行研究,制定基于情境分析的电信网络诈骗分类体系,实现案件文本去标识化隐私保护方法,提出一种基于提示学习的电信网络诈骗案件分类方法,实验结果显示该方法在本文构建的数据集上准确率、F1值等指标均高... 详细信息

针对电信诈骗案件自动分类技术进行研究,制定基于情境分析的电信网络诈骗分类体系,实现案件文本去标识化隐私保护方法,提出一种基于提示学习的电信网络诈骗案件分类方法,实验结果显示该方法在本文构建的数据集上准确率、F1值等指标均高于基于BERT的分类方法1%~2%。

关键词：提示学习电信网络诈骗去标识化案件分类

同方期刊数据库

基于片段抽取原型网络的古籍文本断句标点提示学习方法

在线全文

学校读者我要写书评

暂无评论

计算机应用 2024年

作者：高颖杰林民斯日古楞李斌张树钧内蒙古师范大学计算机科学技术学院内蒙古民族大学计算机科学与技术学院内蒙古师范大学文学院

针对古籍信息处理中自动断句及标点任务对大规模标注语料依赖的现象，在考虑到高质量、大规模训练样本的成本昂贵且难以获取的背景下，本文提出了一种基于片段抽取原型网络的古籍文本断句标点提示学习方法。首先，本文通过对支持集加入... 详细信息

针对古籍信息处理中自动断句及标点任务对大规模标注语料依赖的现象，在考虑到高质量、大规模训练样本的成本昂贵且难以获取的背景下，本文提出了一种基于片段抽取原型网络的古籍文本断句标点提示学习方法。首先，本文通过对支持集加入结构化提示信息，形成有效的提示模板，以提高模型的学习效率。其次，结合标点位置提取器和原型网络分类器，有效减少了传统序列标注方法中的误判影响及非标点标签的干扰。实验结果表明，与BERT-BiGRU-CRF的方法相比，在《史记》数据集上F1值提升了2.5个百分点。此外，在公开多领域古籍数据集CCLUE上，本文方法的精确率和F1值分别达到了91.60%和93.12%，说明本方法利用少量训练样本就能对多领域古籍有效自动断句标点。因此，本研究为多领域古籍文本自动断句及标点任务的深入研究、提高模型的学习效率提供了新的思路和方法。

关键词：古籍智能整理片段抽取原型网络提示学习自动断句标点深度学习

基于两阶段网络和提示学习的少样本中文命名实体识别

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

南京邮电大学学报(自然科学版) 2024年

作者：李准宋媚祝义江苏师范大学计算机科学与技术学院

基于提示学习的方法在处理少样本句子级分类任务时效果较好，然而在处理字符级的命名实体识别任务时，现有采用枚举手动构建提示模板的方法，效率低下且性能不稳定。针对此问题，本文提出基于两阶段网络和提示学习的少样本中文命名实体... 详细信息

基于提示学习的方法在处理少样本句子级分类任务时效果较好，然而在处理字符级的命名实体识别任务时，现有采用枚举手动构建提示模板的方法，效率低下且性能不稳定。针对此问题，本文提出基于两阶段网络和提示学习的少样本中文命名实体识别方法。第一阶段网络，创新性地引入文本生成模型T5，利用提示学习的思想，将文本生成任务改造为完形填空的形式以自动生成提示模板；第二阶段网络，使用当前主流的BERT-BiLSTM-CRF网络架构进行训练。本文通过消融实验，探讨了提示模板更合理的嵌入方式，在Weibo、Resume和MSRA语料库上实验结果F1值达到了73.58%、96.63%和95.67%，在多组对比实验中效果均为最优，表明了该方法可有效提升少样本中文命名实体识别的效果。

关键词：深度学习命名实体识别大语言模型提示学习文本生成少样本

基于视觉语义与提示学习的多模态情感分析模型

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机科学 2024年

作者：莫书渊蒙祖强广西大学计算机与电子信息学院

随着深度学习技术的发展，多模态情感分析已成为研究热点之一。然而，大多数多模态情感分析模型或从不同模态中提取特征向量并简单地进行加权求和，导致数据无法准确地映射到统一的多模态向量空间中，或依赖图像描述模型将图像转化为文... 详细信息

随着深度学习技术的发展，多模态情感分析已成为研究热点之一。然而，大多数多模态情感分析模型或从不同模态中提取特征向量并简单地进行加权求和，导致数据无法准确地映射到统一的多模态向量空间中，或依赖图像描述模型将图像转化为文本，导致提取到过多不包含情感信息的视觉语义，造成信息冗余，最终影响模型的性能。为了解决这些问题，提出了一种基于视觉语义与提示学习的多模态情感分析模型VSPL，该模型将图像转化为精确简短、蕴含情感信息的视觉语义词汇，以此缓解信息冗余的问题，并基于提示学习的方法，将得到的视觉语义词汇与针对情感分类任务而提前设计好的提示模板组合成新文本，实现模态融合，既避免了因加权求和导致的特征空间映射不准确的问题，又能借助提示学习的方法激发预训练语言模型的潜在性能。对多模态情感分析任务进行了对比实验，提出的模型VSPL在三个公开数据集上的性能超越了先进的基准模型。此外，还进行了消融实验、特征可视化和样例分析，以验证VSPL的有效性。

关键词：多模态视觉语义提示学习情感分析预训练语言模型

基于先验知识引导提示学习的自监督分类法补全

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机工程 2024年

作者：陈志强仇瑜朱宇王晓英北京智谱华章科技有限公司青海大学计算机技术与应用系

由于现有各领域种子分类法不完整，且随着时间推移涌现大量新的领域术语，使得各领域种子分类法有待自动补全。现有的自监督分类法补全方法采用图嵌入技术，并未充分利用预训练语言模型所提供的丰富语义信息，且只关注图中局部的节点关... 详细信息

由于现有各领域种子分类法不完整，且随着时间推移涌现大量新的领域术语，使得各领域种子分类法有待自动补全。现有的自监督分类法补全方法采用图嵌入技术，并未充分利用预训练语言模型所提供的丰富语义信息，且只关注图中局部的节点关系，而忽视了整体图结构所蕴含的信息。针对上述问题，提出了一个基于先验知识引导提示学习的自监督分类法补全模型，该模型融合了预训练语言模型的语义信息和种子分类法的结构信息。首先，根据查询节点在垂直路径上存在粗粒度三元组特性，改进了自监督数据集构建策略。其次，在大样本情况下，利用基于预训练和微调模式进行匹配。在微调阶段，为了加强预训练语言模型对真实上位词的关注，在提示（prompt）中融入了真实上位词的同义词或缩略词的先验知识注意力，从而更有效地利用提示来引导预训练模型的微调过程。在匹配阶段，为了降低时间复杂度，采用软束搜索规则。具体来说，在局部图结构上，利用提示指导生成的节点嵌入来评估同级对兄弟节点的查询置信度；在整体图结构上，采用垂直路径的游走方法进行路径截取与排序筛选。然后，在小样本情况下，利用基于提示学习的模式进行匹配，同时采用不同模板组合和上下文示例去微调预训练语言模型。最后，在四个不同领域的大型公开数据集上的实验结果表明，该模型相较于对比方法在指标MR(+15%)、MRR(+0.057)、Hit@10(+0.030)上取得提升。

关键词：分类法补全先验知识提示学习自监督预训练语言模型

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于提示学习的生成式医疗对话理解方法

计算机科学 2024年第5期51卷 258-266页

作者：柳俊阮彤张欢欢华东理工大学信息科学与工程学院上海200237

任务型对话系统中的对话理解模块的目标是将用户输入的自然语言转换成结构化的形式,但在面向诊断的医疗对话系统中,现有方法存在如下问题:1)无法支持精准医疗所需的信息粒度,如给出某一症状的严重程度;2)难以同时满足医疗领域中多样化... 详细信息

任务型对话系统中的对话理解模块的目标是将用户输入的自然语言转换成结构化的形式,但在面向诊断的医疗对话系统中,现有方法存在如下问题:1)无法支持精准医疗所需的信息粒度,如给出某一症状的严重程度;2)难以同时满足医疗领域中多样化的槽值表示形式,如“症状”等可能含有非连续与嵌套实体的抽取型槽以及“否定”等分类型槽。文中提出了一种基于提示学习的多层次生成式医疗对话理解方法。针对问题1),用多层次槽结构替代当前对话理解任务中单层的槽结构,以表示更细粒度的信息,之后采用一种基于对话风格提示的生成式方法,利用提示字符模拟医患对话,从多轮交互中获得多层次信息。针对问题2),提出在推理过程中使用一种受限的解码策略,使模型能够以统一的方式处理意图识别与分类型和抽取型的槽填充任务,避免复杂的建模。此外,针对医疗领域缺少标注数据的问题,提出了一种两阶段训练策略,以充分利用大规模的无标注医疗对话语料来提升性能。针对含有多层次槽结构的医疗对话理解任务标注并发布了一个数据集,包含4722条对话,涉及17种意图与74种槽。实验结果表明,所提方法能够有效解析医疗对话中的各种复杂实体,相比已有的生成方法,其性能高出2.18%,而在小样本的场景下两阶段训练最高能提高模型5.23%的性能。

关键词：提示学习自然语言理解医疗对话系统生成式模型两阶段训练