检索结果-南通市图书馆

作者：梅世杰武汉纺织大学

学位级别：硕士

随着互联网科技的快速发展,一些大型通用的知识库随之兴起,知识库问答模型也如雨后春笋般的涌现出来,并逐渐融入到了人们的生活之中。但是知识库问答模型存在一个始终无法避免的问题,即低信息量知识库。当自然语言问题所需的答案或三元... 详细信息

随着互联网科技的快速发展,一些大型通用的知识库随之兴起,知识库问答模型也如雨后春笋般的涌现出来,并逐渐融入到了人们的生活之中。但是知识库问答模型存在一个始终无法避免的问题,即低信息量知识库。当自然语言问题所需的答案或三元组信息不存在于知识库中时,模型将无法为用户提供所需答案。同时,如今的知识库问答模型对语句语义的学习过于依赖文本语句的单词分布。这使得在面临高文本相似度但真实语义相差较大的问题时,模型会将其识别成同一类问题,从而选择错误的知识库信息,最终给出错误的答案。因此,在现有知识库问答模型的基础上,本文引入了对比学习方法,帮助缓解上述问题。本文的主要工作包括以下两部分:(1)针对低信息量知识库,本文提出了一种基于筛选动量对比学习的知识库问答模型(s Mo Co)。本模型首先利用已存在的三元组信息扩展出新的知识信息,丰富知识库中所包含的信息量;之后通过s Mo Co筛选出困难的问答对样本,进一步激发对比学习的能力,帮助模型更好地挖掘知识库中的语义信息。本模型不仅提高了模型的泛化性,而且在Web Questions SP数据集上的实验取得了良好的提升效果。(2)为了进一步提高模型的性能和准确度,本文结合了预训练模型所携带的大型语料库信息,提出了一种基于提示对比学习的知识库问答模型(PCL)。首先针对高文本相似度带来的高语义相似性问题,本模型通过提示学习和预训练模型对其进行不同模板的扩充,进而动态构建所需的正负样本问答对;然后PCL对扩充的问答对样本对比学习,帮助模型更好的区分和学习高文本相似度但低语义相似度的问答对样本,并模仿人类推理过程,深度挖掘出问答对所需的知识库信息。该模型不仅能有效处理低资源知识库数据集,还能丰富知识库中三元组节点信息,在Web Questions SP和Meta QA-Text数据集上的实验效果均有明显提升。上述的实验结果证明了,基于对比学习的知识库问答模型研究可以很好地帮助模型模拟人类推理问题得出答案的过程,缓解目前低信息量知识库无法得到充分利用的情况;同时对比学习拉近同类数据样本,推远非同类的数据样本的特点,也有效地提高了模型区分高文本相似度但低语义相似度的问句的能力。

关键词：自然语言处理知识库问答对比学习提示学习预训练模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

开放域事件发现与模式归纳研究

开放域事件发现与模式归纳研究

作者：杨琪北京邮电大学

学位级别：硕士

事件抽取任务是指将含有事件信息的非结构化文本进行结构化表示,依据是否给定事件模式,常常分为限定域事件抽取和开放域事件抽取。完整的事件模式包括了多个事件类型的事件模式,其定义了表示该事件类型所必须的论元角色。给定领域内事... 详细信息

事件抽取任务是指将含有事件信息的非结构化文本进行结构化表示,依据是否给定事件模式,常常分为限定域事件抽取和开放域事件抽取。完整的事件模式包括了多个事件类型的事件模式,其定义了表示该事件类型所必须的论元角色。给定领域内事件模式,限定域事件抽取对自然语言文本中的事件类型及其论元进行识别。而开放域事件抽取则需要未给定事件模式下,结构化表示文本中的事件信息。完整事件模式的构建通常需要领域专家的标注,而专家也无法预定义所有可能的事件类型及其模式。因此,从开放域事件文本中发现新事件类型,并归纳出对应的事件模式,是一项极具挑战的任务。现有的研究方法仍然存在很多不足。对于新事件类型发现这一子任务,现有方法除了依赖于大量标注数据外,还设置复杂目标函数进行学习,不同的目标函数间常常需要参数平衡。而归纳表示某类事件的模式时,现有研究归纳出的事件论元角色大都依赖于语法解析工具,或者限定在人工定义的候选角色词表中,无法归纳出具有事件特色的事件模式。因此,本课题对开放域事件发现及表示进行研究,分为开放域条件下的新事件类型发现及用于表示某类事件的特定事件模式归纳两个部分。对于新事件类型发现任务,本文以简化现有方法的复杂目标函数为研究目标,提出了一种基于可靠伪标签预测的新事件类型发现方法。给定部分已知事件类型的标注数据,该方法首先利用拼接操作构建全部类别上的预测结果,之后结合不同的深度聚类算法设计两次标签再分配策略,为无标注数据构造可靠的伪标签,从而使模型通过统一目标函数对已知类和未知类共同学习,实现无标注文本中新事件类型的自动发现。实验结果表明,相比基线方法,本文方法不需要参数来平衡多个复杂的目标函数,同时在聚类指标评估上都有了较大提升。对于特定事件模式归纳任务,本文以自动归纳具有事件特色的事件论元角色为研究目标,提出了一种基于对偶提示学习的特定事件模式归纳方法。针对每一事件类型的对应事件簇,该模型首先以事件实例中的命名实体作为候选论元,通过采用对偶的提示学习方法,在全词表进行候选论元角色的命名与校验,最后通过可变阈值来迭代合并相同语义的论元角色,归纳出其事件模式。实验结果表明,该方法在准确率和召回率指标上超过了现有方法,同时通过下游任务及实例分析表明,本文方法相比现有方法可以生成更具有事件特色的事件模式,有利于开放域的事件结构化表示。

关键词：开放域事件抽取事件类型发现事件模式归纳伪标签提示学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

用于少样本关系抽取的知识增强对比学习研究

用于少样本关系抽取的知识增强对比学习研究

作者：王颖敏厦门大学

学位级别：硕士

关系抽取旨在发现给定句子中两个实体之间的关系,是信息抽取中的一项核心任务。在训练数据充足的情况下,现有的关系抽取模型具有良好的性能。但是当训练样本有限时,这些模型的性能就会急剧下降。最近,少样本学习的提出为解决“低资源下... 详细信息

关系抽取旨在发现给定句子中两个实体之间的关系,是信息抽取中的一项核心任务。在训练数据充足的情况下,现有的关系抽取模型具有良好的性能。但是当训练样本有限时,这些模型的性能就会急剧下降。最近,少样本学习的提出为解决“低资源下模型性能降低”的问题提供了一个突破口,各种改进的少样本关系抽取模型也被相继提出。但是由于训练数据的信息量有限,其性能依旧不能令人满意,特别是在1-shot的场景下。为此,本文对如何充分挖掘、利用现有的知识来提高少样本关系抽取模型性能进行了研究。具体地,本文以对比学习为手段,利用知识图谱增强的原型网络和提示增强的预训练语言模型来突破少样本关系抽取的语义表示瓶颈。具体研究内容与创新如下:(1)原型网络是目前最常用的少样本关系抽取模型。为了增强实例的表示,本文构建了一个知识增强的双对比原型网络(KEDCPN),通过添加具有上下文信息的模板来引导模型更加准确地表示两个实体之间的关系,同时从知识图谱中引入多粒度实体类型辅助模型的预测。另外,为了处理“类内关系句法表达差异大”和“类间关系句法表达类似”的问题,本文在每个原型的基础上融入了关系描述信息,并利用双对比学习的方法对模型进行训练,使得模型中的每个原型既能区别于其他类,又能聚合同一类型的特征分布。实验表明,KEDCPN在FewRel数据集和医学关系抽取任务DDIs上都具有优异的分类能力。(2)因为只根据训练样本从知识图谱中引入知识得到的信息依旧有限,为此,本文从利用预训练模型中包含丰富的知识的角度出发,提出了一个提示增强的对比预训练方法(PromptCP)。本文首先通过知识库构建了一个大规模预训练数据集,然后将不同模板构成的句子作为输入,利用提示学习的方法生成对比学习的正负样例对。接着,使用对比训练的方法将特定领域知识融入到预训练语言模型之中。最后在通用领域和医学领域上进行多组对比实验,验证了 PromptCP的有效性。本文提出的模型不但适合于通用领域的少样本关系抽取,也适合专业领域的少样本关系抽取。同时,PromptCP由于引入了预训练模型,所以也能用于非少样本关系抽取任务上。

关键词：少样本关系抽取知识增强提示学习对比学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

专利关键短语自动提取技术研究

专利关键短语自动提取技术研究

作者：邱锐玲哈尔滨工业大学

学位级别：硕士

专利关键短语提取是从专利文本中获取其解决的技术问题、采用的核心技术以及直接或间接产生的技术效果的任务,这些信息对专利智能分析起着非常重要的作用。本文通过任务建模发现该任务与命名实体识别任务是极其相似的,该任务中的专利关... 详细信息

专利关键短语提取是从专利文本中获取其解决的技术问题、采用的核心技术以及直接或间接产生的技术效果的任务,这些信息对专利智能分析起着非常重要的作用。本文通过任务建模发现该任务与命名实体识别任务是极其相似的,该任务中的专利关键短语种类类似于命名实体识别中的实体类型,因此本文采用与命名实体识别任务相类似的方法提取专利关键短语。在专利关键短语提取任务中,一个主要挑战是标注语料匮乏。专利的关键短语标注需要多位具备专业知识的专利分析员共同参与,这一工作耗时耗力,因此获取大规模标注数据是非常困难的。本文为解决专利关键短语标注数据稀缺问题分别从模型层面和数据层面进行研究。本文的主要研究成果如下:第一,根据某专利局标注的关键短语构建了与命名实体识别任务具有相同格式的数据集,针对标注数据稀缺的问题开展小样本专利关键短语提取任务的技术研究,并基于预训练模型BERT构建小样本学习模型:Struct BERT。本模型首先基于最近邻分类获得标签概率分布,然后再使用CRF添加标签约束确保预测标签的合法性。实验结果表明相较于基线模型,本文构建的小样本学习模型能显著提升关键短语提取的效果。第二,开展对提示学习的研究,针对预训练语言模型的prompt-tuning方法,通过利用prompt作为任务指导来减少预训练任务和下游任务之间的差距,能够进一步挖掘模型潜力,在小样本任务中取得了显著的效果。受prompt learning的启发,本文通过模板对输入文本进行改写,并基于预训练模型BART搭建seq2seq框架。为找到最适用于专利关键短语提取任务的模板,而提出多种形式的模板。同时,为了有效利用输入文本的标签信息,进一步提出一种简单且有效的多任务框架,该框架可同时利用prompt-tuning和fine-tuning对预训练模型进行调优。实验表明,相较于基线模型,该框架可以有效提升模型性能。第三,探索数据增强技术在专利关键短语提取任务上的应用,采取不同的操作生成伪数据,包括同类型实体替换、同标签字替换、基于词向量的同义字替换、段内打乱、随机删除,同时还探索不同数据增强操作组合以及模型集成的方法对模型性能的影响。实验表明通过各种数据增强技术添加扩展样本不仅可以提升模型的鲁棒性,还能提升模型性能,而组合操作的性能不如单独使用各数据增强技术,使用模型集成的方法在测试集上取得了最优性能。

关键词：专利关键短语提取命名实体识别小样本学习提示学习数据增强

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于图文多模态的情感分析方法研究

基于图文多模态的情感分析方法研究

作者：李振哈尔滨工业大学

学位级别：硕士

随着社交平台的发展,人们越来越愿意在网络上针对一些事物发表自己的观点、想法和情感。分析这些数据中的情感倾向,对政府和商业组织等具有重要意义。同时网络速度的发展,人们越来越愿意发布除文本外的其他信息,例如图像,视频,音频等,... 详细信息

随着社交平台的发展,人们越来越愿意在网络上针对一些事物发表自己的观点、想法和情感。分析这些数据中的情感倾向,对政府和商业组织等具有重要意义。同时网络速度的发展,人们越来越愿意发布除文本外的其他信息,例如图像,视频,音频等,多模态数据已经构成了社交平台中内容的主要部分。本文针对多模态数据中的文本和图片模态的情感信息进行了分析和研究,主要包括了针对句子级的图文多模态情感分析任务、属性级的图文多模态情感分析任务以及基于prompt的图文多模态情感分析。本文提出了一种基于对比学习和多层融合机制的模型来解决句子级和属性级的情感分析任务;同时提出基于prompt的低资源句子级多模态情感分析框架。这些方法有效的提升了系统的识别准确率,具有重要的学术和应用价值。本文的主要贡献如下:1.对于句子级的多模态情感分析任务,本文提出了基于对比学习和多层融合机制的模型(A Contrastive Learning and Multi-Layer Fusion Model,CLMLF)。模型主要分为两个模块,多层融合模块和多任务模块。多层融合模块,采用基于多头自注意力机制的Transformer-Encoder,可以很好的捕获数据之间的深层次的关系,建模文本和图片之间的显式和隐式的关系,对文本和图像特征进行对齐和融合,并提升模型的抽象能力,进而获取多模态数据中的深层特征。多任务学习模块分为三个任务:情感分析任务、基于标签的对比学习任务和基于数据的对比学习任务。通过增加两个对比学习任务,帮助模型学习相同情感的多模态数据之间的共同特征,增加模型对数据中有效特征的敏感性,降低噪音数据对模型的影响。通过在三个公开句子级的多模态情感分析数据集上的实验,证明了CLMLF模型相对目前的SOTA模型具有很强的竞争力,同时一系列的消融实验证明了模型中各个模块的有效性。2.对于低资源句子级的多模态情感分析任务,本文提出了基于prompt的多模态情感分析框架。通过冻结语言模型的参数,将图像序列特征作为prompt的一部分,将连续的调优参数和图像序列特征以及文本特征拼接在一起输入到语言模型中,对连续的前缀调优参数和图像序列特征进行训练,不仅大大降低了训练过程中的计算成本和资源使用,而且在仅使用了1%的参数的情况,就获得了可以匹配甚至超过微调框架的性能。在两个公开的数据集上,本文进了大量的实验证明了prompt-tuning方法在多模态情感分析任务中的有效性。3.对于属性级的多模态情感分析任务,本文在CLMLF模型的基础上,通过修改多层融合机制,提出了四种结构:Text-Aspect结构、Text-Aspect-Query结构、Aspect-Query结构和Text-Aspect-Image结构,帮助模型将属性特征融入到文本-图像特征中,进而针对文本中的一些属性进行精确的情感分析。经过实验,证明了Text-Aspect结构是最有效且最简单的融合结构,并将CLMLF模型改进为CLMLF-Aspect模型,在三个公开的属性级的多模态情感数据集上,证明了CLMLF-Aspect模型的有效性,相比目前的基线模型具有很大的提升,特别是在Multi-ZOL数据集上,提升了10%左右的性能。

关键词：多模态情感分析属性级多模态情感分析对比学习多任务学习提示学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于预训练模型的事件抽取技术研究

基于预训练模型的事件抽取技术研究

作者：奚启森杭州电子科技大学

学位级别：硕士

事件抽取是自然语言处理领域中最具有挑战且应用广泛的任务之一,可以支撑知识图谱、知识问答系统、金融风险监控、舆情监控等人工智能应用领域的发展。基于Transformer的预训练模型,如BERT、T5和BART等,近年来在自然语言处理领域表现出... 详细信息

事件抽取是自然语言处理领域中最具有挑战且应用广泛的任务之一,可以支撑知识图谱、知识问答系统、金融风险监控、舆情监控等人工智能应用领域的发展。基于Transformer的预训练模型,如BERT、T5和BART等,近年来在自然语言处理领域表现出色。但是,这些模型在事件抽取相关任务方面的表现有待提高:首先,事件抽取领域存在数据集事件规模较小,数据不平衡现象,常规的方法很难训练出性能较好的模型;其次,事件抽取任务建模复杂度高,事件触发词、事件论元和事件类型三者之间互相依赖,导致模型抽取困难;最后,预训练模型与下游事件抽取任务之间存在一定的语义差异,现有方法很难发挥预训练模型的性能和潜力。因此,针对上述事件抽取技术面临的问题,本文基于预训练模型开展事件抽取技术研究,研究内容如下:(1)提出了一种基于BERT和事件注释的事件抽取方法。该方法由基于双边分支网络的事件分类模块以及基于BERT和事件注释的事件抽取模块组成。基于双边分支网络的事件分类模块使用反采样和自适应学习策略缓解数据不平衡现象,提高事件分类效果。基于BERT和事件注释的事件抽取模块使用BERT作为骨干网络,并在输入中结合事件注释,给模型丰富的先验知识,从而提高模型性能。实验证明,本文提出的方法在基准数据集上表现出较高的抽取准确率。同时消融、多事件抽取等实验证明了各模块的有效性。(2)提出了一种基于BART的检索增强事件论元抽取方法。该方法由基于S-BERT和图卷积神经网络的示例检索模块以及基于BART的事件论元抽取模块组成。基于S-BERT和图卷积神经网络的示例检索模块主要目的是构建示例库以及检索示例,通过由S-BERT计算得到的语义向量和图卷积神经网络计算得到的结构向量拼接构成的检索向量来保证检索出的示例兼顾语义相似度和事件结构相似度。基于BART的事件论元抽取模型使用BART作为骨干网络,并在输入中结合示例,该示例以提示的方式给模型起到一个指导作用,释放出预训练模型出色的类比能力,从而提高模型性能。实验证明,本文提出的方法在基准数据集上表现出较高的论元抽取准确率。同时,少样本有效性、检索相似性等实验证明了各模块的有效性。

关键词：自然语言处理事件抽取深度学习预训练模型提示学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的文本情感分析技术研究

基于深度学习的文本情感分析技术研究

作者：谢创敏电子科技大学

学位级别：硕士

情感分析或观点挖掘是自然语言处理领域中一项重要的任务。情感分析可以用来研究人们对特定实体的态度、看法以及情绪。近年来,情感分析技术在企业、政府和组织中受到了极大关注,在社会中也得到了广泛使用。然而,在情感分析任务的研究... 详细信息

情感分析或观点挖掘是自然语言处理领域中一项重要的任务。情感分析可以用来研究人们对特定实体的态度、看法以及情绪。近年来,情感分析技术在企业、政府和组织中受到了极大关注,在社会中也得到了广泛使用。然而,在情感分析任务的研究和应用过程中,仍存在以下问题:第一,由于句子的复杂性以及情感分析模型的特征抽取能力不足,卷积神经网络、长短期记忆神经网络等目前常用的情感分析模型在执行情感分析任务上的准确率仍然不高。第二,随着大规模预训练语言模型的出现使得情感分析任务的准确率屡创新高,“预训练-微调”范式成了处理情感分析任务所采用的一种流行的范式;由于模型在预训练阶段与微调阶段目标不一致,因此在下游任务中能力发掘不充分。第三,目前大部分深度学习模型对数据集规模要求较高,在少样本场景下无法得到有效训练。本文针对上述问题,分别从改进模型结构以及优化模型训练流程两方面入手,提出以下方法:1.针对现有卷积神经网络、长短期记忆神经网络在情感分析任务上准确率不高的问题,提出了一种Att-CLSTM情感分析模型。该模型通过将卷积神经网络、长短期记忆神经网络和注意力机制进行结合,提取出句子的各层次的特征,在IMDb数据集以及SemEval 2010 Task 8数据集上进行实验,分别取得了94.34%的准确率以及87.7%的F1-Score。2.针对在“预训练-微调”范式下,由于模型在预训练与微调期间目标不一致,从而使模型在下游任务上能力发掘不充分,以及目前大部分模型对数据集规模要求高,在少样本场景下无法有效训练这两个问题,提出一种“预训练-提示-匹配”的范式来训练情感分析模型。利用提示学习中“预训练-提示”的流程来消弭预训练语言模型在预训练阶段与执行下游任务阶段目标的差异性,结合文本匹配的方案优化提示学习的工作流程。实验结果表明通过“预训练-提示-匹配”范式训练的情感分析模型在评论数据集以及银行客户意向识别数据集上分别取得了94.61%和86.11%的平均准确率,比通过“预训练-微调”范式训练后得到的模型的准确率分别高出2.25%和4.55%。

关键词：情感分析深度学习卷积神经网络循环神经网络提示学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于图卷积网络与提示调优的虚假新闻检测

基于图卷积网络与提示调优的虚假新闻检测

作者：倪铭远江汉大学

学位级别：硕士

随着社交网络的蓬勃发展,社交媒体平台不仅成为新闻传播的主要途径,也促进了虚假新闻的快速传播,对个人和社会都带来了严重的危害。因此,需要对虚假新闻进行快速而高效地识别和处理。目前主要的新闻检测方式依赖平台的审核员人工操作,... 详细信息

随着社交网络的蓬勃发展,社交媒体平台不仅成为新闻传播的主要途径,也促进了虚假新闻的快速传播,对个人和社会都带来了严重的危害。因此,需要对虚假新闻进行快速而高效地识别和处理。目前主要的新闻检测方式依赖平台的审核员人工操作,人力成本居高不下。研究人员试图使用新闻检测算法进行智能识别,但出于商业壁垒和个人隐私保护等原因,许多先进算法所需的新闻数据无法轻易获取。本文针对在新闻数据标记类型有限、样本不足的情况下的虚假新闻检测工作进行了研究,本文的主要研究内容将从三个方面开展:(1)在复杂新闻信息获取不易,标记数据类型有限情况下,本文基于图卷积神经网络和预训练语言模型ALBERT提出了一种新的模型GCA。该模型通过在词汇图上搭建的基于词共现信息的图卷积网络,对文本序列所包含的全局语义信息进行编码,随后将包含图和词的双重嵌入一起馈送到ALBERT编码器的自注意力层中。词嵌入和图嵌入通过自注意力机制相互作用。最终分类器不仅获取到文本内容的局部信息和全局信息,还能使用注意力机制对两者进行结合,最终建立的分类表示能够融合新闻文本的局部信息和全局信息,充分挖掘新闻文本的信息潜力,使模型能在仅依赖新闻文本信息的情况下,获得优异的虚假新闻检测效果。(2)针对新闻数据获取不易,训练样本不足的问题,本文基于提示学习的方法,通过一个预先训练好的大型文本到文本转换器设计出一个合适的提示模板结合在GCA上,生成GCAprompt模型。基于提示模板的作用,GCAprompt能将新闻文本的预测分类任务转变为预测单词的特定任务,从而弥合了下游任务和预训练方法之间的差距,使模型能够直接从预训练过程中提取相关知识,只需要少量新闻文本数据进行微调训练即可高效识别虚假新闻。(3)在两个真实新闻数据集上对GCAprompt模型进行实验,在仅使用新闻文本数据的条件下,结果显示GCAprompt模型的性能优于其它基线方法。同时GCAprompt在小样本数据环境下依旧有效,仅需要100条新闻文本即可实现高效的虚假新闻检测。综上,通过一系列实验,证明了本文所提出的GCAprompt模型能够有效解决虚假新闻检测问题,为舆情监管部门净化网络空间环境提供技术支撑。

关键词：虚假新闻检测图卷积网络 ALBERT 提示学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于迁移学习的网络评论观点挖掘方法研究

基于迁移学习的网络评论观点挖掘方法研究

作者：杨桥北京邮电大学

学位级别：硕士

网络评论是重要的文本数据来源,对其进行观点挖掘的工作就是提取有价值信息的过程。然而网络评论内容丰富、格式多样,数据标注难度大,涉猎的领域、专业、门类更加难以分别建立数据集。为了减少分别建立数据集的人工支出,提高模型在观点... 详细信息

网络评论是重要的文本数据来源,对其进行观点挖掘的工作就是提取有价值信息的过程。然而网络评论内容丰富、格式多样,数据标注难度大,涉猎的领域、专业、门类更加难以分别建立数据集。为了减少分别建立数据集的人工支出,提高模型在观点挖掘任务上的综合表现,本文基于迁移学习进行了网络评论观点挖掘方法的研究。针对网络评论观点挖掘的研究现状,本文提出了少样本问题和领域适应问题:1.少样本问题是指目标领域已标注数据较少的问题。当前仅有少数如网络购物等领域有一定的已标注数据,在网络评论观点挖掘的大多数领域都没有建立完备的数据集。2.领域适应问题是指模型在复合领域的观点挖掘能力较差的问题,复合领域的内部信息熵较高,包含了多个相关性较低的子领域,模型难以同时在所有子领域观点挖掘中表现良好。为了解决上述问题,本文基于迁移学习的方法进行了如下工作:1.为解决少样本问题,本文设计了基于多粒度词向量和并行注意力机制的模型MWCA-BiGRU,在固定领域的观点挖掘实验中相比近年的先进模型中取得了更好的效果;在数据衰减实验中,模型在数据量衰减的同时保持了一定的问题解决能力,证明了多粒度词向量和并行注意力机制在少样本问题中的具有一定效果。为了通过跨领域的方法更好地解决少样本问题,本文在MWCA-BiGRU的基础上,基于迁移学习的方法,向目标领域中迁移了源领域的知识,在少样本跨领域实验中取得了较好的效果。同时,本章论证了模型输入数据迁移比例对跨领域知识传递的影响。基于跨领域的迁移方法能够有效解决观点挖掘的少样本问题。2.为了解决领域适应的难题,论文设计并实现了基于预训练模型的提示调优模型。该模型提出了一种可学习提示模板的柔性提示方法,使得模型能够基于特定数据生成对应模板,从预训练模型的知识库中将领域无关的知识迁移到目标领域,该模型展现了较强的观点挖掘能力。基于对抗训练的半监督学习方法,提示调优模型在复合领域的数据集上展现了较强的领域自适应能力。基于预训练模型的迁移方法能够更好地解决领域适应的问题。论文基于迁移学习技术,针对网络评论观点挖掘的少样本问题和领域适应问题针对性地提出了创新算法和解决方案,在公开数据集、自建数据集上均取得了更好的效果。

关键词：迁移学习注意力机制预训练模型提示学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于知识引导的组合零样本学习算法研究

基于知识引导的组合零样本学习算法研究

作者：王赫男西安电子科技大学

学位级别：硕士

大数据时代造成计算资源及数据规模的大幅增长,促进了人工智能技术的蓬勃发展。作为人工智能领域的典型下游任务,图像识别具有重要的应用价值。以深度学习为代表的第三代人工智能技术达到了超过人类的图像识别精度,推动着图像识别更广... 详细信息

大数据时代造成计算资源及数据规模的大幅增长,促进了人工智能技术的蓬勃发展。作为人工智能领域的典型下游任务,图像识别具有重要的应用价值。以深度学习为代表的第三代人工智能技术达到了超过人类的图像识别精度,推动着图像识别更广泛地应用于人脸识别、目标检测、自动驾驶和智慧医疗等人类生产生活的方方面面,促进了人类社会向数字化、智能化转型。众所周知,深度模型的成功极大地依赖于大规模、强标注的数据集。然而,真实开放环境中的图像样本往往是缺乏标注信息的,严重限制了深度模型的泛化能力,阻碍了其在现实场景中的广泛应用和部署。受“数据+知识驱动”思想的启发,研究人员提出组合零样本学习(Compositional Zero-Shot Learning,CZSL)任务,使深度模型能够模仿人类强大的组合推理能力,从而识别出全新的未知概念。具体而言,在这一任务中,图像标签是由两个原语概念(Primitive Concepts)组成的组合概念,即“属性”和“对象”(比如“成熟的苹果”)。在组合零样本学习中,为了充分评估模型的组合推理性能,测试集中的组合概念并未出现在训练集中,所有原语概念均在训练集中的其他组合中存在。组合零样本学习的难点在于原语概念之间的本质差异和语义纠缠。具体地,如果将“属性–对象”组合视为一个整体,仅学习可见组合的特征表示会造成样本依赖,识别结果受到样本出现频次的影响,导致语义纠缠。另一方面,若将“属性–对象”组合概念的识别任务拆解为独立识别“属性”和“对象”的子任务又会割裂原语概念的内在关联关系。此外,传统的组合零样本学习仅关注封闭环境设定,所有的组合概念都符合人类常识;但在开放环境中,组合概念涉及大量不合理的组合情形,使传统方法的识别性能大幅降低,为组合零样本学习带来了新的挑战。针对以上问题,本文借鉴人类与生俱来的“举一反三”、“组合推理”能力,从非结构化知识、半结构化知识、结构化知识三个层面探索基于知识引导的组合零样本学习,分别提出知识内化、知识外用两种解决方案,实现更加精确和泛化的组合零样本学习性能。本文的主要研究内容如下:(1)提出了一种基于层级知识提示的组合零样本学习方法。之前的工作缺少对属性、对象及其组合之间的全面有效建模,而本方法以层级化的方式充分捕获组合概念之间的类内和类间关系。出于全面性考虑,本方法构建了三个层次的嵌入空间,分别对属性、对象以及组合概念进行侧重学习,达到“软解耦”的效果。在训练过程中,借助提示学习的思想,促使模型充分结合数据本身的非结构化知识与预训练模型内蕴含的半结构化知识,实现知识内化的效果。通过显式地固定不相关的提示词,本方法分别在三个空间中构建了专属语义提示单元,并将每个空间中学习到的知识视为特定领域的专家。在推理过程中,通过结合三个专家的提示知识,以全面且互补的方式计算不可见组合概念的预测得分。本方法在三个广泛使用的数据集上进行了大量实验,实验结果验证了其在封闭环境中的有效性。(2)提出了一种基于外部知识引导的开放环境组合零样本学习方法。由于开放环境中出现大量不合理的组合概念(如“切片的海滩”)作为干扰因素,对模型的识别性能构成了巨大的挑战。本方法首先通过计算相似对象之间的属性距离得到组合概念的合理性分数,以甄别组合空间中的干扰因素,降低模型对合理性较低的组合概念的预测得分。为了进一步提高合理性分数的可靠性,本方法结合结构化的外部知识库,引导模型学习更为准确合理的组合概念,达到知识外用的效果。此外,通过在训练过程中融入合理性分数,并自适应动态调节组合空间中组合概念的得分边距,强化了模型对组合概念的合理性学习,进一步提高了模型性能。本方法简单且有效,在三个广泛使用的数据集上进行了大量实验,验证了其在开放环境中卓越的性能表现。

关键词：组合零样本学习封闭环境开放环境提示学习知识引导