检索结果-南通市图书馆

融合依存句法知识的预训练模型关系分类方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

融合依存句法知识的预训练模型关系分类方法研究

作者：孙一飞沈阳航空航天大学

学位级别：硕士

关系抽取任务作为自然语言处理领域的一项重要子任务,其目的是从非结构化的自然语言文本中抽取出结构化的关系三元组,抽取结果可以应用于智能搜索、智能问答、事件抽取、知识图谱构建等。在深度学习的有监督关系抽取领域,关系抽取任务... 详细信息

关系抽取任务作为自然语言处理领域的一项重要子任务,其目的是从非结构化的自然语言文本中抽取出结构化的关系三元组,抽取结果可以应用于智能搜索、智能问答、事件抽取、知识图谱构建等。在深度学习的有监督关系抽取领域,关系抽取任务可以看作关系分类任务。本文对通用领域的关系分类任务进行调研分析后发现,在基于预训练模型的关系分类当中,往往仅利用实体信息进行关系分类,而对句法信息的利用不足。如何利用句法信息提升关系分类模型的性能是个问题。针对这个问题,本文的研究工作如下:本文提出了一种基于依存句法分析和预训练模型的关系分类方法。该方法使用开源工具对文本进行依存句法分析,在分析结果中找出实体间的依存路径,使用此路径上的信息为模型提供句法信息。同时利用BERT编码器进行编码,最后将句向量、实体向量和依存句法向量拼接,作为关系最终表示并进行分类。在SemEval 2010 Task 8数据集上的结果显示,该方法取得了89.97%的F1值,比基线模型提升了0.72%,证明该方法具有良好的性能。通过对该方法的结果分析可知,仅使用实体依存路径会为模型带来噪声,为解决此问题,本文提出融合依存句法树的GCN(图卷积神经网络)关系分类方法。此方法不再仅利用部分句法信息,而是融合了整个句法树的结构,获取节点之间的特征。在相同数据集上得到了90.08%的F1值,对结果的分析可以证明此方法减少了实体依存路径带来的噪声。本文设计并实现了关系分类系统,可以根据输入以及选择的模型对分类结果进行展示。

关键词：关系分类预训练模型依存句法分析图卷积神经网络

基于深度学习的文本关系分类与生成机制研究及系统构建

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的文本关系分类与生成机制研究及系统构建

作者：丁海杰南京邮电大学

学位级别：硕士

随着大数据时代互联网中数据体量和规模的飞速增长,我们已可以快速地从各种工具中轻松地获取信息。但是,大多数信息冗杂且无关紧要,用户要花费大量时间剔除无用信息后才能真正的获取到目标内容。所以,使用能够自动提取重要信息的文本处... 详细信息

随着大数据时代互联网中数据体量和规模的飞速增长,我们已可以快速地从各种工具中轻松地获取信息。但是,大多数信息冗杂且无关紧要,用户要花费大量时间剔除无用信息后才能真正的获取到目标内容。所以,使用能够自动提取重要信息的文本处理技术就变得非常重要。本文着眼于文本关系分类和文本生成。关系分类旨在将给定句子中的实体对分类到某个类别中,而文本生成旨在对文本进行分析、内容总结和生成。本文对深度学习和注意力机制在关系分类和文本生成中的应用展开研究,提出基于改进的注意力网络的关系分类模型和文本生成模型,主要包括三部分:（1）对于关系分类,目前最新的基于深度学习的方法仍存在缺陷,即无法区分文本在不同上下文语境中的语义,以及不能利用实体对自身所具有的潜在类型特征。本文提出的关系分类模型主要由上下文编码器和实体感知注意力网络组成:通过自注意力机制学习单词在不同上下文环境中的语义;通过实体选择来决定实体对之间的互相决策重要程度,并将实体对和它们的潜在类型作为模型的辅助信息,充分利用实体对的隐藏特征。（2）对于文本生成,本文重点关注数据到文本生成任务,即为结构化的数据生成描述性文本。目前大部分最新的方法都采用神经网络语言模型,基于注意力机制来学习输出和输入之间的映射关系。但普通的注意力网络在处理长文本时注意力会逐渐减弱,并且不能利用文本中的结构信息。本文提出的文本生成模型主要由字段-内容选择编码器和描述性解码器组成。将文本的结构信息融合到其特征表示中,并利用不同记录对之间可以互相决定重要性的特点,提出采用了门控机制的内容选择器。在解码阶段,利用内容选择器输出的语义向量来强化注意力机制对输出文本和记录对之间的映射能力,并采用拷贝机制来解决稀有词的问题。（3）基于文本生成模型构建了一个面向气象报道和体育赛事的新闻播报系统。文本生成模型将输入的天气和体育比赛数据转换为直观的文本,提供给用户;管理员负责对系统进行维护,包括上传数据、修改文本内容等。对用户来说,该系统可以快速且方便的获取到所需的新闻内容,对管理员来说,该系统帮助加快了工作流程。

关键词：神经网络语言模型注意力机制关系分类文本生成

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于预训练语言模型的关系分类算法研究

基于预训练语言模型的关系分类算法研究

作者：周煜坤四川大学

学位级别：硕士

关系分类是信息抽取领域的一项子任务,旨在对目标文本中给定实体之间的语义关系进行分类。从非结构化文本中准确地识别语义关系对于自动问答、知识图谱等下游自然语言应用具有十分重要的意义。随着深度学习的不断发展,基于深度神经网络... 详细信息

关系分类是信息抽取领域的一项子任务,旨在对目标文本中给定实体之间的语义关系进行分类。从非结构化文本中准确地识别语义关系对于自动问答、知识图谱等下游自然语言应用具有十分重要的意义。随着深度学习的不断发展,基于深度神经网络的方法逐渐成为了关系分类任务的研究重点,包括基于卷积神经网络、循环神经网络、图神经网络的方法等。近年来,预训练语言模型已经被证明可以有效地改善许多自然语言处理任务。由于预训练语言模型展现出了更强大的编码能力,许多学者开始着手使用它来处理关系分类问题。解决关系分类任务的重点在于如何有效地利用文本中的语义信息。现有模型在关系分类任务中均取得了一定的效果,但仍存在一些局限性。其一,现有方法对模型编码获得的各种特征的融合方式存在缺陷,未能考虑到它们对分类的不同贡献,导致模型不能充分地利用文本的语义信息;此外,由于受到样本数量和噪声标签的限制,模型对数据集中的少数类泛化能力非常有限。其二,现有的基于预训练语言模型的方法中的上下文词表示并不完全契合于跨度级的目标实体;此外,在下游任务分类过程中,现有模型简单地将标签转换为索引,忽略了标签文本本身所携带的丰富语义,限制了分类器的对各类别(尤其是训练样本较少的类别)的感知能力和泛化性能。本文着重研究句子级关系分类任务,根据现有的关于预训练语言模型的大量研究,并针对以上提出的两个关键问题,提出了两种基于预训练语言模型的关系分类方法,分别解决两个问题:(1)针对现有模型特征融合方式不恰当以及对少数类泛化能力差的缺陷,提出了一种基于优化信息融合及少数类增强的关系分类模型。分析了关系分类任务中各层次的特征在分类中的贡献,并针对各特征提出了不同的信息融合策略,使得模型恰当地融合文本语义特征,自动聚焦于对分类起更大作用的信息;此外,针对数据集中的少数类,为其设计特定的参考句和少数类注意力模块,并设置额外的损失函数引导少数类和参考句对齐,提高模型对少数类的预测能力;(2)针对现有模型上下文词表示不完全契合目标实体,以及分类器对不同类别感知、泛化能力不足的缺陷,提出了一种基于增强实体表示及度量学习的关系分类模型。在预训练阶段,使用LUKE预训练模型,将Ro BERTa中的掩蔽语言模型和自注意力机制扩展到实体层面,以获得更适合关系分类任务的跨度级实体表示;在微调阶段,编码输入句子的同时将正负标签文本编码至同一语义空间以捕获标签语义,获得锚样本表示以及正负样本表示,随后使用度量学习的三元组损失优化模型,使同类样本的相似度增大而不同类样本的相似度减小,使得模型对不同类别具有更好的感知能力和分类边界。在三个基准数据集TACRED、TACREV、Semeval2010 Task8上的充分实验表明,本文提出的两个模型在F1值方面优于现有模型,证明了本文方法的有效性。

关键词：信息抽取关系分类预训练语言模型信息融合度量学习

基于原型网络与因果干预的小样本关系分类研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于原型网络与因果干预的小样本关系分类研究

作者：欧阳飞帆燕山大学

学位级别：硕士

近年来,以卷积神经网络为代表的深度学习取得了长足发展,同时,深度学习依赖海量标注数据的弊端也随之凸显。在标注数据获取困难且成本高的情景下,深度学习更是难以发挥出其应有的效能。如何利用有限的或少量的标注数据获得泛化性能优良... 详细信息

近年来,以卷积神经网络为代表的深度学习取得了长足发展,同时,深度学习依赖海量标注数据的弊端也随之凸显。在标注数据获取困难且成本高的情景下,深度学习更是难以发挥出其应有的效能。如何利用有限的或少量的标注数据获得泛化性能优良的预测模型,逐渐成为了人工智能领域的研究热点之一。小样本学习,为上述问题的解决带来了希望,并被广泛应用于小样本情景下的机器学习任务。本文以解决小样本情景下的关系分类任务为出发点,以构建一个性能优良的关系分类预测模型为目标,以因果干预为手段,围绕如何实现小样本场景下的关系分类预测、如何弱化混杂因子对预测模型性能的影响等问题,展开理论和实验研究工作。首先,针对混杂因子对预测模型性能产生的负面影响,提出一种基于因果干预的混杂弱化方法。该方法使用基于后门调整的因果干预方法实现对预训练模型先验知识的分层,采用将先验知识分层层数作为网络参数参与模型训练的方式确定分层层数最优值,并引入BN层消除由于后门调整引起的梯度弥散问题,从而达到弱化混杂因子对模型预测性能影响的目的。其次,为增强模型的语义表征及特征提取能力,使用RoBERTa替换原型网络中作为特征提取器的CNN部分,使得模型更加适合关系分类任务情景,进而有效提升模型的预测性能。最后,在上述研究基础上,构建基于原型网络与因果干预的小样本关系分类模型RBERTI-Proto,并在数据集Few Rel上开展模型性能对比及消融实验,其中,在5-way 5-shot的场景下RBERTI-Proto模型的ACC值达到了93.38%,验证了RBERTI-Proto模型与其他模型相比的性能优越性,以及基于因果干预的混杂弱化方法、RoBERTa作为模型特征提取器对于RBERTI-Proto模型性能提升的有效性。

关键词：小样本学习因果干预原型网络关系分类 RoBERTa 混杂因子

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于句法分析的关系分类和关系抽取方法研究

基于句法分析的关系分类和关系抽取方法研究

作者：孟佳营杭州电子科技大学

学位级别：硕士

随着信息技术的发展,人类社会进入大数据时代。知识图谱能连接相关数据并建立关系网络,为影视、医疗等行业提供有力支持。关系分类与关系抽取是构建知识图谱的关键技术,深入研究具有重要意义。关系分类旨在实体已知的情况下,预测实体之... 详细信息

随着信息技术的发展,人类社会进入大数据时代。知识图谱能连接相关数据并建立关系网络,为影视、医疗等行业提供有力支持。关系分类与关系抽取是构建知识图谱的关键技术,深入研究具有重要意义。关系分类旨在实体已知的情况下,预测实体之间的关系类别。关系抽取旨在实体未知的情况下,抽取文本中的关系三元组。句法分析捕获词汇间的依存关系,包含句法结构与句法依赖。使用句法分析技术能显著提升关系分类与关系抽取任务的效果。本文从句法分析的角度出发,对上述任务展开研究,主要研究内容如下:(1)在关系分类任务中,主流方法学习句法分析树的拓扑结构,丰富节点的语义信息。但是忽略了实体对、最近公共祖先节点所在子树的句法结构,导致未充分使用句法信息。此外,现有方法仅使用实体词汇进行关系分类,忽略了其他词汇的贡献,导致语义信息提取不完整。因此,本文提出了基于句法结构和关系指示词嵌入的关系分类模型。首先,通过预处理文本,获得分词结果以及句法分析树,利用统计方法获得关系指示词,增加其他词汇的贡献。然后,利用图同构网络提取句法分析树的句法结构特征,充分利用句法结构信息。其次,结合句法结构特征和关系指示词进行关系分类。最后,在DuIE数据集与SanWen数据集上进行实验,较基线模型F1分数分别提升3.72%与2.08%,验证了句法结构与关系指示词对于关系分类任务的有效性。(2)在关系抽取任务中,大多数方法仅对句法分析树编码,忽略了词汇间的主谓、动宾等句法依赖,导致句法信息丢失。此外,句法分析树中存在噪声信息,会对关系抽取造成负面影响。因此,本文提出了基于BERT预训练模型和句法依赖的关系抽取模型。首先,使用BERT预训练模型获得词嵌入,丰富词汇的语义信息。然后,在不同语境下,利用键值记忆网络学习句法依赖,提取更加丰富的句法信息,增强词嵌入的表达能力;同时,识别句法分析树中的噪声,降低噪声的影响。其次,使用LSTM对特征进行编码、解码,抽取关系三元组。最后,在WebNLG数据集与DuIE数据集上进行实验,较基线模型F1分数分别提升2.3%与4.4%,显示了该模型在关系抽取任务中的优越性。(3)自动化知识图谱构建系统能够对不同领域的知识图谱构建提供支持,降低人工成本。本文结合相关技术,设计了一个自动化知识图谱构建系统,并将提出的关系分类、关系抽取算法应用于知识图谱自顶向下构建过程。

关键词：关系分类关系抽取句法结构句法依赖知识图谱

基于提示学习与原型网络的小样本关系分类方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于提示学习与原型网络的小样本关系分类方法研究

作者：董舜华华南理工大学

学位级别：硕士

关系分类旨在确定一个句子中给定两个实体之间的关系类型。目前有监督的关系分类方法需要大量提前标注的数据,而基于远程监督的方法能通过自动对齐语料库的知识来扩展数据量,但是会出现明显的长尾分布问题。因此,如何利用尾部的少量样... 详细信息

关系分类旨在确定一个句子中给定两个实体之间的关系类型。目前有监督的关系分类方法需要大量提前标注的数据,而基于远程监督的方法能通过自动对齐语料库的知识来扩展数据量,但是会出现明显的长尾分布问题。因此,如何利用尾部的少量样本完成关系分类成为任务的热点,也是本文的主要研究方向。目前大多数研究都是采用预训练模型结合微调(Fine-tuning)的方式,但是随着模型参数的增多导致微调的过程需要大量的时间和数据支撑。在基于提示学习(Prompt Learning)的关系分类方法中,大多数模板中的答案搜索空间里都预先提供了数量有限的蕴含丰富语义和先验知识的关系标签词,当遇到新的关系类别时,难以在词表中找到新的合适标签词。原始的原型网络中每种类别的原型是取同类别样本特征向量的均值得到的,这忽略了样本之间的差异。针对上述问题,本文提出了基于提示学习与原型网络的小样本关系分类模型。本模型首先构建自动学习模板,然后将模板与输入句子拼接,利用预训练模型Ro BERTa提取文本特征,最后基于原型网络进行关系预测。本文主要做出了以下改进:首次将提示学习应用到小样本关系分类任务中,充分利用预训练模型的能力;提出构建虚拟标签词的方法,摆脱了预训练模型中词表和人类自然语言的约束;为了精确划分嵌入空间的关系类别,提出了基于逆多二次函数的样本权重分配方法,构建更有代表性的原型;引入对比损失函数,学习支持集样本间的相似度信息,增强模型聚类能力。在具体实验中,本文使用了小样本关系分类领域中常见的Few Rel 1.0和Few Rel 2.0数据集,以及关系分类领域中广泛使用的NYT-10和Sem Eval-2010 Task8数据集。实验结果表明,本文的模型通过提示学习有效利用了预训练中学习到的知识,提高了小样本关系分类任务中的准确率。此外,本文分别对模型的各组成模块进行了多组消融实验,进一步验证了各模块的有效性。

关键词：小样本学习关系分类提示学习原型网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于最优传输理论的关系分类研究

基于最优传输理论的关系分类研究

作者：罗文韬华南理工大学

学位级别：硕士

实体关系抽取,也称关系分类,是自然语言处理中的一项重要基础任务,广泛应用于知识图谱、机器翻译、文本摘要和推荐系统等领域。关系分类能实现对文本中给定实体的关系全自动判定,能够极大地节省人力标注的成本与时间。本文在BERT的基础... 详细信息

实体关系抽取,也称关系分类,是自然语言处理中的一项重要基础任务,广泛应用于知识图谱、机器翻译、文本摘要和推荐系统等领域。关系分类能实现对文本中给定实体的关系全自动判定,能够极大地节省人力标注的成本与时间。本文在BERT的基础上实现基于关键词的注意力机制,并借助最优传输理论这一工具,拉近样本与类别定义间的语义距离,进而提升模型分类效果。(1)本文提出一种基于BERT的关键字注意力机制,利用句法依存树中的根节点、待抽取关系的给定实体构建注意力机制。该方法既避免了以往直接使用句法依存树中最短路径作为输入而导致的信息不足问题,又针对关系分类任务的特点融入了实体词这一关键信息。因为关系分类是针对两个实体词进行分类而与以往的文本分类任务是针对整个句子进行分类,所以基于两个实体词进行注意力机制能更有效提取类别相关特征。(2)本文提出了一种基于最优传输理论的OT Loss损失函数(Optimal Transport)。每一个关系类别都有其具体的定义解释,这些解释往往由语言学家给出,能够提供丰富的语义信息。而现有的关系分类方法通常只是把关系类别转化为无意义的独热向量,没有充分挖掘类别定义的语义信息。因此本文引入了最优传输理论,基于BERT编码的隐藏状态和关键字注意力机制产生的注意力权重向量来计算每个样本与其对应的类别定义之间最优传输距离,并与交叉熵一并反向传播、指导模型更新。(3)与基准模型相比,本文所提出的模型在Semeval-2010 Task 8、Co NLL-3R和TAC40这三个数据集上分别取得了89.5%、99.4%和82.2%的最优性能。

关键词：关系分类最优传输距离注意力机制深度学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

限定域关系抽取技术研究综述

计算机科学 2024年第1期51卷 252-265页

作者：侯景邓晓梅汉鹏武中国科学院空间应用工程与技术中心北京100094 中国科学院大学北京100094

限定域关系抽取技术是在预定义实体类型和关系类型的前提下,从文本中捕获关键信息的技术,多采用由头尾实体和关系构成的三元组作为信息表示形式。作为信息抽取领域的重要研究方向之一,其在知识问答、信息检索等任务中被广泛应用。文中... 详细信息

限定域关系抽取技术是在预定义实体类型和关系类型的前提下,从文本中捕获关键信息的技术,多采用由头尾实体和关系构成的三元组作为信息表示形式。作为信息抽取领域的重要研究方向之一,其在知识问答、信息检索等任务中被广泛应用。文中在介绍相关概念和任务范式的基础上,分析了深度学习背景下限定域关系抽取任务的研究进展,根据句中实体是否可见,分为关系分类任务和三元组抽取任务,依据任务表现特征,前者可细分为有监督条件下的关系分类任务、小样本关系分类任务和远程监督条件下的关系分类任务。文中探讨和分析了以上任务中常用的技术方法及其优缺点,最后归纳总结了关系抽取技术在低资源、多模态等更为接近真实情景下的发展潜力和现存的挑战。

关键词：限定域关系抽取深度学习关系分类三元组远程监督

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于度量学习的小样本关系分类方法研究

基于度量学习的小样本关系分类方法研究

作者：张潆心吉林大学

学位级别：硕士

面对生活中来自各行各业的海量数据,如何从中有效地获取关键性的精简信息成为了人们的迫切需求,计算机进行信息处理研究的目标正是将获取到的这类非结构化数据进一步处理,转换成计算机可存储应用的结构化数据。关系分类作为自然语言处... 详细信息

面对生活中来自各行各业的海量数据,如何从中有效地获取关键性的精简信息成为了人们的迫切需求,计算机进行信息处理研究的目标正是将获取到的这类非结构化数据进一步处理,转换成计算机可存储应用的结构化数据。关系分类作为自然语言处理中的一项重要问题,用来对句子中实体对之间的语义关系进行分类,通过对标记数据的训练学习,将非结构化数据中抽取的信息进行结构化处理。传统的分类方法以特征向量和核函数作为基础,随着深度学习的不断发展,基于深度学习的方法逐渐成为了关系分类任务中的主流方式。为减轻有监督学习中人工标记数据的负担,衍生了远程监督的学习方式。但真实场景中的关系呈长尾分布,因此需要大规模数据支撑的分类方式难以解决长尾问题。针对这样的问题在本文中进行了小样本学习的关系分类方法研究,通过对已知关系中少量样本的学习,实现对未知关系类别的分类。基于度量的方法以其简单高效的方式在小样本学习中获得了优异的效果,因此在本文中对基于度量学习的小样本关系分类任务进行了进一步的研究。本文以度量学习中的原型网络为基础解决样本匮乏的问题,以词嵌入和位置嵌入组合的方式构建词向量,结合卷积神经网络结构提取实例特征,在支持集的各类别中计算原型中心作为类别代表,通过度量查询实例和各类别原型中心的距离实现分类。为了降低支持集中特殊数据对原型中心计算造成的偏差,同时考虑不同查询实例在进行分类时对支持集训练的影响,在本文提出的模型中加入了关系孪生网络结构,计算支持实例和查询实例的相似性分数,通过二者的相似度分配支持实例权重,并将原型中心的计算方式由传统的均值计算调整为各类别中支持实例的加权和。在模型中还加入了交叉融合层,对查询实例和原型中心的语义信息进行结合,得到在彼此影响下更具有针对性的特征向量,提高各类别对于查询实例的区分性。在训练的优化部分,以原型网络中对查询实例到各类别原型中心距离的优化为基础,加入了针对支持实例之间距离的优化,以缩小同类别中支持实例之间的距离、扩大不同类别间支持实例之间的距离为目标,提高了类别中实例聚合度的同时,也提高了类别间的分散度。实验结果表明,在几种小样本学习设置下与基线模型进行对比,本文提出的模型都提高了关系分类的准确率,说明了本文提出模型在关系分类任务上能取得更好的效果。

关键词：关系分类小样本学习度量学习原型网络关系孪生网络