检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

实体和关系联合抽取的编码解码技术研究

实体和关系联合抽取的编码解码技术研究

作者：赵向洋华中科技大学

学位级别：硕士

在大数据时代,信息主要通过文本形式作为载体存储和传输。人们采用信息抽取技术处理非结构化文本数据,得到结构化或半结构化的数据,获取用户真正感兴趣的信息。命名实体识别和关系抽取是信息抽取技术的基础,对于自然语言处理领域的高级... 详细信息

在大数据时代,信息主要通过文本形式作为载体存储和传输。人们采用信息抽取技术处理非结构化文本数据,得到结构化或半结构化的数据,获取用户真正感兴趣的信息。命名实体识别和关系抽取是信息抽取技术的基础,对于自然语言处理领域的高级应用有重要意义。传统方法使用流水线式处理实体和关系抽取任务,存在错误传播和冗余信息等缺点,性能较差。实体和关系之间存在交叉依赖,因此对实体和关系进行联合抽取很有必要。研究了实体和关系联合抽取的编码解码技术。使用神经网络结构自动提取输入文本的语义特征,不依赖外部的自然语言处理工具,避免外部工具错误。提出的模型包括四个模块:词嵌入层、编码层、关系抽取模块和命名实体识别模块。词嵌入层使用单词的word2vec词嵌入和字符级别的词嵌入;编码层采用双向长短时记忆网络,可以充分利用文本的上下文语义特征,有效缓解长距离依赖的问题。词嵌入层和编码器层属于共享底层,输出信息同时作为命名实体识别解码器和关系抽取解码器的输入,两个解码器模块共享文本特征和编码器参数,可以对两个子任务进行相互约束。关系抽取解码器采用卷积神经网络,可以抽取多种关系实例,在CNN的输入层添加注意力机制,为每个词生成上下文信息。命名实体模块分别采用Softmax解码器和条件随机场解码器,实验得出条件随机场结果更好。最终采用了Bi LSTM-ATTCNN-CRF模型,相比较之前的联合抽取方法,本课题提出的模型在F1值上取得提升。

关键词：信息抽取神经网络实体和关系联合抽取编码解码

基于深度学习的命名实体和关系联合抽取模型研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的命名实体和关系联合抽取模型研究

作者：吴培辛电子科技大学

学位级别：硕士

命名实体识别和关系抽取是自然语言处理领域中两项主要的信息抽取任务,旨在从无结构文本中抽取实体和关系,由它们共同组成的关系三元组可以直接应用于知识图谱的构建,同时也在信息检索、问答系统等上层应用中起着至关重要的作用。通过... 详细信息

命名实体识别和关系抽取是自然语言处理领域中两项主要的信息抽取任务,旨在从无结构文本中抽取实体和关系,由它们共同组成的关系三元组可以直接应用于知识图谱的构建,同时也在信息检索、问答系统等上层应用中起着至关重要的作用。通过对现有算法的设计思路和建模机制进行深入分析后,发现这些方法存在以下几个不足之处:第一,传统研究方法将命名实体识别和关系抽取以管道的方式分两步处理,采用两套不同的模型结构及参数,割裂了两个任务间的内在联系,当上游任务出错时必然会导致下游任务错误。第二,由于在一段文本中可能出现多个关系三元组,三元组之间可能出现实体交叠的情况,同时,一对实体间的关系也具有方向性,现有建模方法大多不能同时兼顾这两大挑战性难题。本文针对以上问题展开研究,考虑到实体交叠和关系方向性的情况,聚焦于实体和关系的联合抽取模型,提出相应的解决方案。主要工作内容和贡献如下:(1)提出了一种特定的关系表示方法,该方法能够帮助目标输出在关系三元组集合和文本序列之间双向转换,成功将带有注意力机制的编码器-解码器模型应用于实体和关系联合抽取任务当中,将实体识别和关系抽取融合到解码阶段中自由地交错产生实体和关系信息。该联合抽取方法在充分捕捉二者之间相互作用的同时,也有效解决了实体交叠问题,并明确指定了实体对间的关系方向,相比于已有类似模型方法在实体提及完整性上更具优势。通过在公开数据集上进行性能评测,实验结果证明了本方法的有效性。(2)提出了一种基于预训练语言模型的实体关系联合抽取框架,该框架由实体识别模块和关系检测模块两部分组成,二者通过共享同一个预训练语言模型建立任务关联,通过交叉采样的方式联合训练两部分模块,以在全局上寻求最佳的模型参数平衡。在关系检测模块中考虑了每一对实体及先后顺序,在更细粒度上解决实体交叠和关系方向性问题。在公开数据集上的实验结果表明,该联合抽取方法优于已有研究工作,证明了本方法性能的优越性。(3)将实体关系联合抽取方法应用于警情文本当中,提出一套可行的警情文本实体关系抽取解决方案,制定数据标注标准及业务逻辑处理流程,最终完成相应的原型系统开发,以此推动该方法在相关文本处理领域中的实际落地使用。

关键词：实体和关系联合抽取信息抽取预训练语言模型编码器-解码器模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

参数共享模式下的实体和关系联合抽取研究

参数共享模式下的实体和关系联合抽取研究

作者：干家东北京邮电大学

学位级别：硕士

在日常生活中,大量的信息通过自然语言文本作为载体进行传递。人们使用信息抽取的方法从非结构化文本中获取重要信息,命名实体识别和关系抽取是基础的两个任务,分别用于实体和关系信息的获取。人们通过共享底层参数的联合方法,将两个任... 详细信息

在日常生活中,大量的信息通过自然语言文本作为载体进行传递。人们使用信息抽取的方法从非结构化文本中获取重要信息,命名实体识别和关系抽取是基础的两个任务,分别用于实体和关系信息的获取。人们通过共享底层参数的联合方法,将两个任务结合,在提升效率的基础上追求更高的性能。现有的联合抽取技术会产生冗余信息,增加模型计算的复杂度,对模型训练产生干扰。此外,命名实体识别作为其中一项任务,通过实际应用研究其技术要点,对推进联合抽取的发展具有重要意义。针对上述内容,本文主要的研究工作包括:设计了端到端的神经网络模型和标注体系进行实体和关系联合抽取。部分现有的联合模型通过使用一些自然语言处理工具获取句法和语法等特征信息,在模型训练过程中存在误差传播。而神经网络模型可以有效学习文本特征,避免了人工特征的限制。针对任务设计了动态记忆单元,可以动态地捕捉和存储输入文本中的关系信息,进行关系检测。同时可以利用存储的关系信息帮助进行命名实体识别,在实验中有效提升了模型性能。利用命名实体识别技术构建面向特定领域的文本自动化解析系统,比较不同编码器、解码器结构在试验中的性能,剖析命名实体识别的技术要点。

关键词：信息抽取实体和关系联合抽取参数共享动态记忆单元命名实体识别

基于深度神经网络的实体和关系联合抽取关键技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度神经网络的实体和关系联合抽取关键技术研究

作者：周冠宏长沙理工大学

学位级别：硕士

随着互联网技术的发展,当今世界正朝着大数据时代迈进,如何准确高效的从海量文本数据中抽取有用的信息显得越发重要。关系抽取作为信息抽取的主要任务,旨在从非结构化的文本中抽取出实体间存在的语义关系,其在构建知识图谱、信息检索和... 详细信息

随着互联网技术的发展,当今世界正朝着大数据时代迈进,如何准确高效的从海量文本数据中抽取有用的信息显得越发重要。关系抽取作为信息抽取的主要任务,旨在从非结构化的文本中抽取出实体间存在的语义关系,其在构建知识图谱、信息检索和自动问答等领域具有重要的应用价值。传统的方法一般将关系抽取视为一个独立任务,采用串联的方式处理,即在命名实体识别任务的基础上再对关系进行分类。其主要缺点是忽略了命名实体识别和关系抽取这两个任务间存在的关联性,并造成误差的传播,从而影响最终的效果。因此,实体和关系联合抽取技术开始受到学术界和企业界的广泛关注,逐渐成为热门的研究课题。联合的方法虽然能从文本中直接抽取出实体和实体间蕴含的语义关系,但也引入更为复杂的模型结构,且目前研究才刚刚起步,还存在很多亟待解决的问题。本文主要针对基于序列到序列方法的实体和关系联合抽取展开了深入的研究,通过分析目前存在的问题并提出改进。本文主要的研究工作概括如下:一、通过对序列到序列方法的复制机制进行分析,发现其评分函数的缺陷将会导致实体复制时存在不稳定的问题。针对该问题,本文提出一种基于改进复制机制的实体和关系联合抽取模型。通过新设计的评分函数,模型的解码器可以解决在复制前后两个实体时因概率分布相同而导致softmax函数不适用的问题,避免模型对于掩码的高度依赖,从而提升模型的抽取性能。实验结果表明,与基线相比,该模型在实体和关系联合抽取任务上性能有显著提升。二、通过对序列到序列方法输出的结果进行分析,发现对于由多单词构成的实体,其只能抽取实体的最后一个单词作为结果输出。针对上述实体完整性问题,本文提出一种基于多任务学习的实体和关系联合抽取模型。该模型在编码器的输出端构建一个附加的条件随机场CRF层用于序列标注任务。该附加层能对输入句子中的实体进行标注,以此来辅助模型抽取完整的实体。模型通过多任务学习的目标函数对编码器和解码器同时进行训练。实验结果表明,该模型有效解决了实体的完整性问题,并取得了性能的提升。三、针对传统的静态词向量Word2vec无法表示自然语言中广泛存在的一词多义的问题,本文提出一种基于BERT的实体和关系联合抽取模型。通过引入基于上下文语境的BERT动态词嵌入表示作为模型的输入,为模型提供更精准的语义特征信息。实验结果证明,BERT词向量表示能显著提升联合抽取模型的性能。

关键词：实体和关系联合抽取序列到序列复制机制条件随机场 BERT

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向开放领域的实体关系抽取方法研究

面向开放领域的实体关系抽取方法研究

作者：赵康河北科技大学

学位级别：硕士

随着互联网的高速发展,各种各样的事实、常识等知识日益增长。实体关系抽取作为抽取这些知识的核心技术,吸引了越来越多的研究者关注。现阶段实体关系抽取已经用于构建知识图谱、自动问答等诸多场景。然而,目前实体关系抽取技术大多在... 详细信息

随着互联网的高速发展,各种各样的事实、常识等知识日益增长。实体关系抽取作为抽取这些知识的核心技术,吸引了越来越多的研究者关注。现阶段实体关系抽取已经用于构建知识图谱、自动问答等诸多场景。然而,目前实体关系抽取技术大多在封闭域的数据上进行研究,并且在现实场景中关系事实的表达方式更加多样,实体关系可能是随时间而不断变化的,且新关系数量仍在不断增长。现有的方法很难解决开放领域下所面临的标注样本少、标注成本高、实体关系种类繁多等挑战。因此,本文面向开放领域,基于深度学习方法进行了实体和关系联合抽取、开放关系检测、开放关系发现以及持续关系学习的相关研究,主要研究内容如下:(1)提出了一种基于表示迭代融合的实体和关系联合抽取方法。现有的研究在提取实体之前很少考虑实体之间可能存在的关系信息,这可能会导致大多数提取的实体不能构成有效的三元组。本文提出将关系信息作为先验知识引入,用于减少对语义无关实体的提取,从而减少对三元组的冗余提取。首先,将句子中的单词和预定义的关系建模为图上的节点。然后,基于异构图神经网络的表示迭代融合将两种语义节点进行迭代语义融合,来获得更适合于关系抽取任务的节点表示。最后,模型利用最终更新的节点表示进行关系抽取。本文在两个公开的关系抽取基准数据集NYT和Web NLG上评估了提出的方法。实验结果表明,该方法能够有效地抽取实体关系三元组,并在两个数据集上优于最新的方法。此外,提出的方法也适用于关系分类任务,在Sem Eval 2010 task 8数据集上其性能比以往的方法有显著提升。(2)提出了一种基于动态阈值的开放关系检测方法。现有的关系分类方法在处理没有先验知识的未知关系时存在局限性。本文通过动态阈值检测未知关系的同时对已知关系进行准确分类,其中阈值由样本自身的特征生成。首先,模型根据输入的句子和注释的实体将其编码为关系表示向量。然后,通过拼接关系表示向量和关系嵌入,经过多层感知机输出的未归一化的概率。最后,通过拼接关系表示向量和零向量来生成动态阈值,未归一化的概率将与该阈值进行比较,使用该阈值确定输入实例是否属于未知类。此外,为了获得更好的动态阈值学习效果,采用流形混合和实体边界滑动两种负样本生成技术,使阈值学习对开放关系样本具有更强的鲁棒性。在两个基准数据集上进行的实验表明,该方法的性能明显优于目前的先进方法,并具有较强的鲁棒性。(3)提出了一种基于自加权损失的开放关系抽取方法。最近的开放关系抽取工作利用从标记数据中学习到的关系语义知识来聚类无标记的关系实例。然而,这些知识通常没有被充分利用,而且在转移到另一个领域时表现得很差。为此,本文提出一种半监督学习范式,该方法利用度量学习从标记数据中学习关系语义知识,然后通过对无标记数据的无监督学习来识别新的关系。首先,编码器是预先训练的,它利用标记数据中的关系实例来学习关系表示。此外,为了更好地学习关系表示,提出了一种基于对的自加权损失算法。利用自调整梯度作为权重挖掘信息实例。然后,将从无标签数据中抽取的关系表示用k-means聚类得到伪标签。最后,对伪标记数据交替进行聚类和度量学习。在三个基准数据集上进行的实验结果表明,Semi ORE可以显著超过最先进的基线,并在不同领域展示出强大的知识转移能力。(4)提出了一种基于一致性表示学习的持续关系抽取方法。现有的基于记忆的持续关系抽取方法往往会过度拟合记忆样本,并且在不平衡的数据集上表现不佳。本文在回放记忆时通过对比学习和知识蒸馏来保持关系嵌入的稳定性。具体地,首先使用基于临时记忆的监督对比学习来训练每个新任务,以便模型可以有效地学习关系表示。然后,对记忆库中的样本进行对比回放,通过记忆知识蒸馏使模型保留历史关系的知识,防止旧任务的灾难性遗忘。所提出的方法可以更好地学习一致性表示,以有效地减轻遗忘。在Few Rel和TACRED数据集上的实验结果表明,本文提出的方法明显优于最先进的基线,并且在不平衡的数据集上产生了很强的鲁棒性。实验证明本文提出的方法在相应的研究内容上均取得了较优的性能,通过解决开放域场景下存在的核心科学问题,促使基础研究成果走向应用。提出的研究方法可赋能构建知识图谱和知识驱动的自然语言处理,并为人机交互的深入研究奠定基础。在本文的最后也总结了在研究过程中遇到的问题以及对未来工作的展望。

关键词：实体和关系联合抽取异构图神经网络开放集分类深度聚类持续学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于自然语言处理的产业链知识图谱构建

情报学报 2022年第3期41卷 287-299页

作者：毛瑞彬朱菁李爱文周倚文潘斌强岳琳武汉大学信息资源研究中心武汉430072 深圳证券信息有限公司深圳518022 天津大学管理与经济学部天津300110

产业链知识图谱在金融领域应用较为广泛,但目前多数研究是面向单一产业的知识图谱构建或面向产业竞争情报服务,并没有把产业链和知识图谱有机地结合起来。本文从产业链应用角度出发,对产业链知识图谱的构建方法进行研究。首先提出了产... 详细信息

产业链知识图谱在金融领域应用较为广泛,但目前多数研究是面向单一产业的知识图谱构建或面向产业竞争情报服务,并没有把产业链和知识图谱有机地结合起来。本文从产业链应用角度出发,对产业链知识图谱的构建方法进行研究。首先提出了产业链知识图谱的构建流程和本体库,再基于领域语言模型,实现知识分类、抽取、融合等金融领域文本处理方法,对海量的领域文本进行知识抽取和融合,最终成功构建产业链知识图谱。根据本文方法构建的产业链知识图谱系统,覆盖产业链78个,细分行业7629个,已经应用到投融资、监管和产业规划等多个重要场景中。

关键词：产业链知识图谱领域语言模型实体和关系联合抽取