检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于注意力机制语义增强的文档级关系抽取

同济大学学报（自然科学版） 2024年第5期52卷 822-828页

作者：柳先辉吴文达赵卫东侯文龙同济大学电子与信息工程学院上海201804 上海视觉感知与智能计算工程技术研究中心上海200092

文档级关系抽取旨在从文档中抽取出多个实体对之间的关系,具有较高的复杂性。针对文档级关系抽取中的多实体、关系相关性、关系分布不平衡等问题,提出了一种基于注意力机制(Attention)语义增强的文档级关系抽取方法,能够实现实体对之间... 详细信息

文档级关系抽取旨在从文档中抽取出多个实体对之间的关系,具有较高的复杂性。针对文档级关系抽取中的多实体、关系相关性、关系分布不平衡等问题,提出了一种基于注意力机制(Attention)语义增强的文档级关系抽取方法,能够实现实体对之间关系的推理。具体来说,首先在数据编码模块改进编码策略,引入更多实体信息,通过编码网络捕获文档的语义特征,获得实体对矩阵;然后,设计了一个基于Attention门控机制的U-Net网络,对实体对矩阵进行局部信息捕获和全局信息汇总,实现语义增强;最后,使用自适应焦点损失函数缓解关系分布不平衡的问题。在4个公开的文档级关系抽取数据集(DocRED、CDR、GDA和DWIE)上评估了Att-DocuNet模型并取得了良好的实验结果。

关键词：文档级关系抽取注意力机制语义增强焦点损失

在线全文

学校读者我要写书评

暂无评论

文档级关系抽取技术研究综述

计算机科学 2023年第5期50卷 189-200页

作者：祝涛杰卢记仓周刚丁肖摇王凌朱秀宝战略支援部队信息工程大学郑州450001 数学工程与先进计算国家重点实验室郑州450001

关系抽取是信息抽取研究的重要方向,已逐步从句子级扩展到了文档级。与句子相比,文档通常蕴含更多的关系事实,可为知识库构建、信息检索和语义分析等提供更多的信息支持。然而,文档级关系抽取复杂度更高,难度更大,目前缺乏较为系统全面... 详细信息

关系抽取是信息抽取研究的重要方向,已逐步从句子级扩展到了文档级。与句子相比,文档通常蕴含更多的关系事实,可为知识库构建、信息检索和语义分析等提供更多的信息支持。然而,文档级关系抽取复杂度更高,难度更大,目前缺乏较为系统全面的梳理和总结。为更好地促进文档级关系抽取的深入研究与发展,文中对已有技术和方法进行了综合深入分析,从数据预处理方式和核心算法角度,将已有文档级关系抽取研究大致分为基于树、基于序列和基于图3种类别;在此基础上,分析描述了各类研究中的部分典型方法、最新进展以及存在的不足;同时,介绍了现有研究中部分常用数据集和性能评价指标,并列出了已有部分典型方法的具体性能;最后,对现有文档级关系抽取研究存在的问题进行了分析和总结,指出了未来可能的发展趋势及可进一步深入关注的研究方向。

关键词：信息抽取文档级关系抽取数据预处理数据集性能评价

在线全文

学校读者我要写书评

暂无评论

文档级关系抽取技术研究

文档级关系抽取技术研究

作者：杨昱哈尔滨工业大学

学位级别：硕士

日常生活中的信息多以文档的形式呈现,挖掘文档中实体对之间的关系更具有实际意义。但是现有的关系抽取方法大多是句子级别的,难以捕捉文本中相隔较远的实体对之间的关系,为了弥补这一点,文档级关系抽取技术应运而生。本文拟从以下三个... 详细信息

日常生活中的信息多以文档的形式呈现,挖掘文档中实体对之间的关系更具有实际意义。但是现有的关系抽取方法大多是句子级别的,难以捕捉文本中相隔较远的实体对之间的关系,为了弥补这一点,文档级关系抽取技术应运而生。本文拟从以下三个方面对文档级关系抽取技术展开研究:(1)基于序列的文档级关系抽取方法研究。基于序列的文档级关系抽取方法可以看作是句子级关系抽取方法的延伸,本文在该部分探究了两种具体模型,分别是利用远程监督数据集进行预训练的模型和基于Transformer的编码模型,并分别针对这两种模型提出了改进模型。(2)基于图的文档级关系抽取方法研究。基于图的文档级关系抽取方法主要将文档的信息从序列的形式转换为图的形式,进而利用图卷积神经网络完成对文本信息的抽取。本文在该部分同样探究了两种具体模型,分别是利用图卷积神经网络进行隐式推理的模型和基于提及实体分别构图的图推理模型。这部分研究为本文最优模型的提出奠定了理论基础。(3)融合序列和图的文档级关系抽取方法研究。该部分研究主要是将基于序列的文档级关系抽取方法与基于图的文档级关系抽取方法进行融合。具体做法是利用基于序列的文档级关系抽取模型中表现良好的模块对基于图的文档级关系抽取模型中的部分结构进行增加或替换。本文在该部分研究中提出了最优模型,并将该模型与本文所有模型的效果进行对比,分析不同模型的优劣,进而得出最终结论。

关键词：文档级关系抽取图卷积神经网络异质图预训练 Transformer

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

文档级关系抽取的小波变换优化方法研究

文档级关系抽取的小波变换优化方法研究

作者：杨肖湖北大学

学位级别：硕士

关系抽取是自然语言处理领域中的一个核心任务,目标是从给定文本中识别并抽取实体之间的关系。最初的关系抽取主要集中在单个句子内部,称为句子级关系抽取。句子级关系抽取不需要考虑跨句子的上下文信息,只关注单个句子中实体之间的关... 详细信息

关系抽取是自然语言处理领域中的一个核心任务,目标是从给定文本中识别并抽取实体之间的关系。最初的关系抽取主要集中在单个句子内部,称为句子级关系抽取。句子级关系抽取不需要考虑跨句子的上下文信息,只关注单个句子中实体之间的关系。随着研究的深入发展,相关研究人员发现仅依赖句子级关系抽取无法满足许多实际需求,尤其是在处理跨句子、段落的关系抽取时。文档级关系抽取是指从多个句子、段落中识别并抽取实体之间的关系。这要求模型不仅要理解单个句子,还要理解句子之间的关联和整个文档的上下文信息,这有效的解决了句子级关系抽取所面临的难题。目前,文档级关系抽取领域主要存在三种主流的研究方法,分别是:基于序列、基于图和基于Transformer的文档级关系抽取。本研究致力于优化文档级关系抽取模型,通过改进基于Transformer的方法,进一步提升文档级关系抽取任务的性能。具体来说,利用Transformer模型生成的预训练语言模型编码文本表示。同时,结合相应的模型组件选择策略,进一步细化模型对于实体关系的理解,从而全面优化文档级关系抽取的性能。本文主要研究如下。(1)基于小波变换增强实体与相应上下文表示,提升文档级关系抽取的效果。首先,针对不同数据集的特点,使用不同的预训练语言模型对文档中的标记进行编码,得到初步的文本特征与文本注意力表示。然后,在此基础上使用小波变换、多头注意力机制、残差连接对文本特征进行清洗和增强。从而获得文档中相应实体表示,以及与实体相关的局部上下文表示,并使用局部上下文增强实体表示。最后,将实体对表示应用线性分类获取与实体对相关关系。相较于基线模型ATLOP,本文方法在CDR数据集的Test＿F1指标上提升0.91%。在Doc RED数据集各项指标上整体提升1.48%、1.39%、1.14%和0.98%。(2)在增强文本特征的基础上对文档进行证据句子提取达到增强推理融合的目的,提升文档级关系抽取的效果。并且针对相应的基线模型Eider,设计多种组件选择策略实验,证明本文方法在利用文档中的证据句子进行推理融合时,对文档中的实体对关系抽取有较大提升。在Doc RED数据集上,最后实验证明本文所提WTARE模型与基线模型Eider相比,在使用BERT编码时各项指标上整体提升0.82%、0.87%、0.53%、0.4%,使用Ro BERTa编码时各项指标上整体提升0.51%、0.55%、0.83%、0.8%。

关键词：文档级关系抽取预训练语言模型小波变换证据句子提取推理融合

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于证据句与图卷积网络的文档级关系抽取

计算机工程 2023年第8期49卷 104-110页

作者：马建红龚天姚爽河北工业大学人工智能与数据科学学院天津300401

针对基于图卷积网络的文档级关系抽取模型存在未对邻居节点贡献度加以区分及句子噪声的问题,在将证据句融入图卷积网络进行消息传播的基础上,构建一种改进的文档级关系抽取模型。基于启发式路径得到包含证据句的路径信息,在包含证据句... 详细信息

针对基于图卷积网络的文档级关系抽取模型存在未对邻居节点贡献度加以区分及句子噪声的问题,在将证据句融入图卷积网络进行消息传播的基础上,构建一种改进的文档级关系抽取模型。基于启发式路径得到包含证据句的路径信息,在包含证据句的路径信息基础上进行关系抽取,统计所有样本路径中的句子占比,并在异构图中融入证据句路径信息进行相似度计算,得到与样本相关的3句证据句。在证据句信息的基础上对不同类型的边根据贡献度区分规则赋予相应权重,并使用图卷积操作对节点信息进行二次增强,最终实现文档级关系抽取。在DocRED数据集上的实验结果表明,该模型的F1值达到56.96%,相比于Paths、Hin-Glove等基线模型提升了0.42~13.51个百分点,验证了在文档图中融入证据句信息对于提升文档级关系抽取模型性能的有效性。

关键词：文档级关系抽取图卷积网络证据句异构图权重

基于注意力机制补足实体缺陷的文档级关系抽取方法

在线全文

学校读者我要写书评

暂无评论

中文信息学报 2024年第8期38卷 93-102页

作者：彭文智肖蓉安先跨杨肖湖北大学计算机与信息工程学院湖北武汉430062 武汉大学国家网络安全学院湖北武汉430072

命名实体识别是文档级关系抽取中的一项关键任务,然而,传统的文档级关系抽取模型在实体识别时,仅通过汇聚局部提及信息构建实体,这限制了实体的表征能力。为此,该文提出了基于注意力机制补足实体缺陷的文档级关系抽取方法。该方法根据... 详细信息

命名实体识别是文档级关系抽取中的一项关键任务,然而,传统的文档级关系抽取模型在实体识别时,仅通过汇聚局部提及信息构建实体,这限制了实体的表征能力。为此,该文提出了基于注意力机制补足实体缺陷的文档级关系抽取方法。该方法根据预定义的关系集合选择性关注实体提及层次特征,然后利用池化方法积累信号,为实体补足不同提及语义特征,同时,引入交叉多头注意力机制和残差连接对实体进行上下文加权处理,加强实体与上下文、全局信息之间的联系。该文在DocRED数据集上进行实验,与基线模型相比,补足实体缺陷后的基线模型在验证集F_(1)/Ign_F_(1)和测试集F_(1)/Ign_F_(1)上分别提升了1.82%/1.73%和1.81%/1.62%,实验结果表明了该方法的有效性。

关键词：文档级关系抽取命名实体识别注意力机制

在线全文

学校读者我要写书评

暂无评论

基于提及图和显式路径的文档级关系抽取方法

山东大学学报（工学版） 2023年第6期53卷 16-25页

作者：郑泾飞廖永新王华珍何霆华侨大学计算机科学与技术学院福建厦门361021

为有效汇聚实体间信息,利用实体间路径信息判断语义关系,提出一种基于提及图和显式路径的文档级关系抽取方法。利用基于提及对类型的图构建方法,通过融合提及间天然存在的结构化信息,结合图注意力网络,实现实体间信息的汇聚;利用基于显... 详细信息

为有效汇聚实体间信息,利用实体间路径信息判断语义关系,提出一种基于提及图和显式路径的文档级关系抽取方法。利用基于提及对类型的图构建方法,通过融合提及间天然存在的结构化信息,结合图注意力网络,实现实体间信息的汇聚;利用基于显式路径的关系推理方法,包括显式路径构建方法和启发式的路径特征融合方法两个子方法,通过显式方式构建关系推理路径,将推理路径分为句内推理路径、句间推理路径、直接推理路径,实现区分句内推理和句间推理,差异化融合路径特征,提高关系路径推理能力,增强关系抽取的准确度。在3个公开数据集上的对比试验表明,本方法在F_(1)和Ign F_(1)指标上较目前主流方法存在优越性,验证了基于提及图和显式路径的文档级关系抽取方法能够更有效地支持文档级关系抽取任务。

关键词：文档级关系抽取图注意力网络显式路径提及图信息抽取

图推理嵌入动态自注意力网络的文档级关系抽取

在线全文

学校读者我要写书评

暂无评论

智能系统学报 2024年

作者：李云洁王丹阳刘海涛汪华东汪培庄辽宁工程技术大学理学院中国热带农业科学院科技信息研究所辽宁工程技术大学智能工程与数学研究院清华大学计算机系

文档级关系抽取是指从文档中抽取所有具有语义关系的实体对并判断其关系类别，与句子级关系抽取不同，这里实体关系的确定需要根据文档中多个句子推理得到。现有方法主要采用自注意力进行文档级关系抽取，但是运用自注意力进行文档级关... 详细信息

文档级关系抽取是指从文档中抽取所有具有语义关系的实体对并判断其关系类别，与句子级关系抽取不同，这里实体关系的确定需要根据文档中多个句子推理得到。现有方法主要采用自注意力进行文档级关系抽取，但是运用自注意力进行文档级关系抽取需要面临两个技术挑战：即长文本语义编码存在的高计算复杂度和关系预测需要的复杂推理建模，故提出一种图推理嵌入动态自注意力网络（graph reasoning embedded dynamic self-attention network， GSAN）模型。该模型借助门限词选择机制动态选择重要词计算自注意力实现对长文本语义依赖的高效建模，同时考虑以选择词为全局语义背景与实体候选、文档节点一起构建文档图，将文档图的图推理聚合信息嵌入到动态自注意力模块中，实现模型对复杂推理建模的能力。在公开的文档级关系数据集CDR和DocRED上的实验结果表明：文中提出的模型较其他基线模型有显著提升。

关键词：文档级关系抽取图推理动态自注意力网络自注意力机制门限词选择机制文档图图注意力网络关键词

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于图注意力卷积神经网络的文档级关系抽取

中文信息学报 2021年第10期35卷 73-80页

作者：吴婷孔芳苏州大学计算机科学与技术学院江苏苏州215006

关系抽取作为信息抽取的子任务,旨在从非结构化文本中抽取出便于处理的结构化知识,对于自动问答、知识图谱构建等下游任务至关重要。该文在文档级的关系抽取语料上开展工作,包括但不局限于传统的句子级关系抽取。为了解决文档级关系抽... 详细信息

关系抽取作为信息抽取的子任务,旨在从非结构化文本中抽取出便于处理的结构化知识,对于自动问答、知识图谱构建等下游任务至关重要。该文在文档级的关系抽取语料上开展工作,包括但不局限于传统的句子级关系抽取。为了解决文档级关系抽取中长距离依赖问题,并且对特征贡献度加以区分,该文将图卷积模型和多头注意力机制相融合构建了图注意力卷积模型。该模型通过多头注意力机制为同指、句法等信息构建的拓扑图构建动态拓扑图,然后使用图卷积模型和动态图捕获实体间的全局和局部依赖信息。该文分别在DocRED语料和自主扩展的ACE 2005语料上进行实验,与基准模型相比,基准模型上融入图注意力卷积的模型在两个数据集上的F;值分别提升了2.03%和3.93%,实验结果表明了该方法的有效性。

关键词：文档级关系抽取图卷积网络图注意力