检索结果-南通市图书馆

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于注意力机制语义增强的文档级关系抽取

同济大学学报（自然科学版） 2024年第5期52卷 822-828页

作者：柳先辉吴文达赵卫东侯文龙同济大学电子与信息工程学院上海201804 上海视觉感知与智能计算工程技术研究中心上海200092

文档级关系抽取旨在从文档中抽取出多个实体对之间的关系,具有较高的复杂性。针对文档级关系抽取中的多实体、关系相关性、关系分布不平衡等问题,提出了一种基于注意力机制(Attention)语义增强的文档级关系抽取方法,能够实现实体对之间... 详细信息

文档级关系抽取旨在从文档中抽取出多个实体对之间的关系,具有较高的复杂性。针对文档级关系抽取中的多实体、关系相关性、关系分布不平衡等问题,提出了一种基于注意力机制(Attention)语义增强的文档级关系抽取方法,能够实现实体对之间关系的推理。具体来说,首先在数据编码模块改进编码策略,引入更多实体信息,通过编码网络捕获文档的语义特征,获得实体对矩阵;然后,设计了一个基于Attention门控机制的U-Net网络,对实体对矩阵进行局部信息捕获和全局信息汇总,实现语义增强;最后,使用自适应焦点损失函数缓解关系分布不平衡的问题。在4个公开的文档级关系抽取数据集(DocRED、CDR、GDA和DWIE)上评估了Att-DocuNet模型并取得了良好的实验结果。

关键词：文档级关系抽取注意力机制语义增强焦点损失

维普期刊数据库

基于注意力机制补足实体缺陷的文档级关系抽取方法

在线全文

学校读者我要写书评

暂无评论

中文信息学报 2024年第8期38卷 93-102页

作者：彭文智肖蓉安先跨杨肖湖北大学计算机与信息工程学院湖北武汉430062 武汉大学国家网络安全学院湖北武汉430072

命名实体识别是文档级关系抽取中的一项关键任务,然而,传统的文档级关系抽取模型在实体识别时,仅通过汇聚局部提及信息构建实体,这限制了实体的表征能力。为此,该文提出了基于注意力机制补足实体缺陷的文档级关系抽取方法。该方法根据... 详细信息

命名实体识别是文档级关系抽取中的一项关键任务,然而,传统的文档级关系抽取模型在实体识别时,仅通过汇聚局部提及信息构建实体,这限制了实体的表征能力。为此,该文提出了基于注意力机制补足实体缺陷的文档级关系抽取方法。该方法根据预定义的关系集合选择性关注实体提及层次特征,然后利用池化方法积累信号,为实体补足不同提及语义特征,同时,引入交叉多头注意力机制和残差连接对实体进行上下文加权处理,加强实体与上下文、全局信息之间的联系。该文在DocRED数据集上进行实验,与基线模型相比,补足实体缺陷后的基线模型在验证集F_(1)/Ign_F_(1)和测试集F_(1)/Ign_F_(1)上分别提升了1.82%/1.73%和1.81%/1.62%,实验结果表明了该方法的有效性。

关键词：文档级关系抽取命名实体识别注意力机制

维普期刊数据库

图推理嵌入动态自注意力网络的文档级关系抽取

在线全文

学校读者我要写书评

暂无评论

智能系统学报 2024年

作者：李云洁王丹阳刘海涛汪华东汪培庄辽宁工程技术大学理学院中国热带农业科学院科技信息研究所辽宁工程技术大学智能工程与数学研究院清华大学计算机系

文档级关系抽取是指从文档中抽取所有具有语义关系的实体对并判断其关系类别，与句子级关系抽取不同，这里实体关系的确定需要根据文档中多个句子推理得到。现有方法主要采用自注意力进行文档级关系抽取，但是运用自注意力进行文档级关... 详细信息

文档级关系抽取是指从文档中抽取所有具有语义关系的实体对并判断其关系类别，与句子级关系抽取不同，这里实体关系的确定需要根据文档中多个句子推理得到。现有方法主要采用自注意力进行文档级关系抽取，但是运用自注意力进行文档级关系抽取需要面临两个技术挑战：即长文本语义编码存在的高计算复杂度和关系预测需要的复杂推理建模，故提出一种图推理嵌入动态自注意力网络（graph reasoning embedded dynamic self-attention network， GSAN）模型。该模型借助门限词选择机制动态选择重要词计算自注意力实现对长文本语义依赖的高效建模，同时考虑以选择词为全局语义背景与实体候选、文档节点一起构建文档图，将文档图的图推理聚合信息嵌入到动态自注意力模块中，实现模型对复杂推理建模的能力。在公开的文档级关系数据集CDR和DocRED上的实验结果表明：文中提出的模型较其他基线模型有显著提升。

关键词：文档级关系抽取图推理动态自注意力网络自注意力机制门限词选择机制文档图图注意力网络关键词

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于实体表示增强的文档级关系抽取

计算机应用 2024年

作者：王海杰张广鑫史海陈树江南大学物联网工程学院

针对现有的文档级关系抽取任务实体表示学习存在忽视实体提及差异性和缺少实体对关系抽取复杂度计算范式的问题，提出一种基于实体表示增强的文档级关系抽取(DREERE)模型。首先，利用注意力机制评估实体提及在判定不同实体对关系时的差... 详细信息

针对现有的文档级关系抽取任务实体表示学习存在忽视实体提及差异性和缺少实体对关系抽取复杂度计算范式的问题，提出一种基于实体表示增强的文档级关系抽取(DREERE)模型。首先，利用注意力机制评估实体提及在判定不同实体对关系时的差异性，得到更加灵活的实体表示；其次，利用编码器计算得到的实体对句子重要性分布来评估实体对关系抽取的复杂度，再选择性地利用实体对之间的两跳信息增强实体对的表示。在流行的数据集DocRED、Re-DocRED和DWIE上进行实验，结果显示DREERE模型与最强基线模型相比，F1值分别提高了0.06、0.14和0.23个百分点，ign-F1值分别提高了0.07、0.09和0.12个百分点。实验结果表明，DREERE模型能够有效获取文档实体语义信息。

关键词：文档级关系抽取注意力机制证据搜索表示学习两跳信息

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于回指与逻辑推理的文档级关系抽取模型

计算机应用 2024年

作者：胡婕吴翠孙军张龑湖北大学计算机与信息工程学院大数据智能分析与行业应用湖北省重点实验室(湖北大学) 智慧政务与人工智能应用湖北省工程研究中心

在文档级关系抽取任务中，现有模型主要侧重于学习文档中实体间的交互，忽略了对实体内部结构的学习，并很少关注到文档中的代词指代识别问题和对逻辑规则的应用，导致模型对文档中实体间的关系建模不够准确。为此，基于Transformer的... 详细信息

在文档级关系抽取任务中，现有模型主要侧重于学习文档中实体间的交互，忽略了对实体内部结构的学习，并很少关注到文档中的代词指代识别问题和对逻辑规则的应用，导致模型对文档中实体间的关系建模不够准确。为此，基于Transformer的架构融合关系回指图，建模实体间交互和实体内部结构，利用回指将更多上下文信息聚合到相应实体上以提高关系抽取的准确性。此外,采用数据驱动方式从关系注释中挖掘逻辑规则,增强对文本隐含逻辑关系的理解和推理能力。针对样本不平衡问题,引入了加权长尾损失函数提高对稀有关系的识别准确性。在2个公开数据集DocRED和Re-DocRED上进行了模型验证，所提模型的lgnF1和F1值比基线模型ATLOP分别提高1.79和2.09个百分点，表明所提模型综合性能得有效提升。

关键词：文档级关系抽取关系回指图逻辑规则样本不平衡加权长尾损失函数

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于构建双粒度图的文档级关系抽取

计算机工程 2024年

作者：廖涛张国畅张顺香合肥综合性国家科学中心人工智能研究院安徽理工大学计算机科学与工程学院

文档级关系抽取是指在非结构性文本中抽取实体对之间的关系。当前的文档级关系抽取方法未能充分利用文档语义信息且难以处理文档的噪声干扰，针对此问题，该文提出一种基于构建双粒度文档图的关系抽取模型，该模型采用了一种新型的构图... 详细信息

文档级关系抽取是指在非结构性文本中抽取实体对之间的关系。当前的文档级关系抽取方法未能充分利用文档语义信息且难以处理文档的噪声干扰，针对此问题，该文提出一种基于构建双粒度文档图的关系抽取模型，该模型采用了一种新型的构图思路以及降噪方法，分别在句间和句内两个层面进行设计，首先在句间层面使用修辞语篇关系与实体提及关系构建修辞语篇关系图，为避免因实体对的句间关系路径大于句内关系路径而导致的结构性误剪枝，这里采用异步降噪方式生成粗粒度文档图。然后为增强句内语义信息，在句内层面采用依存句法关系对文档中的句子进行解析，构造出依存句法森林，最终将依存句法森林和粗粒度文档图中存在的公共锚点相连接，构造出最终的细粒度文档图。实验结果表明，与最新模型相比，该模型的lgnF1和F1值分别提升了0.4，0.51个百分点，并且在实体对的多标签关系上随着标签数量增多，效果尤为明显，在标签量为4时，micro-average F1相较于BERTbase提升了13.35%。

关键词：文档级关系抽取双粒度文档图异步降噪修辞语篇关系依存句法关系

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于交互注意力的文档级关系抽取方法研究

基于交互注意力的文档级关系抽取方法研究

作者：许志彤北方工业大学

学位级别：硕士

文档级关系抽取在自然语言处理领域有着十分重要的地位,旨在从大规模文本中自动提取实体之间的关系。现有文档级关系抽取模型通常把关系抽取和证据预测分开,导致证据预测结果没有引导关系抽取模型进行推理验证,以及现有数据集中存在极... 详细信息

文档级关系抽取在自然语言处理领域有着十分重要的地位,旨在从大规模文本中自动提取实体之间的关系。现有文档级关系抽取模型通常把关系抽取和证据预测分开,导致证据预测结果没有引导关系抽取模型进行推理验证,以及现有数据集中存在极端长尾分布现象。除此之外,现有模型无法深度挖掘实体之间复杂的隐式关系,也导致现有模型抽取效果不佳。针对以上问题,本文提出使用自训练方法补全证据信息,通过证据分布引导模型关注文档中证据句以提升抽取效果,其次使用交互注意力机制获取更丰富和更准确的上下文依赖挖掘实体间隐式关系,增强关系推理能力。具体工作如下:(1)提出了一种基于证据驱动的文档级关系抽取方法。首先,利用高质量证据金标签训练得到教师模型,教师模型在远程监督数据上进行预测生成较高质量的证据银标签;接下来使用银标签数据训练得到学生模型,再用金标签数据微调学生模型,进一步完善学生模型能力;最后使用教师和学生模型计算出证据分布情况,用于指导模型重点关注有关证据信息,通过证据信息和三元组补全策略帮助模型抽取并推理出最终的三元组信息。(2)提出了一种基于交互注意力的文档级关系抽取方法。首先,在基于证据驱动的文档级关系抽取方法基础上,进一步引入交互注意力机制,将文档级编码器中含有丰富语义信息的最后一层隐藏层状态提取出来;接下来,将该隐藏层状态送给依存句法分析引导的自注意力层,两者的输出结果分别作为不同的监督信号进行交互输入,对输出结果进行池化得到具有更强表征能力的上下文嵌入,根据关系分类器初步筛选出关系组成三元组信息;最后,根据初筛关系结果在源文档和证据信息组成的伪文档上分别进行关系推理,最终推理分数累加超过阈值才作为最终筛选关系结果。在文档级关系抽取的公开数据集DocRED,CDR和GDA,还有最新发布的Re-Doc RED上进行实验验证。实验结果表明上述两种方法对文档级关系抽取的性能提升是有效果的。

关键词：文档级关系抽取证据补全交互注意力关系推理

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

融合实体类型信息的文档级关系抽取方法研究

融合实体类型信息的文档级关系抽取方法研究

作者：杨航吉林大学

学位级别：硕士

随着信息技术的迅速发展,知识图谱作为一种结构化的知识表示形式,正在成为人工智能领域的研究热点。知识图谱以实体和实体之间的关系为基础,用于表达丰富的语义信息,并在各种应用场景中展现出巨大的潜力。与此同时,关系抽取任务作为自... 详细信息

随着信息技术的迅速发展,知识图谱作为一种结构化的知识表示形式,正在成为人工智能领域的研究热点。知识图谱以实体和实体之间的关系为基础,用于表达丰富的语义信息,并在各种应用场景中展现出巨大的潜力。与此同时,关系抽取任务作为自然语言处理任务的重要研究课题,旨在从文本中自动抽取出实体之间的关系,为知识图谱的拓展和更新提供了必要的信息支持。句子级的关系抽取任务通常侧重于从单个句子或短文本中提取实体之间的关系。而在现实世界中,实体往往存在于由多个句子构成的文档中,以提及的形式分布在文档中的各个位置,实体对之间产生了多于一种的预定义关系,文档级的关系抽取任务应运而生。对于文档级关系抽取,需要综合考虑本篇文档中实体的多个提及信息,揭示实体之间更为深层次的联系。文档级数据集中的数据相对于句子级数据集具有一定特殊性,表现为文档中实体数量多,提及跨度长,实体对的关系多。对于这些问题,比较主流的解决方法是在模型构建中采用注意力机制,特别是Transformer模型中的自注意力机制与多头注意力机制。自注意力机制可以同时考虑整个文档中的信息,有效的捕捉到多个句子中的长距离依赖关系,通过获取全局的上下文信息,使得使模型更好地理解文档中实体之间的联系和语义结构。多头注意力机制则允许模型并行计算不同位置之间的依赖关系,提高计算效率与推理过程。在文档级关系抽取任务中,普遍存在实体多提及问题与实体对关系多样性问题,为了解决这两个问题,提升关系抽取任务效果,本文探索使用注意力机制和实体类型信息来进行文档级关系抽取,主要工作包括以下方面:(1)本文对两个通用的文档级数据集Doc RED和Re-Doc RED中的数据进行深入挖掘,以统计数据为基础解释实体的类型信息对关系发生的影响程度,以及当某种预定义关系发生时,其实体对的类型信息应该具有怎样的倾向。统计数据证实了实体的类型信息对关系的预测起到的指引作用,并为我们模型的良好效果提供了可解释性。(2)本文提出了一个基于实体类型信息的实体标注方法TIL(entity Type Information Labeling methodology),其使用六种类型符号来修饰实体而非传统的使用单一符号修饰,旨在将实体的类型信息融入到其向量表示中。围绕此方法构建了一个基于注意力机制的关系抽取模型TILM(model using the TIL Method),对比实验显示,TILM模型在所有的对比模型中都取得了最优的效果,这证明实体多提及问题可以通过注意力机制的推理能力解决;消融实验显示,实体在融入了对应的类型信息后,关系抽取取得了更优的结果,这证明实体的类型信息在注意力机制基础上能进一步缓解实体多提及问题。(3)本文提出了一个融合实体类型信息进行关系先验策略的多任务关系抽取模型EUT(Enhanced relation extraction Using entity Type information),旨在解决实体对关系多样性问题。该模型包括主任务关系抽取RE(Relation Extraction)、子任务实体类型识别ETJ(Entity Types Judgment)、子任务类型对关系先验T2T(relation for Type to Type)。ETJ任务用来识别每一个实体的类型,目的是强化模型对类型信息的重视程度,并为T2T任务提供基础。T2T任务使实体对在推理出关系之前,将各个类型组合产生的关系先验融入到推理之中。实验结果表明,EUT模型在Ignore-F1和F1两个评价指标上均优于其它模型,这证明EUT模型在利用到类型信息的同时提升了关系抽取结果。

关键词：文档级关系抽取结构化先验预训练语言模型实体类型信息注意力机制

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多跳推理的文档级关系抽取技术研究

基于多跳推理的文档级关系抽取技术研究

作者：吴皓战略支援部队信息工程大学

学位级别：硕士

关系抽取(Relation Extraction,RE)是信息抽取的子任务,作为信息抽取的核心技术之一,旨在识别文本中预先定义好的关系实例,即形如(subject,relation,object)的三元组。所以关系抽取被称为三元组抽取。关系抽取任务主要包含识别文本中的... 详细信息

关系抽取(Relation Extraction,RE)是信息抽取的子任务,作为信息抽取的核心技术之一,旨在识别文本中预先定义好的关系实例,即形如(subject,relation,object)的三元组。所以关系抽取被称为三元组抽取。关系抽取任务主要包含识别文本中的主体和客体以及判断这两个实体属于那种关系这两个工作,即实体识别任务和关系分类任务。在文档中两个实体之间的关系可以用一个以上的句子来表达。这种通过多个句子共同来表达的关系就被称为句间关系,目前许多关系抽取系统将关系抽取任务限制在单个句子中。本文针对文档级的关系抽取的多跳推理展开研究,主要内容和创新点如下所示:1.提出了一种基于特定关系注意力的文档级关系抽取模型。与传统的句子级关系提取相比,文档级关系提取是一项更具挑战性的任务,文档中的实体可能被多次提及并且存在多个关系。目前,大多数文档级关系提取方法并不区分实体特征,而只是通过简单的池化操作将提及特征聚合为实体特征。忽略了一个实体的不同提及之间的不同语义。针对这个问题,本文中提出了一种针对特定关系增强实体表示的方法,它对候选关系的不同实体提及进行选择性关注。以这种方式,获得了实体针对特定关系的表示,从而在关系分类中针对不同的关系灵活地选择实体表示的方式,增强了关系分类效果。在Doc RED基准数据集上进行的大量实验表明,针对特定关系的实体表示增强方法可以为一些骨干模型带来显著的改进,尤其是当一个实体在文档中多次提及时。此外,本文对比了近两年关注度较高的大语言模型在文档级关系抽取领域的应用,证明了本文方法在现阶段依然优于大语言模型。2.提出了一种基于多关系视图轴向注意力的文档级关系抽取模型。目前的关系抽取研究中,有部分句间关系需要借助其他实体才能进行判断。如何有效地进行多跳推理是值得考虑的问题。针对多跳关系的推理的问题,本文在基于特定关系注意力方法的基础上,提出了一种基于多关系视图轴向注意力的文档级关系抽取模型。该模型能够有效地结合同一实体的多个提及在不同关系中的作用进行多跳推理。在所有实体两两组合的邻接矩阵中,邻接矩阵中每个节点代表的是用于关系分类的实体对表示。并且按照同样的方式对不同关系构建多个邻接矩阵。本文使用轴向注意力分别沿着X轴和Y轴来捕获两跳关系中有利于关系推理的信息,同时沿着Z轴方向找到对应两跳关系的实体对在不同关系中对表示有效的部分,通过堆叠多层轴向注意力可以捕获不同关系视图下的多跳关系信息。实验结果表明,在生物数据集GDA上的F1指标达到85.7%,性能明显高于基线ATLOP模型,并且本文所提模型在Doc RED数据集上也能够有效捕获实体间的多跳关系。3.设计并实现了一种低资源环境下文档级关系提取的自蒸馏框架。基于Transformer的预训练模型能够通过底层注意力机制捕捉众多句子中不同实体之间的关系信息,因此最近在文档级关系提取领域引起了极大的关注。与句子级关系提取相比,文档级关系提取的实现更具挑战性,表现在需要考虑指代消解、实体对齐、证据句抽取、多跳推理等因素。目前有几种方法通过在已有模型上简单叠加表示增强模块来提高模型性能,性能有了一定的提高。但由于这些新模块会增加资源消耗,因此这些模型并不适合在资源匮乏的情况下部署。为了解决这个问题,本文设计了一个自蒸馏框架,将文档级关系抽取分为实体表示模块和实体对表示模块。在训练过程中对两个模块分别引入教师模型,通过损失函数的方式使得对应骨干模型的特征接近教师模型的特征,并在训练完成后去除教师模型。自蒸馏框架可以提高文档级关系提取模型的性能,同时只需要一次训练,不需要增加额外的参数,从而可以在资源匮乏的情况下部署。在两个文档级关系提取的基准数据集,GDA和Doc RED上展开实验。实验结果表明,在将基于多关系视图轴向注意力模型进行蒸馏后,本框架依然能有效地提高骨干模型的性能,并且减少了近一半的参数量。

关键词：文档级关系抽取实体表示轴向注意力多跳推理自蒸馏框架