基于深度学习的实体关系联合抽取方法研究

作     者：李宏宇 

作者单位：太原理工大学 

学位级别：硕士

导师姓名：段利国;郭发云

授予年度：2022年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 081203[工学-计算机应用技术] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：实体关系联合抽取 交互注意力机制 多元关系 字词混合编码 对抗训练 

摘      要：随着信息时代的到来,在互联网上会产生越来越多的非结构化文本信息,在文本信息中隐藏着许多有价值的数据,为了从中获取这些重要数据,需要信息抽取技术的帮助。信息抽取可以从海量数据中抽取出结构化的信息,实体关系抽取是信息抽取的主要任务之一,是构建知识图谱、自动问答等自然语言处理任务的基础。因此,实体关系抽取具有重要的研究意义。传统流水线方法存在错误传播和不能有效抽取关系重叠的问题,会导致实体关系抽取模型总体精度不高。并且在现实世界中,文本通常是具有多元关系的,然而大多数现有的方法仅考虑了实体之间的二元关系,不能有效地处理多元关系。针对上述存在的问题,本文结合深度学习技术对实体关系联合抽取方法展开研究,具体工作内容如下:(1)针对传统流水线方法容易产生错误传播,忽略了两个子任务的内在联系和抽取重叠关系效果较差等问题,提出一种基于交互注意力与特征融合的实体关系联合抽取模型IBFMRel。为解决重叠三元组的问题,该模型采用多层指针网络标注方案,将实体关系联合抽取任务转化为两个相互关联的子任务。同时,设计一种交互注意力机制来实现头实体的语义特征和句子序列特征的融合;为了进一步丰富文本特征信息,将句子的浅层特征和深层特征进行融合;使用Bi LSTM有效地提取上下文相关的语义特征。将所提模型应用于NYT24和NYT29数据集,实验结果表明,所提模型抽取效果与主流方法相比性能有所提升。(2)针对现有方法不能有效处理多元关系,且汉语单字存在着歧义性和传统实体关系抽取模型鲁棒性差等问题,提出一种多元关系分解算法,将多元关系任务分解为多个二元关系任务进行抽取。在第3章模型IBFMRel的基础上,进一步提出实体关系联合抽取模型CA-IBFMRel,采用字向量和词向量的混合编码方式,以学习更加丰富的文本特征表示,通过对抗训练以提高模型的泛化能力。最后,将所提模型应用于Du IE2.0数据集,实验结果表明,无论二元关系抽取还是多元关系的抽取,均取得较好的实验效果。(3)为直观展示本文研究成果并便于将研究成果用于实践,基于IBFMRel和CAIBFMRel模型,结合前后端开发技术,设计并开发基于深度学习的实体及关系抽取系统。该系统能够抽取用户输入文本中的实体,并以关系图的方式展示文本中包含的关系,为用户提供了一个友好的、可交互的、可视化的实体关系联合抽取原型系统。