基于深度神经网络的实体关系联合抽取方法研究

作     者：唐楠楠 

作者单位：辽宁工程技术大学 

学位级别：硕士

导师姓名：王星

授予年度：2021年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：实体关系联合抽取 知识图谱 BERT 注意力机制 指针标注 

摘      要：知识图谱的发展使大规模的无规则数据得以高效的管理,然而其构建的准确性与完整性仍有待完善。实体关系抽取作为构建知识图谱的关键环节,其性能直接影响知识图谱的效果,对知识图谱的构建、扩充以及下游任务的实施具有重要的意义。目前,联合抽取方法作为实体关系抽取领域的研究热点,可以在一定程度上避免流水线抽取方法中存在的误差积累和交互缺失问题,但仍然无法解决关系重叠、语义特征表达欠缺和模型依赖性不足的问题。针对上述问题,提出一种基于深度神经网络的实体关系联合抽取模型BAPRE(Relational Extraction model based on BERT,Attention and Pointer Annotation)。首先,在词向量表示阶段,使用预训练语言模型BERT生成动态词向量,解决静态词向量无法避免的多义词问题,获取潜在的深层表征信息;然后,在特征提取阶段,引入多头注意力机制多维度捕获词向量间的依赖关系,并通过权重捕获重点信息,从而得到更加丰富的语义特征;最后,在标签预测阶段,将实体关系建模为主语到宾语的映射函数,利用单层指针标记主语,并通过改进层归一化网络将主语特征与语句向量进行特征融合,以此增强模型的依赖性,再采用多层指针在融合得到的特征向量中进行不同关系条件下的宾语抽取,从而解决实体关系抽取中的关系重叠问题,提高实体关系三元组的抽取效果。论文选用公开数据集NYT和Web NLG,将Novel Tagging、Copy RE、Graph Rel、Cas Rel等几个基线模型作为对比模型,分别进行了整体实验、消融实验、三元组重叠实验、不同复杂度下的模型性能对比实验以及调参实验,其中BAPRE的整体实验结果相比目前最优的基线模型在两个数据集上的F1值分别提高了2.5%和0.9%,准确率和召回率也均优于其他几个基线对比模型。实验结果表明,BAPRE能够在一定程度上解决三元组重叠问题,并且能够提取到丰富的语义特征信息,进而有效提升三元组的关系抽取性能。该论文有图26幅,表12个,参考文献59篇。