融合注意力机制和指针标注的实体关系联合抽取方法

作     者：唐楠楠 陈吉 侯磊 王星 TANG Nan-nan;CHEN Ji;HOU Lei;WANG Xing

作者机构：辽宁工程技术大学电子与信息工程学院辽宁葫芦岛125105 临沂大学信息科学与工程学院山东临沂276000 清华大学计算机科学与技术系北京100084 清华大学人工智能研究院知识智能研究中心北京100084 

出 版 物：《小型微型计算机系统》 (Journal of Chinese Computer Systems)

年 卷 期：2023年第44卷第2期

页      面：256-262页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(62006107,62006136,61402212)资助 NSFC-通用技术基础研究联合基金重点项目(U1736204)资助 

主　　题：知识图谱 实体关系联合抽取 BERT 注意力机制 指针标注 

摘      要：实体关系三元组是组成知识图谱的基本单位,其抽取的效果直接影响大型知识图谱的构建.针对目前多数关系抽取模型存在语义特征表达能力不足、实体关系发生重叠难以抽取等问题,本文提出了一种融合注意力机制和指针标注的实体关系联合抽取模型.模型采用预训练语言模型BERT训练词向量,利用多头注意力机制获取丰富的语义特征信息,通过指针标注抽取主语,然后采用改进的层归一化将主语特征作为条件信息与句子向量进行特征融合来增强模型表达能力,最终在预定义的关系条件下抽取主语对应的宾语,通过分层的指针标注处理重叠问题.本文使用公开数据集NYT和WebNLG进行测试,实验结果表明该模型在两个数据集上的F1值相比基线模型分别提高了2.5%和0.9%,可有效提升三元组抽取效果,并在一定程度上解决了三元组重叠问题.