融合BERT和记忆网络的实体识别

作     者：陈德 宋华珠 张娟 周泓林 CHEN De;SONG Hua-zhu;ZHANG Juan;ZHOU Hong-lin

作者机构：武汉理工大学计算机科学与技术学院武汉430070 

出 版 物：《计算机科学》 (Computer Science)

年 卷 期：2021年第48卷第10期

页      面：91-97页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家科技部科技基础性工作专项(2014FY110900) 

主　　题：实体识别 BERT 记忆网络 BiGRU-CRF 

摘      要：实体识别是信息提取的子任务,传统实体识别模型针对人员、组织、位置名称等类型的实体进行识别,而在现实世界中必须考虑更多类别的实体,需要细粒度的实体识别。同时,BiGRU等传统实体识别模型无法充分利用更大范围内的全局特征。文中提出了一种基于命名记忆网络和BERT的实体识别模型,记忆网络模块能够记忆更大范围的特征,BERT语言预训练模型能进行更好的语义表示。对水泥熟料生产语料数据进行实体识别,实验结果表明,所提方法能够识别实体且较其他传统模型更具优势。为了进一步验证所提模型的性能,在CLUENER2020数据集上进行实验,结果表明,在BiGRU-CRF模型的基础上使用BERT和记忆网络模块进行优化是能够提高实体识别效果的。