基于BERT嵌入的中文命名实体识别方法

作     者：杨飘 董文永 YANG Piao;DONG Wenyong

作者机构：武汉大学计算机学院武汉430072 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2020年第46卷第4期

页      面：40-45,52页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61672024) 国家重点研发计划“智能电网技术与装备”重点专项(2018YFB0904200) 

主　　题：中文命名实体识别 BERT模型 BiGRU模型 预训练语言模型 条件随机场 

摘      要：在基于神经网络的中文命名实体识别过程中,字的向量化表示是重要步骤,而传统的词向量表示方法只是将字映射为单一向量,无法表征字的多义性.针对该问题,通过嵌入BERT预训练语言模型,构建BERT-BiGRU-CRF模型用于表征语句特征.利用具有双向Transformer结构的BERT预训练语言模型增强字的语义表示,根据其上下文动态生成语义向量.在此基础上,将字向量序列输入BiGRU-CRF模型中进行训练,包括训练整个模型和固定BERT只训练BiGRU-CRF2种方式.在MSRA语料上的实验结果表明,该模型2种训练方式的F1值分别达到95.43%和94.18%,优于BiGRU-CRF、Radical-BiLSTM-CRF和Lattice-LSTM-CRF模型.