结合注意力机制BERT-BiGRU-CRF中文电子病历命名实体识别

作     者：陈娜 孙艳秋 燕燕 

作者机构：辽宁中医药大学信息工程学院 

出 版 物：《小型微型计算机系统》 (Journal of Chinese Computer Systems)

年 卷 期：2023年

学科分类：08[工学] 081203[工学-计算机应用技术] 10[医学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目（82274580）资助 辽宁省教育厅科学研究项目（L2020059）资助 辽宁省教育厅高等学校基本科研项目（LJKZ0894）资助 辽宁中医药大学人文社科类项目（2021LNZYQN014）资助 

主　　题：中文电子病历 命名实体识别 BERT BiGRU 注意力机制 

摘      要：为了改善中文电子病历命名实体识别模型的性能，本文提出了基于BERT、双向门控循环单元（Bidirectional Gate Recurrent Unit，BiGRU）与条件随机场CRF相结合的中文电子病历命名实体识别模型，并在此基础上引入了注意力机制。利用BERT（Bidirectional Encoder Representation from Transformers）预训练模型得到结合语境信息的动态字向量，通过双向门控循环单元（Bidirectional Gate Recurrent Unit，BiGRU）提取全局语义特征，利用注意力机制获得增强语义特征，最后通过CRF( Conditional Random Field)解码输出概率最大的全局最优标签序列。利用含有解剖部位、手术、疾病和诊断、药物、实验室检验、影像检查六类实体的CCKS19中文电子病历数据集训练模型。对比实验表明了本文提出的命名实体识别模型的有效性，本文模型在CCKS19数据集上获得了84.11%的F1值。