基于BERT-BiGRU-CRF模型的岩土工程实体识别

作     者：王权于 李振华 涂志鹏 陈冠宇 胡君 陈嘉麒 陈建军 吕国斌 Wang Quanyu;Li Zhenhua;Tu Zhipeng;Chen Guanyu;Hu Jun;Chen Jiaqi;Chen Jianjun;Lv Guobin

作者机构：中国地质大学网络与信息中心湖北武汉430074 中国地质大学计算机学院湖北武汉430074 

出 版 物：《地球科学》 (Earth Science)

年 卷 期：2023年第48卷第8期

页      面：3137-3150页

核心收录：

学科分类：081803[工学-地质工程] 08[工学] 0818[工学-地质资源与地质工程] 

基　　金：认知智能全国重点实验室开放课题(No.COGOS-2023HE09) 国家自然科学基金的基金(Nos.42103024,42130307) 

主　　题：命名实体识别 深度学习 岩土工程 语料库 地质大数据 

摘      要：岩土工程实体识别是岩土工程文本挖掘和知识谱图的工作基础和重要前提.针对岩土工程实体识别问题,参考《GB/T 50279-2014:岩土工程基本术语标准》等国家行业标准规范,设计和构建了一个小规模的岩土工程命名实体语料库;提出了一种岩土工程文本命名实体识别深度学习模型BERT-BiGRU-CRF(简称:GENER):表示学习层采用BERT预训练语言模型实现了岩土工程文本特征的迁移表示学习;BiGRU上下文编码层实现对岩土工程文本上下文特征编码;CRF标签解码层解决了标签间依赖约束,生成符合标注规律的岩土工程命名实体标签序列;最后,基于岩土工程命名实体语料库,对GENER模型进行了实验分析.在对照实验中,取得了良好效果:精确率P达到了90.94%,召回率R达到了92.88%,F1值达到了91.89%,模型训练速度提升了4.735%.实验结果表明相比基线模型BiLSTM-CRF和其他预训练模型,GENER模型在小规模语料岩土工程命名实体识别方面效果更优,未来可推广应用到其他地质类文本命名实体识别任务.