基于字词融合的中文命名实体识别方法研究

作     者：张淼 

作者单位：重庆理工大学 

学位级别：硕士

导师姓名：卢玲

授予年度：2024年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：命名实体识别 词汇增强 图注意力网络 注意力机制 

摘      要：命名实体识别旨在从文本中自动识别和提取具有特殊含义的实体信息。当前,通过将词汇信息整合到字符表示中的方法,能够显著提升中文命名实体识别模型的准确性和泛化能力。 但现有研究仍存在两方面问题。一是现有方法多关注命名实体边界的发现,忽略了汉字邻域的局部语义信息,因此无法有效处理汉语文本中因多义词产生的实体歧义问题;二是在字词融合阶段采用的静态权重方法无法实现字符在不同语境下对匹配词的关注程度。此外,常见的线性编码器无法充分利用不同形式的文本信息之间的互补性,忽略了特征之间的交互。 本文的主要工作有二: (1)提出了一种局部信息感知增强的中文命名实体识别方法。将实体的相邻区域称为“Zone-K,即K区,通过图注意力网络,利用本地词典提供的局部语义信息融合K区内的词汇语义知识,同时采用Soft Lexicon方法实现字符与自身匹配词汇的融合,并通过附加滑动窗口的卷积神经网络捕获K区内基于字符的细微差别,同时结合Bi LSTM实现序列的局部和全局视角的平衡,最后用条件随机场进行标签解码。实验在四个标准的中文数据集Weibo、Resume、Onto Notes、E-commerce上的F1值分别为71.81%、96.40%、82.99%、81.80%,相较于基线模型,F1值分别提升了1.18%、0.29%、0.18%、1.10%。此外,实验观察到实体类型预测精度得到有效提高,表明所提出的局部信息感知增强方法具有可解释性。 (2)在工作(1)的基础上,提出基于注意力机制的多源字词融合中文命名实体识别方法。首先对Soft Lexicon方法引入注意力机制,实现对字词信息融合时的动态权重调整。其次,通过优化传统图注意力的计算方式提升图注意力的表达能力。最后,提出了一种基于Transformer的多源特征融合模块,对序列特征和图特征这两个分支对应尺度的特征信息进行交互融合,并使用条件随机场进行解码。实验在Weibo、Resume、Onto Notes数据集上的F1值分别为72.62%、96.64%、83.08%,在工作(1)的基础上分别获得了0.81%、0.24%、0.09%的F1值提升。此外,在MSRA数据集上也取得了F1值为96.07%的优势。实验也表明,本文所提的基于注意力机制的多源字词融合方法对中文命名实体识别的细粒度特征提取是有效的。 下一步,本文将在命名实体的内部组成中发现模式并整合本地特征方面开展研究。