基于双向循环神经网络的中文词义消歧模型的研究

作     者：张栎炜 

作者单位：西安科技大学 

学位级别：硕士

导师姓名：李明明;岳显著

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：词义消歧 自然语言处理 循环神经网络 注意力机制 词向量 

摘      要：词义消歧是自然语言处理领域中一项重要的基础性任务。汉语中存在大量多义词汇,容易使得计算机在处理自然语言时产生歧义。词义消歧旨在根据多义词的上下文通过计算的方式确定该词汇在特定语境中的正确含义。进入21世纪,随着深度学习的不断发展,人们发现深度学习在处理大规模数据任务中表现出优越的性能。近年来,深度学习被逐渐用于自然语言处理任务中。中文词义消歧起步晚难度大,目前采用深度学习的方法研究中文词义消歧任务还处于起步阶段,中文语义知识和语料数据的匮乏阻碍了中文词义消歧的发展。鉴于上述问题,本文对基于循环神经网络的词义消歧方法进行研究并做了如下工作:首先,总结了基于深度学习的词义消歧模型的研究现状,通过实验对比了各种基于神经网络的消歧模型的消歧效果,决定采用双向长短时记忆网络作为基础网络模型来研究中文词义消歧任务。使用词嵌入技术将无词特征标注的语料用高维的词向量表示,使网络能够自动捕捉上下文特征信息。进一步,然后将Encoder-Decoder(编码器-解码器)框架与双向长短时记忆网络结合对中文词义消歧模型进行研究,并结合注意力机制,提出了基于 seq2seq和交互注意力机制的消歧模型,进一步提升了模型对多义词的预测准确率。最后,本文尝试在模型中引入卷积神经网络中的池化层来进一步解决由于使用高维词向量和复杂的网络结构带来的过拟合问题。实验采用了 2021年全国知识图谱与语义计算大会竞赛数据集对模型进行训练和测试。通过对比实验发现,基于双向长短时记忆网络的消歧模型相较于其他神经网络消歧模型的的消歧效果是最优的,其预测准确率达到了 86.75%,F1值达到了 0.8765。本文所提出的两种模型的消歧效果均有所提升,效果最好的是基于seq2seq和交互注意力机制的消歧模型,其预测准确率达到了92.81%,F1值达到了 0.9375。实验结果证明了:(1)基于深度学习的词义消歧模型中,使用Bi-LSTM的模型消歧效果是最好的;(2)将encode-decode框架结合Bi-LSTM构建词义消歧模型的做法是可行的也是有效的;(3)交互注意力机制可以有效地提高词义消歧模型的消歧准确率;(4)将卷积神经网络的池化层引入到循环神经网络中也可以有效防止过拟合的发生。