情感分析是自然语言处理领域中一个重要的研究方向,旨在判断文本的情感极性。方面级情感分析是为细粒度的分支,致力于深入分析文本中针对特定方面或属性的情感态度。在文本数据的多元化、复杂化背景下,这一领域的研究成为了当今热点。近年来,方面级情感分析的主流方法通常基于注意力网络,该网络能够高效的捕捉与目标方面关联文本片段,在细粒度上突出关键信息。但是以往的模型忽略了注意力模型自生性的权重分散问题,导致方面相关的局部信息提取不精确。针对以上问题,本文设计了基于BERT的稀疏注意力网络模型SAN-BERT(Sparse Attention Network with BERT)。此外,以往模型还存在对文本信息利用不充分的问题。针对此问题,本文利用全局语义信息对局部信息进行增强,进一步提出融合全局与局部信息的方面级情感分析网络模型GLFAN-BERT(Global and Local Feature Fused Attention Network with BERT)。本文的主要工作如下:(1)为了更好的提取针对目标方面的局部上下文信息,本文设计了SAN-BERT模型。SAN-BERT主要有以下三个结构组成:第一,SAN-BERT将BERT预训练模型用于文本词向量的生成,捕捉文本的深层含义。第二,SAN-BERT在文本词向量的基础上使用双向长短记忆网络获得文本上下文信息。第三,针对注意力权重分散问题,SAN-BERT利用稀疏正则化约束注意力网络,使所生成得注意力权重更为稀疏,增强模型对关键信息的捕获能力。(2)为了缓解文本信息利用不充分问题,本文在SAN-BERT的基础上增加了全局信息提取模块和融合模块,提出GLFAN-BERT模型。在全局信息提取模块,GLFAN-BERT使用多头注意力机制进行全局语义特征的提取,充分挖掘单词之间的内部关系。此外,GLFAN-BERT还通过位置前馈神经网络增强模型对单个序列位置的识别与处理。最后通过全连接融合将全局信息与SAN-BERT得到的局部信息进行融合,其主要任务是为了精细地整合全局和局部的特征信息,通过深度学习的方式找到一个最佳的方式来组合全局结构性信息与局部细节信息。(3)本文对以上两个模型在公开数据集上进行了实验对比和分析,结果表明SAN-BERT和GLFAN-BERT的性能都强于基线模型,而且GLFAN-BERT的提升更加明显。此外,本文还进行了敏感性分析,对正则化参数和全局信息和局部信息的融合方式进行探究。同时,本文也进行了消融实验,验证了模型中各个主要模块的有效性。综上所述,本文的研究旨在利用注意力机制捕获文本结构信息,并通过实验在公开数据集上进行验证。实验结果表明,本文提出的模型有效提升了方面级情感分析任务的性能,为该任务的研究提供了新思路、为探索领域的新高度做出了贡献。
暂无评论