基于深度学习的用户评论短文本情感分析的方法研究

作     者：叶涵 

作者单位：南昌大学 

学位级别：硕士

导师姓名：任燕;何煊

授予年度：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081203[工学-计算机应用技术] 08[工学] 081104[工学-模式识别与智能系统] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：情感分析 长短时记忆网络 RoBERTa 注意力机制 情感标签语义 

摘      要：情感分析是自然语言处理领域内的一个关键研究领域,它致力于识别和提取文本数据中的主观信息。随着社交媒体和在线互动平台的兴起,文本情感分析对于企业了解消费者反馈、政府监测公众情绪以及自动化客户服务等方面有重要作用。而随着短视频APP的出现,人们越来越喜欢在网上发表自己的意见并抒发自己对事件的一些观点,这些观点中大多带有主观的情绪价值,从这些海量的用户短评论中可以挖掘大量的情感信息并对此展开研究,这对了解我国国民情感倾向以及对社会治理有着举足轻重的作用。 本文提出了一种基于深度学习的文本情感分析模型RoCSAOL。它结合了RoBERTa预训练模型,通过卷积神经网络的卷积和池化处理,并引入自注意力机制对有序神经元长短时记忆网络进行改进,从而挖掘文本中更深层次的情感语义。该模型解决了以往情感分析中大多数模型不能全能的捕捉文本中上下文的语义关系从而导致部分语义缺失的问题。通过实验设计证明,RoCSAOL模型在处理短文本情感分析的任务中具有高效性,其准确率达到了86.13%。 本文还对RoCSAOL模型的进行了优化,通过去除卷积和池化步骤并引入带有位置编码的多头注意力机制形成新的模型框架RoMAOL。该模型解决了在遇到相对较长的输入序列中,机器因为文本中情感词汇之间的位置不同而导致无法全局的捕捉整个句子的情感倾向的问题。并在此的基础上提出新的融合架构RSS;RRS架构由RCNN,RoMAOL和引入自注意力机制的双向长短时记忆网络(SABLS)组成,其中前两个模块负责捕捉文本中的语义关系从而获取更加完整的局部信息,SABLS负责获取情感标签的扩充文本的特征。RRS架构改变了以往模型在进行情感分析任务中只把情感标签作为监督对象的惯性思维,通过对情感标签的语义进行更深层次的挖掘来提升机器对文本情感倾向更准确的预测,突出关键情感的表达。实验结果表明RoMAOL模型在准确率上达到了86.96%,而RRS融合架构相对于RoCSAOL和RoMAOL准确率上达到了分别提高了2.33%和1.50%;消融实验结果显示RRS架构的各个组件对整体模型的性能都有不同程度提升。 最后文章提出了未来工作的方向,包括词汇叠加导致情感极性改变,文本数据中符号代表的情感等情感分析难以处理的情况,以及模型的进一步优化方向。