基于微调BERT混合模型的情感分类方法

作     者：帕丽旦·木合塔尔 郭文强 买买提阿依甫 吾守尔·斯拉木 Palidan Muhetaer;GUO Wen-qiang;Maimaitiayifu;Silamu Wushouer

作者机构：新疆财经大学信息管理学院 新疆大学信息科学与工程学院 

出 版 物：《计算机仿真》 (Computer Simulation)

年 卷 期：2024年第41卷第7期

页      面：522-528+564页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：高层次人才专项(2022XGC029,2022XGC017) 自治区天池博士计划项目(40050095) 国家重点研发专项(2018YFC0825504) 

主　　题：情感分析 神经网络 注意力机制 词向量 

摘      要：目前情感分类任务大多使用传统的静态词向量语言模型来获取文本上下文相关信息，而这些方法不能够很好地解决兼类词一词多义的问题和分词固化导致的歧义问题，从而导致情感分类准确率不高。针对上述问题，提出了一种多特征信息融合注意力机制和神经网络的混合模型BBLA (BERT-BiLSTM-Attention)。目的是将BERT(预训练语言表征模型)的输出层，专注于情绪分析任务中，对短文本进行向量化表示，将情感词作为词性的新特征拼接到词向量，突出并获取潜在情感信息，增加情感词位置向量，从而解决了情感词一词多义问题和双重否定的反义疑问问题。然后在双向LSTM(长短期记忆神经网络)模型加Attention(注意力机制)分别捕捉文本的双向上下文语义依赖信息，解决了个别情感词丢失问题，最后使用Softmax获取情感分析的结果。实验结果表明，所提出的混合模型在准确率上都有了明显的提高。