基于MLP和多头自注意力特征融合的双模态情感计算模型

作     者：吴俊洁 王佳阳 朱萍 肖强 WU Junjie;WANG Jiayang;ZHU Ping;XIAO Qiang

作者机构：浙江大学图书馆杭州310027 杭州电子科技大学电子信息学院杭州310018 浙江方圆检测集团股份有限公司杭州310018 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2024年第44卷第S1期

页      面：39-43页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(62001149) 国家重点研发计划项目(2020YFB1710600) 浙江省重点研发计划项目(2020C01110) 

主　　题：情感计算 多语言泛化 多层感知机 自注意力机制 双模态 

摘      要：针对情感计算中传统的单模态情感分析通常存在分类准确率不高和不同语言环境间泛化能力较差的问题,提出一种双模态情感计算模型,以同时使用包含中英文两种语言、两种不同模态的情感数据。首先,利用多层感知机(MLP)网络和双向长短时记忆(BiLSTM)网络对数据进行特征提取;其次,基于MLP和自注意力机制分别对提取的特征进行特征融合,得到多模态分析模型;最后,使用该模型在构建的包含中英文两种语言数据的数据集上进行二分类情感计算预测。实验结果表明,所提模型相较于次优的BiLSTM模型,精度提高了1.22%;相较于单模态情感计算模型,精度提高了6.21%~14.00%。