基于跨模态情感联合增强网络的多模态情感分析方法

作     者：王植 张珏 WANG Zhi;ZHANG Jue

作者机构：西安航空职业技术学院陕西西安710089 榆林学院信息工程学院陕西榆林719000 

出 版 物：《甘肃科学学报》 (Journal of Gansu Sciences)

年 卷 期：2024年第36卷第4期

页      面：146-152页

学科分类：080903[工学-微电子学与固体电子学] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 080501[工学-材料物理与化学] 0805[工学-材料科学与工程（可授工学、理学学位）] 080502[工学-材料学] 

基　　金：榆林学院博士科研基金(22GK03) 

主　　题：跨模态 多模态情感分析 语义特征 特征融合 

摘      要：多模态情感分析是人工智能领域重要的研究方向之一,旨在利用多模态数据判断用户情感。现有的大多数方法忽略了不同模态数据之间的异质性,导致情感分析结果出现偏差。针对以上问题提出一种基于跨模态情感联合增强网络的多模态情感分析方法。首先,利用3种深度神经网络预训练模型提取不同模态的语义特征,并通过双向长短期记忆网络挖掘其单模态上下文时序信息;其次,设计了一种跨模态情感联合增强模块,实现融合文本模态和视觉模态特征生成情感极性语义特征,融合文本模态和音频模态信息生成情感强度语义特征,并以情感极性作为方向情感强度表示增幅联合增强情感语义。通过两个公共基准数据集CMU-MOSI和CMU-MOSEI的实验结果表明,所提出的跨模态情感联合增强网络可以获得比相关方法更好的性能。