基于跨模态超图优化学习的多模态情感分析

作     者：蒋昆 赵征鹏 普园媛 黄健 谷金晶 徐丹 

作者机构：云南大学信息学院 中国云南省高校物联网技术及应用重点实验室 

出 版 物：《计算机科学》 (Computer Science)

年 卷 期：2024年

学科分类：0711[理学-系统科学] 07[理学] 081203[工学-计算机应用技术] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61271361,61761046,62162068,52102382,62362070) 云南省科技厅应用基础研究计划重点项目(202001BB050043,202401AS070149) 云南省科技重大专项(202302AF080006) 研究生科研创新项目(KC-23236053) 

主　　题：多模态情感分析 超图神经网络 超图优化 自适应网络 点边信息融合 

摘      要：多模态情感分析旨在从文本、音频和视觉等多种模态信息中检测出更准确的情感表达。以往的研究通过图神经网络来捕获跨模态和跨时间的节点情感交互，从而获得高度表达的情感信息。但由于图神经网络只能实现二元信息交互，这限制了对模态间复杂情感交互信息的利用，多模态数据中更需要挖掘这种潜在的情感交互信息。因此，本文提出了一种基于跨模态超图神经网络的多模态情感分析框架，利用超图结构可以连接多个节点的特性，充分利用模态内和模态间的复杂情感交互信息，以挖掘数据间更深层次的情感表征；此外，提出了一种超图自适应模块来优化学习原始超图的结构，超图自适应网络通过点边交叉注意力、超边采样和节点采样来发现潜在的隐式连接并修剪冗余的超边以及无关的事件节点，对超图结构进行更新与优化，更新后的超图结构相对初始结构能够更准确、更完整地表述数据间的潜在情感关联性，以达到更好的情感分类效果。最后，在两个公开的CMU-MOSI和CMU-MOSEI数据集上进行广泛实验表明，本文提出的框架相对于其它先进算法在多个性能指标上提升1%至6%。