基于互信息最大化和对比损失的多模态情绪识别模型

作     者：黎倩尔 黄沛杰 陈佳炜 吴嘉林 徐禹洪 林丕源 LI Qian’er;HUANG Peijie;CHEN Jiawei;WU Jialin;XU Yuhong;LIN Piyuan

作者机构：华南农业大学数学与信息学院广东广州510642 

出 版 物：《中文信息学报》 (Journal of Chinese Information Processing)

年 卷 期：2024年第38卷第7期

页      面：137-146页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(71472068,62306119) 广东省自然科学基金(2021A1515011864) 广州市智慧农业重点实验室(201902010081) 华南农业大学大学生创新训练计划项目(X202210564157) 

主　　题：多模态对话情绪识别 图卷积网络 互信息 监督对比学习 

摘      要：多模态的对话情绪识别(Emotion Recognition in Conversation,ERC)是构建情感对话系统的关键。近年来,基于图的融合方法在会话中动态聚合多模态上下文特征,提高了模型在多模态对话情绪识别方面的性能。然而,这些方法都没有充分保留和利用输入数据中的有价值的信息。具体地说,它们都没有保留从输入到融合结果的任务相关信息,并且忽略了标签本身蕴含的信息。为了解决上述问题,该文提出了一种基于互信息最大化和对比损失的多模态对话情绪识别模型(Multimodal ERC with Mutual Information Maximization and Contrastive Loss,MMIC)。模型通过在输入级和融合级上分级最大化模态之间的互信息(Mutual Information),使任务相关信息在融合过程中得以保存,从而生成更丰富的多模态表示。该文还在基于图的动态融合网络中引入了监督对比学习(Supervised Contrastive Learning),通过充分利用标签蕴含的信息,使不同情绪相互排斥,增强了模型识别相似情绪的能力。在两个英文和一个中文的公共数据集上的大量实验证明了该文所提出模型的有效性和优越性。此外,在所提出模型上进行的案例探究有效地证实了模型可以有效保留任务相关信息,更好地区分出相似的情绪。消融实验和可视化结果证明了模型中每个模块的有效性。