基于时序感知DAG的多模态对话情绪识别模型

作     者：沈旭东 黄贤英 邹世豪 Shen Xudong;Huang Xianying;Zou Shihao

作者机构：重庆理工大学计算机科学与工程学院重庆400054 

出 版 物：《计算机应用研究》 (Application Research of Computers)

年 卷 期：2024年第41卷第1期

页      面：51-58页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(62141201) 重庆市自然科学基金资助项目(CSTB2022NSCQ-MSX1672) 重庆理工大学研究生教育高质量发展行动计划资助项目(gzlcx20223190,gzlcx20232067) 

主　　题：对话情绪识别 有向无环图 近因效应 特征提取 多模态交互 

摘      要：针对现有对话情绪识别方法中对时序信息、话语者信息、多模态信息利用不充分的问题,提出了一个时序信息感知的多模态有向无环图模型(MTDAG)。其中所设计的时序感知单元能按照时间顺序优化话语权重设置,并收集历史情绪线索,实现基于近因效应下对时序信息和历史信息更有效的利用;设计的上下文和话语者信息融合模块,通过提取上下文语境和话语者自语境的深度联合信息实现对话语者信息的充分利用;通过设置DAG(directed acyclic graph)子图捕获多模态信息并约束交互方向的方式,在减少噪声引入的基础上充分利用多模态信息。在两个基准数据集IEMOCAP和MELD的大量实验表明该模型具有较好的情绪识别效果。