基于聚类和群组归一化的多模态对话情绪识别研究

作     者：罗奇 苟刚 

作者机构：贵州大学公共大数据国家重点实验室 贵州大学计算机科学与技术学院 

出 版 物：《山东大学学报(理学版)》 (Journal of Shandong University(Natural Science))

年 卷 期：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(62162010) 贵州省科技支撑计划资助项目(黔科合支撑一般267) 

主　　题：图神经网络 特征融合 群组归一化 聚类 对话情绪识别 

摘      要：相似情绪类别识别混乱导致识别效果下降的问题一直是多模态情绪识别任务的一大挑战。针对此问题,提出一个基于聚类群组归一化的关系图神经网络模型方法。首先使用3个不同特征提取器提取出3种模态特征,并融入说话者编码后进行拼接,既丰富特征表示又保留原始信息;其次使用Transformer提取上下文信息;最后将特征节点输入关系图卷积神经网络后,通过对节点进行聚类分组,并独立地进行群组归一化,使相似节点更加相似,缓解相似情绪容易识别混乱的问题。通过实验验证,提出的网络模型在IEMOCAP数据集四分类上的F1-score可达到86.34%,验证该方法的有效性,并且目前该模型达到IEMOCAP数据集的最佳性能。