基于加权融合的语音表情多模态情感识别方法

作     者：焦爽 陈光辉 JIAO Shuang;CHEN Guang-hui

作者机构：中国大唐集团科学技术研究院有限公司中南电力试验研究院河南郑州450000 东南大学信息科学与工程学院江苏南京210096 

出 版 物：《计算机仿真》 (Computer Simulation)

年 卷 期：2024年第41卷第7期

页      面：417-422,428页

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金(U1504622) 

主　　题：情感识别 语音 表情 加权融合 

摘      要：当前的多模态融合方法未充分利用语音和表情模态之间的互补性,导致多模态情感识别的识别率较低。为解决上述问题,提出了一种基于加权融合的语音表情多模态情感识别方法。方法首先利用语音活动检测(Voice Activation Detection, VAD)算法提取语音关键帧;然后,利用信息熵建模情感产生是一个连续的过程,并提取表情关键帧;其次,为充分利用语音和表情模态之间的互补性,采用语音和表情关键帧对齐技术计算语音和表情权重。这些权重被输进特征融合层进行加权融合,有效地提高多模态情感识别的识别率;最后,在RML、eNTERFACE05和BAUM-1s数据集上的实验结果表明,该上述方法的识别率高于其它基准方法。