基于深度学习的双模态融合情感分析

作     者：辛苗苗 

作者单位：河北地质大学 

学位级别：硕士

导师姓名：马丽

授予年度：2022年

学科分类：0711[理学-系统科学] 12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 07[理学] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：双模态融合 深度学习 情感分析 注意力机制 特征提取 

摘      要：近年来,随着通信技术的进步和社交平台的发展,越来越多的人喜欢通过文字、语音、视频、图片等多种方式在社交网络平台上表达自己的观点和看法,因此每天会产生大量带有丰富情感信息的多模式数据。情感分析被定义为从人类中提取一组情感状态,是人机交互中自动检测人类意义的必要手段。随着深度学习和人工智能的发展,情感分析作为人机交互的一个关键方面受到了研究者的广泛关注。在某些情况下,仅基于文本信息很难评估情感类别。在日常交流中,说话表达的情感通常伴随着音频的特征信息,音频通道中包含的情感信息特征是语音特征的变化,例如音调、音量、发声力度和其他与频率相关的指标。文本和语音通道的交互结合可以提供更全面的信息,并捕捉更广泛的情感特征。因此,考虑到文本和语音信息之间的相关性和互补性,本文深入研究基于深度神经网络模型上来探究对文本和语音两种模态特征的有效提取,并着重于融合文本和语音两种模态特征信息进行情感分析研究。主要的研究内容如下:1.研究提取文本和语音特征信息的方法以及双模态情感特征融合模型。对于提取文本模态特征信息,采用双向长短期记忆网络(Bidirectional Long-Short-Term Memory Network,Bi LSTM)和最大池化相结合的方式,以提取文本上下文前向和后向的语义时序信息;为了提取语音模态的特征信息,通过结合多层一维的卷积神经网络(Convolutional Neural Network,CNN)和Bi LSTM的方式充分学习语音的局部和全局情感特征;对于文本和语音的特征融合,引入一种直接级联的特征融合方式对提取得到的文本和语音特征信息进行有效融合,在两种公开英文数据集进行了相关实验,验证双模态融合模型的情感分类效果优于单模态情感分类模型。2.研究一种结合注意力机制和跨模态交互文本和语音双模态信息的方法。考虑到采用直接级联的方式融合双模态情感信息存在的不足,通过跨模态交互文本和语音情感信息,充分学习句子中每个单词和相对应的语音帧之间的相互关系,获取丰富的情感信息,从而更准确的表示多通道特征。引入注意力机制将提取的文本特征信息和语音特征信息进行融合,使模型更加关注与情感相关的语音帧和文本特征向量,这使得融合后的特征更加有效。