脑电信号与人脸特征融合的情感识别方法研究

作     者：张逸飞 

作者单位：东北电力大学 

学位级别：硕士

导师姓名：侯一民

授予年度：2024年

学科分类：0831[工学-生物医学工程（可授工学、理学、医学学位）] 0711[理学-系统科学] 07[理学] 08[工学] 080401[工学-精密仪器及机械] 080203[工学-机械设计及理论] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 0802[工学-机械工程] 0836[工学-生物工程] 

主      题：人脸图像 脑电信号 情感识别 特征提取 特征融合 深度学习 

摘      要：近些年来,人工智能相关行业发展的速度飞快,在某些特定的场景和情况下,人类与机器之间的互动已经成为各种生活乃至生产环境中不可或缺的一部分。而在这类的互动中,情感识别经常能起到关键的作用,所以情感识别的相关技术显得十分重要。 情感识别主要依赖于两类信号:生理信号和非生理信号。在较为早期的研究阶段,研究主要集中在非生理信号上,例如通过分析面部表情、语音特征以及身体姿态等方式来识别情感。然而,随着神经科学和脑科学领域的研究不断深入,对生理信号(如脑电信号、心电信号以及肌电信号)的研究日益受到重视。相较于非生理信号,生理信号更具客观性,但也面临着一些挑战,主要表现在生理信号通常较为微弱,容易受到各种外界因素(如环境噪音)的干扰。 针对存在的问题,本研究在提取了较为全面的脑电信号特征的同时将人脸图像与脑电信号特征进行了融合,弥补了脑电信号的微弱和抗干扰性弱的缺陷,具体的研究内容如下: (1)利用MAHNOB-HCI数据集中的人脸图像数据,利用ResNet34神经网络,经过70次迭代,得到了96.0%的准确率,证明了该数据集的人脸图像数据可以用于情感识别。 (2)提取了脑电信号的差分熵特征,并基于注意力机制,使用了一个并行的空间光谱(及时间)注意力模块,以自适应的捕捉一些值得注意的频带、时间戳或大脑区域,提取了脑电信号的3D时空光谱特征;同时基于光谱时间图神经网络(Stem GNN)通过提取脑电信号中的时空依赖性,成功的提取了脑电信号的空间相关性特征。接着通过空间通道的叠加将提取出的脑电特征进行简单的融合,并将其作为输入投入Res Net34神经网络经过100次迭代,得到了90.9%的准确率,证明了本研究脑电信号特征提取办法的可行性。 (3)对MAHNOB-HCI数据集进行了处理,使得其中人脸图像数据和提取出来的脑电特征数据具有相同的大小。利用了多种特征融合办法,包括数据拼接、对位元素相加、对位元素相乘、对位元素差值四种方法,对处理过的人脸图像数据和提取好的脑电特征进行了融合。接着使用搭建的网络模型进行了情感识别,包括情感的积极、中性、消极的三分类和对唤醒度及效价度的分类,同时对四种融合方法进行了比较。同时比较了特征层融合和决策层融合的两种方法。最终,特征层对位元素差值的融合方法取得了最优秀的效果,在情感三分类上获得了93.0%的结果。同时进行了对比试验与消融实验证明了本研究的方法的可行性。 从研究结果上看,本研究所使用的脑电特征提取办法能够有效的提取特征并用于情感识别。同时,本研究所使用的特征融合方法在与单一特征进行比较时,可在情感识别问题上得到更优秀的结果。