基于脑电通道选择和多尺度卷积的情绪识别

作     者：张义文 

作者单位：曲阜师范大学 

学位级别：硕士

导师姓名：曹佃国

授予年度：2024年

学科分类：0831[工学-生物医学工程（可授工学、理学、医学学位）] 0711[理学-系统科学] 07[理学] 08[工学] 080401[工学-精密仪器及机械] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 0836[工学-生物工程] 

主      题：情绪识别 通道选择 多尺度卷积 先验知识 脑电信号 

摘      要：情绪在人的生活中至关重要,积极的情绪会提高工作效率,消极情绪会影响人的身心健康。脑电信号(Electroencephalograph,EEG)是人大脑神经元活动产生的电信号,能够直观真实的反应人的情绪状态,以至于越来越多的研究者将其应用到情绪识别中。在现有研究中,还存在以下问题:一是脑电采集通道数过多,存在信息冗余问题;二是提取的脑电特征较为单一,情绪识别准确率低。针对以上问题,本文围绕脑电通道选择和多尺度特征提取展开研究,主要工作如下: (1)设计基于视频刺激的脑电采集实验范式,按照设计的范式获取8名受试者在快乐、平静和悲伤情绪状态下的脑电信号。每个受试者需观看15个情绪刺激视频片段,并在观看每个片段之后通过SAM评价表反馈情绪诱发效果,脑电采集设备同步记录受试者的脑电信号。实验共获取120段脑电信号,每种情绪各40段。为了满足后续实验需要,利用EEGLAB工具箱对获取的脑电信号进行带通滤波和独立成分分析去伪迹处理,然后采用滑动窗口法对脑电信号进行切片,扩充样本数量。 (2)提出一种基于注意力和脑区功能联系的通道选择模块(Channel-selection-module Based on Attention and Brain-functional-connectivity,CBAB)。针对脑电采集通道数过多的问题,结合CBAB模块搭建通道选择网络CBABNet并输入脑电信号。脑电信号经注意力网络获取通道的权值向量,同时计算不同通道间的斯皮尔曼相关系数,求出每个脑区和其他脑区的关系向量,之后将关系向量作为权值奖励参数和权值向量逐元素相乘得到一组新的权值向量。对新的权值从大到小进行排序,按照排序依次选择不同通道数量的脑电信号进行情绪识别,当通道数从64降低到20时,8名受试者的平均识别准确率仅降低1.48%,表明CBAB能在准确率损失很小的情况下减少脑电通道数量。将CBABNet中CBAB模块换成现有的SENet、CBAM注意力模块进行对比,在选择20脑电通道时,CBAB模块的情绪识别准确率比SENet、CBAM注意力模块分别高8.83%、3.15%,证明CBAB模块能更加精确的获取对情绪识别重要度较高的脑电通道。 (3)搭建一种扩展群增强多尺度卷积神经网络模型(Extended Group-augmented Multi-scale Convolutional Neural Network,EGMCNN)。模型通过三个并行分支和不同大小的卷积核提取不同尺度的脑电特征,并在网络传递过程中引入短跳跃连接将不同分支的特征信息进行扩展,增强特征的复用性,最后将三个分支的输出特征进行拼接融合,再对其进一步提取深层差异特征,最后输出分类结果。在20和64脑电通道下,EGMCNN模型的情绪识别平均准确率分别达到 85.86%、87.56%,比CBABNet提高了12.77%、12.99%。同时,在20脑电通道下,将EGMCNN模型和EEGNet、3DCANN、BiLSTM模型进行对比,平均准确率分别提高了1.98%、2.4%、8.03%,证明EGMCNN模型具有良好的分类性能。