基于注意力机制的多源域领域适配的脑电情绪识别研究

作     者：吴德孟 

作者单位：中央民族大学 

学位级别：硕士

导师姓名：蒋惠萍

授予年度：2023年

学科分类：0831[工学-生物医学工程（可授工学、理学、医学学位）] 0711[理学-系统科学] 07[理学] 08[工学] 080401[工学-精密仪器及机械] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 0836[工学-生物工程] 

主      题：领域适配 注意力机制 情绪识别 脑电信号 

摘      要：情绪是人类独有的心理活动,它不仅反映了人的生理和心理状态,还对人的认知、沟通和决策产生重要影响。脑电信号(Electroencephalogram,EEG)是脑神经细胞在大脑皮层的一种总体反应,能够客观准确地反映人类的情感。然而,脑电情绪识别领域一直存在一个挑战,即如何提高情绪分类模型的识别率和泛化能力,特别是在来自不同个体或时段的样本上的泛化能力。在这方面,领域适配(Domain Adaptation,DA)方法是一种有效的解决方案,它可以通过知识迁移在不同领域之间进行训练和测试,从而放宽训练和测试样本必须满足相同概率分布的限制。本文基于以上脑电情绪识别技术的特点,在使用多源领域适配进行脑电情绪识别的基础上,进一步提出了一种新的基于注意力机制的多分支多源域领域适配(Multi-Branch Multi-Source Domain Adaptation Based on Attention Mechanism,MBMDA)的脑电情绪模型。MBMDA模型可以实现脑电信号在跨数据集、跨被试下的多源领域适配,以更好地提高脑电情绪分类模型的泛化能力,以及脑电情绪识别的准确性,本文的主要工作如下:第一,本文介绍了常见的脑电信号伪迹类型以及对脑电信号进行预处理的各种方法,并对文中使用的三种脑电数据集DEAP、SEED和SEED-Ⅳ进行了相应的预处理。对数据集进行预处理的目的是去除脑电信号中的噪声,这也是提高分类准确率的第一步。第二,传统领域适配方法在进行脑电公共特征提取时常常会忽略脑电信号中的时间和空间信息。为此,我们提出了一种基于注意力机制的混合优化模型FFTLA,用于脑电公共特征的提取,并采用SoftMax函数进行了分类评估。在公共数据集DEAP上,FFTLA表现出了优异的特征提取能力,脑电情绪识别的平均准确率可以达到92.38%。这一结果表明,使用基于注意力机制的混合优化模型FFTLA进行脑电公共特征提取是可行的。第三,本文在使用脑电公共特征提取器FFTLA提取到相应的脑电公共特征后,再将这些公共特征依次输入到域特定特征提取器和域特定特征分类器中,以进行脑电信号的特征提取和分类。同时,本文使用了最大均值差异来减少源域和目标域之间的分布差异,以及最小化分类差异来获得更准确的分类器。此外,本文还使用了最小化差异损失来获得更收敛的分类器。最后,本文在公共数据集SEED和SEED-Ⅳ上对我们提出的模型MBMDA进行了评估。实验结果显示,在数据集SEED上,跨会话和跨主题场景的准确率分别为88.88%和90.98%,在数据集SEED-Ⅳ上,跨会话和跨主题场景的准确率分别为69.28%和68.04%。此外,我们还对实验中使用的归一化方法、损失函数以及超参数进行了探讨,并研究了它们对于本研究的影响。结果表明在迁移学习的域适配领域中,使用基于注意力机制的深度学习混合模型进行脑电的公共特征提取,以及使用多分支多源域的策略进行脑电情绪识别是可行的。