基于深度学习和脑电信号的情感分类方法研究

作     者：侯晓莹 

作者单位：山东大学 

学位级别：硕士

导师姓名：吴强

授予年度：2019年

学科分类：0711[理学-系统科学] 12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 07[理学] 081104[工学-模式识别与智能系统] 08[工学] 080401[工学-精密仪器及机械] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：脑电信号 特征提取 变分自编码器 ResNet-50 情绪识别 

摘      要：情感计算是实现高级人机交互的关键技术之一,是人工智能领域中日益受到关注的一个研究方向。情感识别可以基于面部表情、语音、姿势、文本和生理信号等完成识别任务[1]。其中,基于生理信号的识别是最具挑战的任务之一,其主要研究内容是不同情感状态下的脑电、心电、肌电、皮肤电阻、皮肤电导、皮温、光电脉搏、呼吸信号等。神经网络是受生物神经网络启发的统计学习模型,用于估计依赖于大量通常未知输入的函数。使用深度学习方法分析多模态生理信号对于识别人类情感变得越来越有吸引力。然而,使用传统方法来对生理信号进行特征的提取,然后在依照情绪分类的方式随情感进行分类的方法可能有如下的缺点:缺乏使用确定模型结构的专业知识和组合多模态特征抽象的而使得所提取的特征过度简化。因此,本文利用深度神经网络模型分析DEAP(Koelstra等人(2012))[56]数据集的脑电信号(Electroencephalogram,EEG)[14]、肌电信号(Electromyogram,EMG)[15]和眼电信号(Encephalogram,EOG)[16],实现对用户情绪的分类。本文探索了两类不同的神经模型,第一种为利用EEG特征来对情感进行识别分类的神经网络;第二种则在前面基础上加入肌电信号EMG与眼电信号EOG两种生理信号,在特征提取阶段,尝试了多种不同方法,比如处理EEG信号常用的小波变换,微分熵,功率密度谱等,最终利用ResNet-50[42]在对脑电的特征提取上取得了显著的效果,此外,其余两种生理信号:EOG与EMG信号的特征分别送入基础单元---限制玻尔兹曼机(restricted Boltzmann machine,RBM)[74]进行特征的提取,随后将提取出的高级特征,通过深度信念网络(Deep belief network,DBN)[75]进一步的训练提取出更为高级的特征,进而实现情绪的分类。本文的主要创新和贡献在以下两个方面:提出了一种基于变分自编码器(Variational Auto-Encoder,VAE)[4]的EEG信号特征提取算法,对EEG信号进行有效的特征提取是保证情绪识别准确的重要因素,该模型是由生成器与鉴别器组成,通过重新参数化后,重新生成生理信号的高级特征,可以更好地表达生理信号的特点,通过该算法提取出生成器所学习到的特征,将其放到分类器进行分类,获得了较好的多情绪分类效果。提出了一种基于DBN的多模态融合算法,在该方法的特征提取阶段,利用ResNet-50网络提取出EEG信号的特征,然后利用最小单元RBM来提取EOG、EMG信号的特征,将提取到的特征送入DBN中进行训练,所使用的网络架构由多个模态特定的深层网络层组成,后面是一层神经网络,共同模拟多种模态。该网络分两步进行训练：在分层预训练中,使用RBM训练每一层模态特定的深层网络。对于顶层共享网络,使用MinⅥ目标训练多模态限制玻尔兹曼机RBM。然后,通过构建多模式深度递归神经网络(Multimodal deep recurrent neural network,MDRNN)[76]来微调整个深度网络,该方法相比传统方法取得了更好的识别准确度。