基于实时功能磁共振成像的面部情绪解码技术研究

作     者：杨强 

作者单位：战略支援部队信息工程大学 

学位级别：硕士

导师姓名：童莉

授予年度：2019年

学科分类：07[理学] 070205[理学-凝聚态物理] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0702[理学-物理学] 

主      题：实时功能磁共振成像 面部情绪解码 深度学习 图像配准 特征提取 支持向量机 增量学习 

摘      要：大脑情绪的解读对于面向高级认知的脑机交互具有重要作用,因此基于神经信号对面部视觉刺激的情绪解码成为大脑视觉加工研究的重要组成部分。功能磁共振成像（functional Magnetic Resonance Imaging,fMRI）以其高时间、空间分辨率优势成为研究大脑视觉信息加工的主要手段。目前,基于fMRI的大脑视觉信息加工的研究主要集中在对大脑感知的视觉刺激进行语义和内容的解析上,对于如何通过视觉皮层的大脑活动表达视觉刺激中的情绪特征,以及如何实现视觉刺激的情绪解码这一问题研究较少。本文针对利用视觉皮层的fMRI信号对面部情绪进行特征表达以及实时情绪类型解码的方法展开研究,对融合高级认知的脑机接口、大脑视觉信息重构等研究方向,具有重要的理论意义和实际价值。本文围绕基于fMRI的面部视觉刺激情绪解码的关键问题,结合大脑视觉皮层信息加工的原理以及深度学习、增量学习等方法,在fMRI脑功能图像的快速配准、针对面部情绪解析的视皮层体素特征提取、实时面部情绪解码方法等几个方面展开具体研究。主要工作如下:（1）针对本文研究的面部情绪解码问题设计并开展了相关fMRI实验,建立面部情绪解码实际数据样本库;针对面部情绪在视皮层中表达比较精细和微弱等特点,实现了基于表面皮层的数据预处理、个体视觉功能区的定位和视皮层特征生成,为后续基于视皮层大脑活动的面部解码分析提供了可靠的数据基础。（2）快速高精度的功能图像配准是基于体素特征构建实时解码模型的关键前提,本文提出了基于U-net的快速fMRI图像配准方法。传统配准方法依靠图像特征的相似性为优化目标估计功能图像的配准参数,在数据规模比较大的情况下效率较低。本文引入U-net深度网络模型,从大量样本中学习功能图像中大脑的几何位置变化特征,实现基于深度网络的快速fMRI图像配准和跨试次功能影像的头动校正。实验结果表明,该方法能够实现跨试次的fMRI数据头动校正,并且配准时间较传统方法大幅减少,为提升实时fMRI面部情绪识别的处理效率发挥了重要作用。（3）为了实现从fMRI大脑视觉皮层中提取对面部情绪信息的有效表达,提出主成分最大相关的视皮层体素选择和特征提取方法。通过视皮层体素特征表达不同面孔情绪,存在的主要困难是特征维度大,而其中的情绪信息却比较精细和微弱。本文首先基于大脑表面皮层获取初级视觉区和与面部识别相关的高级视觉区体素特征,在此基础上,通过主成分评价法选取体素间差异性最大的体素,通过最大相关-最小冗余法更多地保留体素特征间的信息熵,使降低特征维度的同时尽可能保留视皮层区域中的有效信息。实验结果表明,本文提出的主成分最大相关方法,能够选取有效体素并提取面部情绪相关特征,并利用参数优选解码器获得了较高的面孔情绪解码精度。（4）针对fMRI面部情绪解码的实时处理问题,提出基于错误样本触发的SVM增量分类器实时更新方法。本文首先针对实时解码中随着训练集数据增多训练时长增加的问题,通过经典SVM增量学习方法仅对新增加的样本进行学习,获取当前更新;其次,在经典增量学习方法基础上,只针对错误样本进行分类界面的更新,进一步提升了计算效率。最后经实验验证,本文提出的方法能较快达到稳定解码状态,并能够获得接近于经典方法的分类准确率,在计算时间上保持稳定且优于经典算法模型。