基于三维卷积神经网络的双重刺激脑机接口解码研究

作     者：伍凌宇 

作者单位：河北工业大学 

学位级别：硕士

导师姓名：李梦凡

授予年度：2022年

学科分类：0831[工学-生物医学工程（可授工学、理学、医学学位）] 0711[理学-系统科学] 07[理学] 08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

主      题：脑机接口 事件相关电位 双重刺激 三维卷积神经网络 脑电解码 

摘      要：脑机接口(brain-computer interface,BCI)是人脑与外界环境建立的一条不依赖于外周神经和肌肉组织的交流通路。事件相关电位(event related potential,ERP)是广泛应用于BCI的脑电信号之一,基于ERP的BCI具有指令数量大、训练时间短、受众人群多的特点,但是在解码方面仍然存在难以满足交互需求的问题。针对视觉刺激数量较多的视觉诱发ERP BCI,视觉刺激的诱发方式与个体内差异导致脑电非平稳,引起解码精度降低,不利于人机交互。因此,本文研究双重刺激的视觉诱发方法和三维卷积神经网络模型,建立多视觉刺激界面下的脑电解码模型,提高视觉诱发ERP BCI的解码稳定性。本文首先研究双重视觉刺激诱发方法。针对解码模型的精度问题,提出局部滑动的呈现方式,建立空间分布和随机呈现规则,进而构建双重刺激界面。分析十五个被试在该界面下的ERP特征和BCI性能,发现局部滑动刺激方式显著提高了脑电幅值以增加脑电特征;空间分布和随机呈现规则降低了刺激之间的混淆与干扰能力,为后续解码模型提供了平稳特征的脑电数据。双重视觉诱发界面研究表明该研究能够显著增加BCI的脑认知电位识别能力以提高模型的解码精度,增加BCI在复杂环境中的可行性,为本文建立ERP BCI提供坚实稳定的实验范式基础。本文其次研究三维卷积神经网络的脑电解码方法。针对脑电解码的个体内差异解码精度问题,提出视频流式的脑电处理方法,动态捕捉脑地形图并将脑电数据转化为三维输入矩阵;构建三维卷积核,使用立体卷积操作;构建多通道三维矩阵输入方式。将三维卷积神经网络与传统线性分类器和深度学习神经网络方法比对,运用准确率、信息传输率、Kappa系数和训练时间等指标分析算法性能。结果表明三维卷积神经网络,显著提高了BCI的识别准确率。本文完成了跨时间脑电诱发实验,实验证明了三维卷积神经网络在跨时分类上有较高的适应能力和解码性能。三维卷积神经网络的研究表明该网络显著提高了BCI的解码精度,提高了BCI的鲁棒性,神经网络的多输入方式降低了训练模型的数据冗余性,为本文建立ERP BCI提供了精准的深度学习解码模型。