融合脑电与近红外脑地形图特征学习的多模式分类

作     者：何群 徐香院 江国乾 单伟 童云杰 谢平 He Qun;Xu Xiangyuan;Jiang Guoqian;Shan Wei;Tong Yunjie;Xie Ping

作者机构：燕山大学电气工程学院河北秦皇岛066004 燕山大学图书馆河北秦皇岛066004 普渡大学生物医学工程系美国印第安纳州47907 

出 版 物：《中国生物医学工程学报》 (Chinese Journal of Biomedical Engineering)

年 卷 期：2023年第42卷第3期

页      面：301-310页

核心收录：

学科分类：0831[工学-生物医学工程（可授工学、理学、医学学位）] 08[工学] 0836[工学-生物工程] 

基　　金：国家自然科学基金(U20A20192,62076216) 秦皇岛市科学技术研究与发展计划项目(201902A032) 

主　　题：脑机接口 多模态 卷积神经网络 脑地形图 

摘      要：脑地形图可以用来可以监测大脑的活动状态,为了准确提取被试大脑活动产生信号的空间特征以及有效提高分类准确率,结合脑地形图和卷积神经网络提出一种多模态脑地形图神经网络分类算法(MBTMNN),对运动想象和心算进行分类识别。对脑电和近红外信号进行预处理,提取脑电的能量特征和近红外中氧合血红蛋白浓度特征,结合各自电极位置统一所有样本的colormap后生成脑地形图,将二者同时输入到卷积神经网络并在特征层进行融合得到训练模型。利用2017年柏林脑电-近红外公开数据集进行六折交叉验证实验,数据集包含29名被试,各300个样本,在运动想象左/右、心算/静息、运动想象/心算/静息和运动想象左/右/心算/静息等4种分类场景中,分别达到了82.91%、94%、90.34%和78.18%的准确率,高于同数据集的近期研究和单模态方法。所提出方法能够有效融合脑电和近红外信号以提高分类精度。