多脑区注意力机制胶囊融合网络的EEG-fNIRS情感识别

作     者：刘悦 张雪英 陈桂军 黄丽霞 孙颖 

作者机构：太原理工大学电子信息与光学工程学院 

出 版 物：《浙江大学学报(工学版)》 (Journal of Zhejiang University(Engineering Science))

年 卷 期：2024年

核心收录：

学科分类：12[管理学] 07[理学] 08[工学] 0831[工学-生物医学工程（可授工学、理学、医学学位）] 0711[理学-系统科学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 080401[工学-精密仪器及机械] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 0835[工学-软件工程] 0836[工学-生物工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(62271342,62201377) 山西省回国留学人员科研资助项目(2022-072) 山西省基础研究计划资助项目(202203021211174) 

主　　题：胶囊网络 EEG fNIRS 多脑区注意力机制 胶囊融合 情感识别 

摘      要：为了提高情感识别的准确率，提出多脑区注意力机制和胶囊融合模块的胶囊网络模型(MBA-CFcCapsNet).通过情感视频片段诱发采集EEG-fNIRS信号，构建TYUT3.0数据集.提取EEG和f NIRS的特征，将其映射到矩阵，通过多脑区注意力机制融合EEG和fNIRS的特征，给予不同脑区特征不同的权重，以提取质量更高的初级胶囊.使用胶囊融合模块，减少进入动态路由机制的胶囊数量，减少模型运行的时间.利用MBA-CFcCapsNet模型在TYUT3.0情感数据集上进行实验，与单模态EEG和f NIRS识别结果相比，2种信号结合情感识别的准确率提高了1.53%和14.35%. MBA-CF-cCapsNet模型与原始CapsNet模型相比，平均识别率提高了4.98%，与当前常用的CapsNet情感识别模型相比提高了1%～5%.