多脑区注意力机制胶囊融合网络的EEG-fNIRS情感识别
作者机构:太原理工大学电子信息与光学工程学院
出 版 物:《浙江大学学报(工学版)》 (Journal of Zhejiang University(Engineering Science))
年 卷 期:2024年
核心收录:
学科分类:12[管理学] 07[理学] 08[工学] 0831[工学-生物医学工程(可授工学、理学、医学学位)] 0711[理学-系统科学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 080401[工学-精密仪器及机械] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 0835[工学-软件工程] 0836[工学-生物工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术(可授工学、理学学位)]
基 金:国家自然科学基金资助项目(62271342,62201377) 山西省回国留学人员科研资助项目(2022-072) 山西省基础研究计划资助项目(202203021211174)
主 题:胶囊网络 EEG fNIRS 多脑区注意力机制 胶囊融合 情感识别
摘 要:为了提高情感识别的准确率,提出多脑区注意力机制和胶囊融合模块的胶囊网络模型(MBA-CFcCapsNet).通过情感视频片段诱发采集EEG-fNIRS信号,构建TYUT3.0数据集.提取EEG和f NIRS的特征,将其映射到矩阵,通过多脑区注意力机制融合EEG和fNIRS的特征,给予不同脑区特征不同的权重,以提取质量更高的初级胶囊.使用胶囊融合模块,减少进入动态路由机制的胶囊数量,减少模型运行的时间.利用MBA-CFcCapsNet模型在TYUT3.0情感数据集上进行实验,与单模态EEG和f NIRS识别结果相比,2种信号结合情感识别的准确率提高了1.53%和14.35%. MBA-CF-cCapsNet模型与原始CapsNet模型相比,平均识别率提高了4.98%,与当前常用的CapsNet情感识别模型相比提高了1%~5%.