面向视频重构的脑机接口系统研究

作     者：赵轩 

作者单位：太原科技大学 

学位级别：硕士

导师姓名：郭一娜

授予年度：2024年

学科分类：0831[工学-生物医学工程（可授工学、理学、医学学位）] 0711[理学-系统科学] 07[理学] 08[工学] 080401[工学-精密仪器及机械] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 0836[工学-生物工程] 

主      题：视频诱发脑机接口 跨域映射 端到端模型 Transformer 3D卷积 

摘      要：面向视觉信号重构的脑机接口技术具有传输效率高、对使用者更友好、泛用性强等优点,尤其是相较于听觉诱发脑机接口,对丧失行动及语言能力的患者更为适用,因而广泛应用于医疗、军事、娱乐、教育等领域,尤其在医疗领域,使用脑机接口系统诊疗神经系统或精神疾病的患者的案例也逐年增多,其具备十分广阔的应用前景。然而现有的视觉刺激诱发脑电信号重构任务多使用图像作为刺激源,无法完成帧间内容连续的视频的重构任务;此外,现有的重构网络多基于卷积神经网络,其受限于卷积核的感受野有限,无法对脑电信号的全局特征进行建模,进而导致重构的视觉信号内容失真、错乱。本文针对以上问题,提出了端到端的视频诱发脑电信号重构系统,主要完成了视频诱发脑电信号重构模型设计、脑电—视频重构网络算法优化,以及视频诱发脑电信号采集实验改进三个方面的工作,具体如下: (1)设计了视频诱发脑机接口重构模型 现有的视觉诱发脑机接口系统主要针对单幅图像内容进行重构,重构出内容间缺乏连贯性,因而仅能传递有限的信息,在面对内容连续、信息量更大的视频诱发重构时表现欠佳。针对此问题,本文借鉴了3D卷积的思路,通过增大训练维度及特征融合,同时对单帧视频及其前后连续的视频帧进行训练,设计了将脑电信号直接重构为视频帧信号的端到端映射模型,直接对脑电信号和视频帧信号的特征映射关系进行建模,在尽可能利用脑电信号特征的情况下完成视频信号重构的任务。 (2)提出了面向视频重构的连续循环映射网络算法ADDGAN 对于视频诱发脑电信号重构任务,由于脑电信号与视频帧信号分属不同的信号域,其特征表征完全不同,难以直接建立映射关系。因此,本文设计了一种过渡域信号用于传递二者的特征,使网络能够更好地完成连续脑电—视频帧的跨域映射的任务。同时,为更好地对脑电信号特征进行建模,本文使用轴注意力机制作为基本层,以便更好地对输入信号的长距离非局部特征进行建模,在保证清晰度的同时有效地提升了重构视频的质量。 (3)搭建了面向视频重构的视觉诱发脑电信号重构系统 现有的诱发脑电重构实验仅考虑脑电信号的特征提取,并未充分考虑受试者的受试状态及观看诱发视频时对内容的专注程度,导致视频诱发脑电信号本身质量不佳,进而影响重构网络对映射关系的建模,导致重构结果模糊、错乱。为解决此问题,本文结合实验内容的需要及受试者的整体反馈,制定了针对视频诱发脑电信号重构的实验范式。在采集视频诱发脑电信号的过程中考虑受试者专注度信息,并使用专注度监测装置,实时监测受试者在观看诱发视频时的专注度状态,进而采集高质量且有效的诱发脑电信号。此外,搭建了视频诱发脑电信号重构的实验系统,使用基于该系统采集的视频诱发脑电数据,对前文的算法网络进行训练及测试,最终实现视频诱发脑电信号重构。