基于多源域迁移学习的精神疲劳检测系统研究

作     者：高寒冰 

作者单位：大连理工大学 

学位级别：硕士

导师姓名：张驰

授予年度：2022年

学科分类：12[管理学] 07[理学] 08[工学] 0831[工学-生物医学工程（可授工学、理学、医学学位）] 0711[理学-系统科学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 080401[工学-精密仪器及机械] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 0835[工学-软件工程] 0836[工学-生物工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：精神疲劳检测 域自适应迁移学习 神经网络 脑电 

摘      要：精神疲劳通常产生于驾驶、视频监控等长时间高认知负荷工作环境之中,导致作业人员认知能力、反应速度等行为表现下降,对工作效率、质量产生负面影响,甚至成为一些安全事故产生的关键因素。因此,建立大脑高认知负荷下精神疲劳的实时检测系统具有实际应用价值。近年来,相关研究发现基于脑电(Electroencephalography,EEG)、心电(Electrocardiogram,ECG)或视频等数据特征能够实现对被试精神疲劳较为准确的检测。然而,由于精神疲劳相关特征存在较大的被试间差异性,模型在面对未知被试时检测能力会大幅下降,无法在实际中进行广泛应用。因此,提升模型的跨被试检测能力成为了解决这一问题的关键。本文在多模态(EEG、ECG、视频)输入的基础上提出基于多源域迁移学习的精神疲劳检测方法,通过域自适应迁移学习来提升模型的跨被试检测能力。模型性能验证结果显示,本文提出的多源域迁移学习模型的跨被试精神疲劳检测能力与非迁移多模态模型相比提升了21.62%,与传统单源域迁移相比提升了12.49%。具体工作如下:(1)设计视觉搜索任务诱发的精神疲劳检测实验,采集32名被试(男16人,女16人,年龄:24.06±2.49)脑电、心电及视频数据,首先通过对行为及脑电数据进行分析,验证精神疲劳诱发的有效性及对脑电产生的影响。同时,相较于直接使用主观反馈疲劳度或反应时间等行为指标设定阈值,对数据进行疲劳/非疲劳标签标定,本研究融合了脑电功能脑网络的疲劳相关特征及行为特征共同作为被试疲劳相关特征,采用时间序列聚类方法实现对时序数据的动态标定。(2)为了在便携性的基础上,提升疲劳检测的准确性及抗噪能力,本研究基于EEG、ECG及视频数据进行了多模态精神疲劳检测系统的搭建。经实验验证,本研究搭建的多模态精神疲劳检测神经网络模型在已知被试上测试性能正确率均值为98.26%,与只使用一种或两种模态相比有显著提升。然而模型在未知被试上检测正确率仅为51.30%,受被试间差异影响,模型无法达到理想检测效果。(3)在(2)的基础上,引入域自适应迁移学习方法,在模型中加入多源域对抗神经网络,同时提出基于已知被试与未知被试间数据分布差异的源域选择策略。通过模型性能验证实验验证了通过使未知被试与已知源域被试进行对抗,模型在未知被试上的检测正确率有显著提升,与(2)建立的非迁移模型相比,在未知被试上的平均检测正确率提升21.62%。