基于深度学习提取特征与融合的疲劳驾驶检测方法研究

作     者：韦建亨 

作者单位：华南理工大学 

学位级别：硕士

导师姓名：田联房

授予年度：2022年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 080204[工学-车辆工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：疲劳检测 人脸检测 关键点检测 疲劳特征提取 特征融合 

摘      要：疲劳驾驶引发了大量的交通事故。深入研究疲劳驾驶检测方法,实现实时、准确的疲劳驾驶检测,对于提高驾驶的安全性具有重要意义。其中基于驾驶员行为特征的疲劳驾驶检测方法是当前疲劳驾驶检测的研究热点。然而,现有的此类方法难以有效提取如打哈欠等带有时序信息的疲劳特征,而且主要依靠单特征进行疲劳判断,没有对多种特征进行融合导致检测准确率低。同时,光照条件变化、脸部遮挡和极端头部姿势等干扰因素也会严重影响疲劳驾驶检测的准确率和效率。针对以上不足,本文研究了一种基于深度学习提取特征与融合的疲劳驾驶检测方法,并利用该方法自主设计研发了一套疲劳驾驶检测系统。本文的主要工作如下:(1)为了提高疲劳驾驶检测任务中进行人脸检测的速度和精度,本文研究了一种基于轻量化卷积神经网络的人脸检测方法。首先基于深度可分离卷积设计了轻量化的特征提取主干网络,提高了网络提取特征的速度;然后基于SSD算法的锚框设定策略进行改进,研究了更适合人脸检测任务的锚框设定策略;最后针对使用传统非极大值抑制的网络后处理方法出现的人脸框抖动现象,研究了基于加权平均融合策略的网络后处理方法,提升了人脸检测算法的稳定性。实验证明本文人脸检测算法具有很高的精度和极快的速度。(2)为了克服疲劳驾驶检测任务中光照条件变化、脸部遮挡和极端头部姿势等因素的干扰,本文研究了一种基于卷积局部检测器-约束局部模型的人脸关键点检测和跟踪方法。首先基于点分布模型对人脸每个关键点的位置进行建模,约束人脸关键点的形状;然后通过训练卷积局部检测器网络,对每个关键点周围的感兴趣区域进行建模,并计算概率响应图判断像素点是否是关键点;最后使用非均匀正则化的关键点平均位移进行参数的更新拟合,实现对人脸关键点的检测和跟踪。实验证明通过该方法检测出人脸关键点可以有效克服上述干扰。(3)为了更有效的提取疲劳特征,本文研究了一种基于卷积神经网络的疲劳特征提取方法。其中,针对目前难以提取如打哈欠等带有时序信息的疲劳特征,研究了基于密集连接网络和长短周期记忆网络的打哈欠行为检测方法,通过分别提取图像的空间和时间特征并融合实现打哈欠行为的检测;针对由于驾驶员眼睛的个体差异性给眼部疲劳特征提取带来的困难,研究了基于卷积神经网络的眼部状态识别方法,通过卷积神经网络自动提取眼部特征,避免了传统方法人工提取眼部特征产生的误差,克服了驾驶员个体差异性的干扰。实验证明该方法有效提高了疲劳特征提取的精度。(4)为了提高疲劳驾驶检测的准确率,本文研究了一种基于特征融合的疲劳驾驶检测方法。首先对驾驶员的脸部特征进行分析,选取一些与疲劳相关的眼部和嘴部特征,构建了疲劳特征向量空间。然后训练基于支持向量机的疲劳驾驶分类模型,使用该特征向量对疲劳状态进行判断,提高了疲劳驾驶检测的准确率。实验证明,该方法比基于单特征判断的疲劳检测方法更准确。(5)为了实现疲劳驾驶检测功能并验证其实际应用性能,本文自主研发设计了一套基于深度学习提取特征与融合的疲劳驾驶检测系统。经过测试,展示了本文系统的使用流程和显示效果,并验证了该系统在实际驾驶场景中进行疲劳驾驶检测的可行性。实验结果表明,本文算法可以在真实驾驶场景中有效检测出驾驶员的疲劳驾驶行为,提高了疲劳驾驶检测的精度,对于保障交通安全具有重要意义。