基于视频序列的驾驶员分心行为检测研究与实现

作     者：王韫宇 

作者单位：湖南大学 

学位级别：硕士

导师姓名：白中浩

授予年度：2020年

学科分类：082304[工学-载运工具运用工程] 08[工学] 082303[工学-交通运输规划与管理] 080203[工学-机械设计及理论] 080204[工学-车辆工程] 0802[工学-机械工程] 082302[工学-交通信息工程及控制] 0823[工学-交通运输工程] 

主      题：驾驶员分心 行为识别 深度学习 图卷积网络 信息融合 

摘      要：道路交通安全一直是大家所关注的热点问题,而驾驶员分心驾驶是造成道路交通事故的重要原因之一。随着车载娱乐系统多样化发展与自动驾驶技术的迅速推进,驾驶员的注意力极其容易分散,往往容易造成严重的致死、致伤交通事故。驾驶员分心检测可以检测驾驶员分心行为并识别造成分心的原因,进而警告司机不要分心或采取预防措施。另一方面,在自动驾驶情况下,有助于判断驾驶员是否具有接管车辆的能力,汽车可以通过警告驾驶员停止分心行为,集中注意力投入到车辆驾驶中,减少意外的发生。这使得驾驶员分心检测系统成为车辆智能化的一个重要系统组件。本文提出了一种基于图卷积的多信息融合驾驶员分心行为检测方法,制作了一个驾驶员分心驾驶视频片段数据集,同时在Jetson TX2嵌入式系统中搭建了驾驶员分心检测硬件平台,并验证了算法的准确性、实时性与鲁棒性。本文创新和工作如下:（1）针对驾驶室环境与驾驶员的姿态特性,设计了一种驾驶员姿态时空图。采用Openpose进行人体关键点提取,并根据驾驶员的动作集中于手部与头部的特点对驾驶员姿态估计图进行了改进。针对目前缺少驾驶员分心视频数据集,从拍摄角度、驾驶员体型、光照、干扰物等方面,制作了驾驶员分心驾驶视频片段数据集,并将驾驶员分心数据集转化为了驾驶员姿态时空图数据集。（2）针对驾驶员姿态估计时空图的非欧式空间数据结构,基于图卷积网络并融合骨架与关键物体信息,提出了一种驾驶员分心行为检测算法。针对驾驶员分心检测高鲁棒性的要求,本文算法基于图卷积网络提取驾驶员骨架图在时域和空间上的特征,采用全连接层对驾驶员的分心行为进行判别。融合关键物体与人体关节点共现性特征,得到一个能实时检测的高鲁棒性驾驶员分心行为检测模型。（3）针对本文算法在嵌入式系统中无法实时运行的问题,采用Mobile Net与空洞卷积对驾驶员分心检测算法进行轻量化处理,减少计算量,加快运算速度。同时在Jetson TX2开发者套件上搭建了驾驶员分心检测平台,并将轻量化后的算法在平台上进行了验证。