基于多任务网络和网络蒸馏的可行驶区域辨识算法研究

作     者：宫云渤 

作者单位：华南理工大学 

学位级别：硕士

导师姓名：游峰

授予年度：2021年

学科分类：08[工学] 082302[工学-交通信息工程及控制] 0823[工学-交通运输工程] 

主      题：可行驶区域 多任务网络 知识蒸馏 环境感知 深度学习 车路协同 交通安全 

摘      要：随着交通事业的发展,道路交通事故形势愈发严峻,对人民的生命财产安全造成了巨大损失。智能网联汽车可以承担部分或全部驾驶任务,提高行车安全性。其中,可行驶区域辨识技术可检测出当前车辆可行驶的道路区域,以确保在道路上安全行驶,是智能网联汽车环境感知的基础性研究工作。因此,研究智能网联汽车的可行驶区域辨识技术,对于提高交通安全有着重要意义。随着人工智能技术的高速发展,其与智能网联汽车深度融合,迅速成为研究的热点之一。智能网联汽车的智能化和网联化与车路协同系统密切关联。实现道路环境的“全感知,对车路协同环境下的智能网联汽车至关重要。其中,可行驶区域辨识技术作为环境感知技术的核心组成部分,已取得部分研究成果,但仍有完善之处,具体包含:1)基于车道线和道路点的可行驶区域检测方法应用场景有限;2)基于深度学习的可行驶区域辨识方法难以兼顾准确性和实时性;3)智能路侧系统（路端）的可行驶区域辨识技术相关研究较少;4)已有可行驶区域辨识算法难以在实际应用中部署。基于上述分析,本文基于计算机视觉和深度学习等相关技术,开展基于多任务网络和蒸馏的智能网联汽车可行驶区域辨识算法研究。论文具体研究内容如下:（1）基于多任务网络的车端可行驶区域辨识。本文深度探究语义分割技术在可行驶区域辨识中的应用。以语义分割模型Deeplabv3+和BiSeNet为基础,构建道路分割+场景识别的多任务网络。首先,从当前车辆前方环境中,多任务网络提取出适于自车行驶的可行驶区域。其次,提出DBSCAN密度聚类的后处理算法,将可行驶区域分为可行驶区域、左可选行驶区域和右可选行驶区域3部分,实现智能网联汽车车端的可行驶区域辨识功能。本文提出的BiSeNet多任务网络,在BDD100K数据集上,平均交并比MIoU（Mean Intersection over Union）为79.37%,FPS为131。（2）基于网络蒸馏车端可行驶区域辨识模型优化。深度学习网络难以兼顾准确性和实时性。为此,本文采用了知识蒸馏的训练方式,将模型结构复杂、准确率高的Deeplabv3+作为教师网络,并将模型结构简单、实时性好的BiSeNet作为学生网络,通过教师网络改善学生网络的准确性能。此外,本文利用自注意力蒸馏的训练方式,进一步提升模型的准确率。本文提出的知识蒸馏+自注意力蒸馏方法在BDD100K数据集上,平均交并比MIoU达到84.05%,可行驶区域辨识准确率比未优化前高出约5%。（3）智能路侧系统（路端）可行驶区域辨识。仅依靠车端辨识可行驶区域,可能存在感知盲区,如前车或建筑物遮挡,传感器检测范围限制等;可通过智能路侧系统（路端）感知车端的辨识盲区,实现道路场景的融合感知。所以,本文在车端可行驶区域多任务网络模型的基础上,保留特征共享网络和道路分割分支,简化场景识别分支,并构建可行驶区域路端辨识数据集,搭建路端可行驶区域辨识模型。（4）基于嵌入式平台的可行驶区域辨识模型加速与移植。在以构建的车端-路端可行驶区域辨识模型的基础上,研究可行驶区域辨识模型的加速和移植方法,将本文车端-路端可行驶区域辨识模型部署至Jetson Xavier NX嵌入式平台。经试验验证,本文提出的可行驶区域辨识算法,可在Jetson Xavier NX嵌入式平台良好运行,准确性、实时性和鲁棒性达到较好平衡。