雾天交通场景下激光雷达和图像融合的3D目标检测算法研究

作     者：李云超 

作者单位：长安大学 

学位级别：硕士

导师姓名：徐志刚

授予年度：2022年

学科分类：080904[工学-电磁场与微波技术] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 080203[工学-机械设计及理论] 080204[工学-车辆工程] 0802[工学-机械工程] 

主      题：自动驾驶 多模态融合 交通环境感知 雾天交通目标检测 PointRCNN BtcDet 

摘      要：目标检测作为智能汽车环境感知系统的核心任务,将为车辆精准避障、安全行驶、路径规划等任务提供有力保障。极端天气、多目标遮挡、光照不均匀等复杂因素给目标检测任务带来巨大挑战,如何通过数据间的互补克服单模态数据的缺陷,有效地融合多模态数据,实现精准目标检测是当前智能汽车环境感知技术的研究趋势。本文针对现有目标检测方法精度有限、复杂环境适应能力较差等问题,从多传感器数据融合出发,研究复杂交通环境、特殊天气环境(雾天)下的3D目标检测。具体研究内容如下:首先,介绍了 3D目标检测方法整体研究进展,包括3D目标检测任务定义、用于算法评估的多模态数据集和评估指标及方法。针对本文研究内容,重点阐述基于图像数据、雷达数据和图像雷达融合的3D目标检测经典方法,分析现有方法能达到最优检测效果和遇到的瓶颈,结合3D检测任务的难点展望目标检测方法未来研究方向,并为本文研究内容夯实基础。其次,针对远距离目标物体检测准确率低等问题,本文重点研究如何提取远距离目标物体高辨识度特征并进行准确检测和定位。鉴于远距离雷达稀疏和图像远距离定位不准确等现象,本文首先从图像中提取空间多尺度语义特征,利用中近距离雷达点云对图像生成伪点云进行空间位置修正,可同时获得远距离小目标物体的有效表征和定位特征,使用PointRCNN对语义特征和伪点云数据识别和定位。实验表明,在远距离目标(40米)的检测中,本文方法相对于F-PointNet方法在AP3D和APBEV分别提升了9.13%和 9.58%。再者,针对现有目标检测方法无法有效融合图像和激光点云数据问题,本文提出了一种3D激光雷达与图像数据融合的三维目标检测方法,该方法首先估计场景图像像素的深度信息,利用深度信息生成场景三维伪点云数据;其次是融合场景激光点云和伪点云数据,融合过程中,使用KDTree对伪点云位置修正补偿,同时剔除伪点云中的噪声点和异常点;最后,使用优化的PointRCNN网络对融合后点云数据进行训练,检测。在KITTI数据集上的实验表明,本文提出的方法能有效融合图像、点云数据,相比于现有融合检测方法,AP3D和APBEV分别平均提升7.8%和4.13%。最后,针对雾天图像、激光雷达数据噪声大造成检测率低问题,提出一种基于雾天数据修正的交通车辆检测方法,在去除雾影响的同时可实现精准检测。首先根据雾天数据成因建模,提出基于光照强度的动态激光点云去雾算法,提取噪声点云中的真实点,同时利用FFA-Net实现图像去雾处理;其次在图像转换为伪点云后,将激光点云与伪点云在三维空间中融合;最后利用点云补偿的BtcDet网络进行有监督训练,实现雾天三维目标检测。实验结果表明,本文雾天3D目标检测算法能够有效提升雾天三维目标车辆检测精度,与PointRCNN、SECOND等方法相比,AP3D和APBEV分别平均提升2.3%和 4.8%。