基于多线激光雷达和单目相机的深度补全技术研究

作     者：祝飞 

作者单位：武汉大学 

学位级别：硕士

导师姓名：黄玉春

授予年度：2020年

学科分类：080904[工学-电磁场与微波技术] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：多线激光雷达 单目相机 外参标定 深度补全 卷积神经网络 

摘      要：场景深度信息的获取一直是计算机视觉和图像处理领域一个重要的研究方向,在一些具体应用领域,例如自动驾驶,SLAM,AR/VR,目标监控和导航决策等,深度信息可以帮助计算机视觉算法做出更精确的预测结果。但是现有的深度感知技术,包括被动视觉方案（单目深度估计,双目视觉）和主动感知方案（深度相机,三维激光雷达）都有其缺陷和局限性。为了克服现有的使用单一类型传感器获取深度信息的技术缺陷,本文提出了一种基于多线激光雷达和单目相机数据融合的深度补全技术,该算法融合了相机采集的彩色图像信息和多线激光雷达采集的稀疏深度信息预测得到高精度的深度图像。具体而言,本文提出的深度补全技术包含两个关键算法,第一个是激光雷达和单目相机之间外参标定算法。本文以棋盘格为标定物,提出了一种基于共面约束条件的外参初值求解和优化算法。第二个关键步骤是融合稀疏深度图和彩色图像输出稠密深度图的算法。本文从经典的编码器-解码器的卷积神经网络出发,提出了一种将彩色图像和稀疏图像的特征提取过程分开的网络结构,成功解决了像素深度补全的问题。本文主要的研究成果包括以下两个方面:（1）提出了一种基于共面约束条件的多线激光雷达和单目相机标定算法。该算法理论上只需要两个传感器在不同的位置和姿态下同时观测棋盘格三次就可以求解出它们之间的外参初值。同时,通过增加观测次数,该算法求解出的外参初值精度和稳定性都能得到提升。该算法还利用了激光点在棋盘平面上的条件进一步优化了外参初值,使得算法即使是在激光数据或者图像数据存在噪声时依然可以得到可靠的解。通过设计仿真实验和实际采集的数据实验,文章验证了初值求解算法和非线性优化算法的可行性和精度。（2）提出了一种基于编码器-解码器结构的深度卷积神经网络模型,用于融合稀疏深度图和彩色图像输出稠密深度图。该网络模型以残差编码器和残差解码器作为图像的特征提取和信息恢复模块,保证了网络的精度和收敛速度。同时,该模型将彩色图像和稀疏图像的特征提取过程分开,然后在编码器逐层合并,避免了两种数据训练过程中的相互干扰。这样的设计使得本文模型补全的深度图像物体轮廓清晰而且不会和背景重合。通过在公开数据集和实际采集上的定性分析实验和定量精度评定,文章验证了该模型能在不同场景和不同点云密度下取得很好的深度补全结果。