结合LiDAR与RGB数据的稠密深度图构建方法研究

作     者：王子滔 

作者单位：辽宁工程技术大学 

学位级别：硕士

导师姓名：贾迪

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：稠密深度图 深度学习 LiDAR 多模态数据融合 图像处理 

摘      要：构建稠密深度图是计算机视觉的核心问题之一,稠密深度图代表着真实场景中视点到场景对象表面的密集距离信息,在机器人导航、增强现实和自动驾驶等领域都有着广泛的应用。近年来,使用单幅RGB图像引导稀疏激光雷达点云构建稠密深度图已逐渐成为研究热点,然而现有方法在构建场景密集深度信息时,目标边缘处的深度依然存在模糊的问题,影响三维重建与摄影测量的准确性,为此本文提出一种基于多阶段指导网络的构建稠密深度图方法。首先,由稀疏深度稠密化路径和多阶段指导路径构成多阶段指导网络。其次,在稀疏深度稠密化路径上,通过特征融合模块融合稀疏激光雷达点云和RGB数据,以提取前期指导信息,采用指导信息处理模块融合稀疏深度和前期指导信息,以提取更利于构建稠密深度图的图像特征,并将融合后的信息通过双线性插值的方式构建出表面法线,从几何约束的角度提升稠密深度图的构建质量。同时,采用多模态信息融合指导模块提取中期指导信息,并将该信息与表面法线信息输入特征融合模块中,提取可用于引导稀疏深度稠密化的后期指导信息,以此完成此路径上的框架结构。在多阶段指导路径上,通过前期指导信息引导融合稀疏深度信息与RGB信息,以提取更利于构建稠密深度图的图像特征,通过多模态信息融合指导模块获得该路径上的稠密深度图,采用精细化模块减少该稠密深度图中的误差信息。再次,整合两条路径的结果,获得最终稠密深度图。最后,在KITTI测试数据集上进行实验分析,将测试数据结果提交到KITTI官方评估服务器,评估指标中均方根误差值(768.35(mm))及反演深度的均方根误差值(2.40(1/km))均低于其它方法,除了客观的性能度量外,主观上本文方法在物体边缘和细节处构建的深度信息精度更高。该论文有图33幅,表4个,参考文献60篇。