基于图像分割指导的单目深度估计算法研究

作     者：闫虎林 

作者单位：电子科技大学 

学位级别：硕士

导师姓名：阎波

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：单目深度估计 无监督 图像分割 边缘一致性 深度学习 

摘      要：深度估计在自动驾驶、服务机器人等在内的计算机与环境自主交互应用场景中具有不可或缺的应用价值。基于深度学习的单目深度估计,仅需单张RGB图片就可以获取深度信息,受到了广泛关注和研究。近年来,基于深度学习的单目深度估计取得了迅速发展,却仍有例如深度估计量程、精度、分辨率等技术指标,以及算法的效率与环境适用性不能完全满足不同应用和场景需求等问题依然未得到解决,这些问题始终影响着此项技术在实际场景中的广泛应用。基于时序约束的无监督单目深度估计,仅需要单目相机采集的视频图像序列,更简单普遍,研究门槛更低,而其在理论上却具有更强的泛化性和应用价值。本文工作主要针对连续视频图片序列中,因存在违背光度一致性假设、场景静止假设的数据而造成单目深度估计算法对深度预测缺乏语义信息,边缘深度精确度不高的问题,提出了基于图像分割指导的单目深度估计框架,具体的工作主要有:1.针对因场景和视觉遮挡造成的模型深度预测缺乏语义信息,边缘深度精确度不高的问题,设计了一个边缘一致性模块,提出了边缘一致性约束和形状约束。利用语义分割图片中更精准的分割边缘强制约束深度估计边缘,增强深度估计网络的语义表达能力。实验结果表明,加入了边缘一致性模块的网络在性能指标上相较基线算法具有明显的提升,对深度的预测表达能力进一步提高,在对比的7项指标中,有5项指标得到了提升。2.针对场景中动态物体对深度估计模型的影响,提出了一个基于语义分割动态物体检测算法,构建了基于语义分割动态物体检测的单目深度估计算法框架。对视频序列中相邻帧的语义分割图,利用视觉合成的方法进行分割图的重建,通过计算真实语义分割图与重建语义分割图的交并比,判断动态物体并形成动态掩膜,用其抑制动态物体对光度投影误差的污染。通过实验证明了该方法的有效性,加入动态物体检测模块的网络在深度估计的性能上较基线网络有了明显提升。3.结合提出的两个模块构建了基于图像分割指导的单目深度估计算法框架。通过模块消融实验测试了整体算法框架的工作情况,通过动态掩膜覆盖范围实验,分析了动态掩膜对所提损失函数的影响,将网络损失函数调整到最佳的搭配。经过实验验证,网络对深度的预测表达能力进一步提高,相较于基线网络,性能评价的6项指标均有所提升。