基于立体视觉与深度学习的障碍物检测技术研究

作     者：许宇博 

作者单位：西安工业大学 

学位级别：硕士

导师姓名：王国珲

授予年度：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：立体视觉 深度学习 立体匹配 目标检测 深度测量 

摘      要：近年来,随着人工智能及相关硬件设备的高速发展,对障碍物的检测识别与空间感知技术进入了新的发展阶段。基于视觉传感器的障碍物感知技术虽然在一定程度上实现了道路环境的感知与障碍物的识别,但仍然存在着检测准确率低、依赖多模态数据、深度感知能力不足等问题。针对上述挑战,本文以基于立体视觉的障碍物检测技术为切入点,对基于立体图像对的障碍物检测与空间感知技术展开研究,针对不同的任务阶段选择合适的算法并改进,以达到精准、高效的障碍物检测效果。主要研究工作如下: (1)针对传统视觉成像系统无法准确获取目标三维信息的问题,建立双目立体视觉测量模型,分析了空间中目标点与立体图像对中像点的投影转换关系;基于张正友的平面标定方法设计了本文系统的标定流程,对实验设备的参数进行了标定,并结合标定参数对立体图像对进行了立体校正。 (2)目前主流的目标检测算法难以解决障碍物检测中常见的小目标,尺度变化,遮挡目标等挑战。本文针对上述问题,采用YOLOv8算法为基线模型,对网络的特征融合部分进行优化设计,改善算法对不同尺度目标特征的融合能力;将检测头网络替换为Dyhead动态检测头,以加强网络对遮挡特征的提取能力;最后使用Focaler-Io U对损失函数部分进行重新设计,解决了样本不平衡带来的拟合问题。不同实验的结果表明所提出的方法有效解决了传统算法在障碍物检测中所面临的挑战。 (3)基于立体视觉模型在深度计算时存在的高精度像素点匹配需求,建立端到端的深度学习立体匹配算法对场景深度进行计算。以GA-Net为基线模型,对损失函数部分进行优化改进,引入两个新的损失函数约束,强化了算法对不同环境特征的泛化能力,并替换原有的L1损失函数为交叉熵损失函数,弥补主流算法在边缘区域的视差估计不稳定性。通过在公开数据集与实际场景的实验结果证明了改进算法的有效性。 (4)由于使用点云的算法依赖激光雷达等设备,并对计算资源的需求较大。本文提出对视差图像进行基于U-V视差统计图像的目标分割方法,使用改进的RANSAC直线拟合算法对V视差图中的道路区域进行提取,并在去除路面区域后,在U视差图中对代表障碍物的像素区域进行检测。最后结合图像目标检测算法的检测结果,制定综合判别策略,实现融合图像像素与深度信息的障碍物精准检测与距离测量。