车载场景下红外目标检测及跟踪算法研究

作     者：秦花 

作者单位：哈尔滨工程大学 

学位级别：硕士

导师姓名：钱真;李钢强

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0803[工学-光学工程] 

主      题：深度学习 红外图像 目标检测 多目标跟踪 

摘      要：自动驾驶是人工智能的重要应用领域之一,对智能交通和智慧城市的发展有着重要的意义。车辆和行人的检测和跟踪作为其中不可或缺的关键技术,能够帮助车辆实时感知周围环境并做出准确的驾驶决策。随着人工智能技术的发展,使用深度学习进行目标检测及跟踪已成为当前研究的热点。然而,当前基于深度学习的研究主要是针对可见光图像,有关红外图像的研究却相对较少。而红外图像因其成像方式受光照条件影响小,不仅可以像可见光一样在白天进行工作,在夜晚或雾雨天也有很好的成像效果。与可见光图像相比,红外图像特征更少,对模型的特征挖掘要求更高。同时,红外图像对比度更微弱,对模型区分目标的能力要求也更高。因此,红外图像检测及跟踪更为困难。随着深度学习技术的不断发展,目标检测及跟踪的精度也不断提高,但精度的提升往往伴随着更高计算能力的需求。一些模型过分追求精度而忽略实时性能,难以在工业领域真正应用。为此,本文对红外车载场景下目标检测及跟踪进行了研究。本文的工作内容主要有以下两个部分:(1)本文在YOLOv5算法的基础上提出了多项改进。首先,引入Ghost模块改进骨干网络,设计了GhostCSP替换YOLOv5s中的CSP结构,并设计了GhostNeck替换3×3的标准卷积,使得模型更轻量化。其次,在GhostNeck网络中的Ghost Module后面分别融入通道注意力机制(SENet)和坐标注意力机制(CA),对比检测效果,选择了对检测精度提升更高的CA模块融入检测模型,提升了模型的检测效果。接着,引入Shuffle Net-v2中的Channel-shuffle结构替换Neck网络中的CSP结构最后的1×1卷积,进一步提高了模型的运行速度。最后,采用了一种针对特定场景的数据增强方法,以提升模型的检测能力。实验结果显示,改进模型在本文的数据集上的平均精度(mAP)达到了78.7%,检测速度达到了39.8FPS,相对于YOLOv5s模型,改进模型在基本保持精度的情况下,检测速度提升了69.4%。因此,本文改进后的检测模型在精度和速度上取得了良好的均衡。(2)本文将基于检测的多目标跟踪算法应用于红外车载场景下的行人车辆跟踪,并对DeepSORT跟踪算法进行了以下改进。首先,将改进的检测模型融合到多目标跟踪模型中,提高了模型的运行速度。接着,建立了红外车载场景下的行人车辆跟踪数据集,并重新训练深度表观模型,使得模型能更好地提取物体特征,从而提升了目标跟踪的效果。实验结果显示,改进算法的MOTA和MOTP指标都有所上升,同时IDs也有一定程度的下降。因此,本文改进后的跟踪模型可以有效跟踪红外车载场景下的行人车辆目标。