多源信息融合的图像目标跟踪技术研究

作     者：龚龙雨 

作者单位：西安电子科技大学 

学位级别：硕士

导师姓名：张子敬;王勇

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：毫米波雷达 摄像头 多目标跟踪 信息融合 目标检测 

摘      要：在安防领域中,常常要求监控范围更广、检测精度更高并且跟踪性能更好的产品。本文结合实际项目背景,研究了基于毫米波雷达和光学摄像头的目标检测及目标跟踪等相关技术,针对图像中远距离“小目标的检测精度与跟踪性能差的问题展开研究。在远距离场景下,漏检率难以降到5%以下,多目标跟踪准确度MOTA(Multiple Object Tracking Accuracy)难以达到50%以上,无法满足实际项目需求。因此,本文的研究重点以及创新点如下:1、针对图像中远距离“小目标检测难的问题,提出基于毫米波雷达和图像的多源信息融合检测网络。首先,提出基于最小二乘的图像裁剪方法,通过坐标转换将雷达检测信息转换成图像坐标信息并生成感兴趣区域ROI(Region of interest),对其进行裁剪以此提高目标在图像中的像素占比;然后,针对裁剪后的图像,本文在YOLOv5的基础上进行通道裁剪并引入Ghost网络,得到改进的检测网络YOLOv5-gslim,在精度和计算量、参数量之间取得平衡;最后,将裁剪后的图片送入网络进行检测。实验结果表明:图像裁剪可以使YOLOv5s的平均精度值m AP(mean Average Precision)达到了76.8%,性能提升了近42.7%;融合检测的漏检率为4.16%,满足实际应用需求,验证了融合检测网络的有效性。2、为了解决对远距离“小目标进行跟踪时,因关联错误导致频繁出现身份标识切换ID Switch(Identity Switches)的问题,提出了基于毫米波雷达与Deep Sort(Simple online and realtime tracking with a deep association metric)框架的多源信息融合跟踪算法。首先,设计了数据关联算法,实现多源信息对同一目标的数据关联;接着,针对目标遮挡时检测信息丢失的问题,利用预测信息对丢失部分进行数据补齐;然后,设计了一种基于度量矩阵融合的数据关联算法,根据不同目标的相关系数对不同的度量矩阵进行信息融合并生成融合度量矩阵,提高算法对目标实际距离的敏感性;最后,将融合度量矩阵作为门控矩阵对余弦矩阵进行相应处理,去除匹配对中不可能的配对结果,提高数据关联的准确度。实验数据表明该融合跟踪方法的MOTA指标达到了62.4%,性能提升了36.8%,多目标跟踪准确度MOTP(Multiple Object Tracking Precision)为36.16%,ID Switch次数下降了30.4%,验证了所提算法的有效性。3、设计了多源信息融合算法软件平台,将融合跟踪处理算法进行了实现。首先,根据系统软件的功能需求进行了模块划分和多线程设计;然后,设计了雷达跟踪算法,并将该算法与融合算法集成到数据处理模块,扩展了系统的功能;最后,使用Qt图像应用框架作为开发工具进行系统软件实现。在实际测试后,本软件平台完成了对远距离目标区域的检测及跟踪的任务。