基于多尺度目标检测与重识别的行人多目标跟踪算法研究

作     者：彭晶莹 

作者单位：中南大学 

学位级别：硕士

导师姓名：韩锟;李希宁

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：多目标跟踪 目标检测 行人重识别 注意力机制 自适应特征融合 数据关联 

摘      要：目标跟踪是计算机视觉领域的基本问题,行人多目标跟踪在智能监控、智慧交通等多个领域有着广泛的应用前景。然而实际跟踪场景中存在尺度变化、频繁遮挡等情况,给多目标跟踪带来了极大挑战。为了进一步提升跟踪性能,本文在Deep SORT算法的基础上提出一种基于多尺度目标检测与重识别的行人多目标跟踪算法(MMEDeep SORT),主要研究内容如下:第一,针对目标检测性能不好导致多目标跟踪不稳定的问题,选择YOLOX算法作为检测器,并对模型进行改进来获取更高的检测精度:在骨架网络中添加ECA通道注意力模块,增强网络的特征提取能力;在颈部网络中添加ASFF自适应特征融合模块,提升多尺度检测性能;在预测头部分修改损失函数,加速网络收敛。算法在CUHKSYSU数据集上进行了实验,结果表明,对YOLOX算法的改进能有效提升检测性能,测试集检测精度达到94.4%。第二,针对单摄像头多目标跟踪准确度较低的问题,使用改进的NSA卡尔曼滤波算法与OSNet行人重识别网络构建运动模型与外观模型,减少检测结果与跟踪轨迹的错误匹配;基于检测置信度与轨迹状态将检测结果与跟踪轨迹进行分类与分级处理,采取不同的相似性度量实现数据关联,降低频繁遮挡导致的身份切换与目标丢失。针对高实时性需求,设计了一种嵌入重识别分支的YOLOX预测头结构,并用Tensor RT对网络模型进行推理加速。算法在MOT17与MOT20数据集上进行了实验,测试集MOTA指标达80.4%与77.7%,IDF1指标达78.4%与76.7%,相较于其他算法具有一定的优越性,能够较好的处理实际应用中的挑战。第三,针对单摄像头多目标跟踪存在视野局限的问题,基于本文改进算法构建了多摄像头多目标跟踪系统。在获取各摄像头跟踪轨迹后,利用重识别外观特征进行层次聚类与相似度计算赋予全局ID,并使用时空约束模型进一步修正全局ID的分配,实现跟踪轨迹的跨摄像头数据关联。系统在NLPR＿MCT、EPFL与AI City Challenge 2023Track1数据集与模拟监控网络的视频数据上进行了实验,验证了本文方法的可行性与有效性。图63幅,表16个,参考文献102篇