基于RPN网络的长时目标跟踪算法研究

作     者：刘易松 

作者单位：西安理工大学 

学位级别：硕士

导师姓名：吴学毅;王婧;肖逸龙

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：长时目标跟踪 RPN网络 目标形变 目标丢失重现 元更新器 全局搜索 

摘      要：长时单目标跟踪是利用视频中的图像序列,对目标的外观和特征进行建模,在长时视频序列中对目标进行跟踪定位的一项技术,是机器视觉领域重要的一部分,在视频监控、军事制导、智慧交通等领域有着非常重要的应用。长时目标跟踪会遇到目标的频繁遮挡、丢失与重现以及目标形变问题,但是由于长时目标跟踪的应用范围更贴近生活,因此越来越多算法正在着眼于解决长时目标跟踪问题。RPN网络由于其具备良好的前景、背景分类能力和优秀的尺度回归能力,在复杂的长时跟踪序列中可以很好的判断目标尺度,在确保成功率和精确度较高的同时能够达到实时跟踪的要求,近些年在长时目标跟踪领域得到了广泛的关注与应用。本文基于SiamRPN算法,针对目标形变与目标丢失重现问题对长时目标跟踪进行研究,本文主要研究内容如下:(1)针对目标形变引起的模板失效问题,本文在SiamRPN算法的基础上,引入元更新器作为SiamRPN算法的模板更新模块,并命名为Update-siamRPN算法。当跟踪时的最大响应值低于设定阈值时,利用元更新器的时序信息对历史帧进行判断,更新由于目标形变导致的失效模板,减少后续追踪过程中的累计误差。在OTB100数据集中,相比SiamRPN算法,Update-siamRPN算法成功率提升了10.7%,精确度提升了7%,并且能达到每秒24帧的追踪速度。在VOT2018数据集中,其准确性提升了5.7%,鲁棒性提升了6.6%,平均重叠率提升了6.1%,很好地提高了针对形变问题的解决能力。(2)针对长时目标丢失与重现问题,在Update-siamRPN算法基础上,通过增加丢失判断模块与全局搜索模块来解决该问题,并将此改进算法命名为Update-siamRPNLT。利用丢失判断网络对局部跟踪结果评估并生成响应分数,当目标响应分数低于某一阈值时扩大至全局搜索,并利用RPN网络的尺度回归优化定位区域并得出跟踪结果;此外,当目标响应分数大于该阈值时则送入元更新器中进行模板更新。在OTB100数据集的目标出视野视频序列中,相比Update-siamRPN算法成功率提升了7.9%,精确度提升了7.3%;在VOT2018-LT数据集中算法的F-score取得了0.644的结果,同时满足了20FPS的跟踪速度,有效的提升了算法在目标丢失与重现问题上的跟踪能力。