基于互注意力和模板更新的红外行人跟踪算法研究

作     者：王琴 

作者单位：哈尔滨工程大学 

学位级别：硕士

导师姓名：卢芳;王少龙

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0803[工学-光学工程] 

主      题：红外行人跟踪 孪生网络 注意力机制 模板更新 

摘      要：红外行人跟踪在智能交通、城市监控和军事侦察等领域具有重要意义。然而,红外图像由于分辨率较低、纹理信息较少、缺少颜色信息等特点,增加了跟踪任务的难度。为此,本文深入研究基于孪生网络架构的跟踪算法,针对红外行人目标跟踪的特点进行优化,以实现对红外行人目标进行准确鲁棒的跟踪。本文的主要研究工作如下:首先,针对全卷积孪生网络使用卷积相关进行相似度匹配容易陷入局部最优的问题,设计了一种基于互注意力机制的特征融合网络。两个基于交叉注意力机制的交叉特征增强聚合模块分别放在孪生网络的两个分支,对两个分支的特征图进行融合,并进行多次级联,最终实现模板和搜索区域分支全局信息的相互感知,提升模型在复杂的红外行人跟踪场景下的鲁棒性。使用改进后的Res Ne St网络作为骨干网络,通过分散注意力思想进行跨通道特征图的信息交流,增强骨干网络的特征表达能力,进而提高模型的跟踪性能。其次,在推理过程中,针对红外场景下小目标行人之间的特征难以区别的问题,采用一种通过运动估计自适应调整搜索区域的策略,根据连续几帧中行人的位移大小来自适应地调整搜索区域的放大倍数,抑制杂波干扰,同时满足行人快速运动的场景。并且针对红外行人跟踪领域数据集不足的问题,通过迁移学习的方法来训练红外行人跟踪器,先利用可见光跟踪领域的大规模数据集对模型进行预训练,提高模型的泛化性能,然后使用LSOTB-TIR数据集中的行人样本完成模型对红外行人特征的学习,以适应红外行人跟踪任务。最后,针对红外行人目标发生形变、相似目标干扰的情况下跟踪性能变差、容易发生跟踪漂移的问题,引入模板更新策略以适应行人目标的外观变化。线性更新策略难以适应行人复杂的外观变化,进而提出基于高置信度的自适应更新策略,通过卷积神经网络自适应地更新模板,以跟踪结果的置信度分数作为模板更新的判断条件,提高了模板的纯度。在PTB-TIR数据集上,对两种更新策略进行对比,结果表明,基于高置信度的自适应更新策略对目标外观的剧烈变化、遮挡都有较好的鲁棒性,在一定程度上能够缓解目标形变带来的跟踪漂移的问题,跟踪的成功率和精确度都有提升。