基于Swin-Transformer改进的目标跟踪算法

作     者：刘时 朱明 

作者机构：中国科学院长春光学精密机械与物理研究所 

出 版 物：《液晶与显示》 (Chinese Journal of Liquid Crystals and Displays)

年 卷 期：2024年第11期

页      面：1569-1580页

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主　　题：目标跟踪 多尺度窗口 Swin-Transformer 模板更新 多模型融合 

摘      要：基于STARK目标跟踪方法中采用ResNet为骨干网络，其特征提取能力不足，跟踪效果较差。针对此问题，本文基于Swin-Transformer网络，提出了一种改进的目标跟踪算法。首先，对Swin-Transformer内窗口注意力机制进行多尺度改进，设计多尺度窗口模块MW-MSA，旨在提取更为丰富的局部细节信息，与全局上下文信息共同构成多尺度判别性特征。接着，结合Transformer的编码-解码结构作为特征融合网络，采用优化的多层感知机作为更新分数判断网络构成状态感知模块。最后，针对目标消失、重现挑战，提出了一种多跟踪器融合方法。融合多尺度改进的跟踪算法和SuperDiMP跟踪算法，设计消失状态判断模块，综合考虑两种跟踪器的置信度分数及目标在预测框附近的可能性估计。实验结果表明，相较STARK跟踪算法，本文算法在GOT-10K数据集上的平均重叠率（AO）提升2.7%、成功率SR0.5提高3.3%。在L-LaSOT数据集上，相较于STARK算法，成功率（AUC）提升0.8%，在目标消失重现挑战下成功率提升1%。