基于Transformer的多模态目标跟踪算法

作     者：梁林林 

作者单位：辽宁工程技术大学 

学位级别：硕士

导师姓名：刘万军

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：RGBT 可见光图像 红外图像 Transformer 目标跟踪 

摘      要：目前,目标跟踪算法跟踪效果取得了很大突破,在自动驾驶、无人机侦查等领域得到了广泛的应用。大多目标跟踪算法基于CNN特征提取网络使用可见光数据进行跟踪,但在光照条件差、背景干扰,遮挡等复杂环境下很难提取出充足的特征信息,容易出现跟踪漂移甚至失败的问题。同时CNN特征提取网络只关注局部信息,上下文信息不足,无法对图像特征建立全局联系,容易造成目标跟踪效果的鲁棒性下降。针对上述问题,提出基于Transformer的多模态目标跟踪方法Trans-RGBT。首先,针对可见光图像在恶劣条件下提供目标信息有限的问题,本文引入热红外图像与可见光图像结合,利用热红外图像具有光照不敏感的特性有效增强在恶劣条件下的目标信息。使用两个相互独立、参数不共享的残差网络对可见光图像与热红外图像分别进行特征提取,并将提取到的特征进行特征级融合,利用融合后的结果进行跟踪。其次,针对基于CNN的特征提取网络只关注局部信息、无法对图像特征建立全局联系的问题,引入视觉自注意力机制Transformer对来自模板与搜索区域的特征向量进行编码,输入编码器中得到增强后的特征向量。最后,为了降低计算复杂度,本文使用无锚框的方法进行矩形框预测,将解码器计算出的权重与增强后的特征向量相乘,得到目标分类与矩形框的预测值。本文在大规模数据集VTUAV,RGBT234上进行了实验,在VTUAV数据集的成功率为63.1%,准确率为76.3%。在RGBT234上的成功率为57.6%,准确率为77.6%。该论文有图33幅,表8个,参考文献64篇。