基于孪生网络的目标跟踪算法研究

作     者：王立功 

作者单位：西安电子科技大学 

学位级别：硕士

导师姓名：宋骊平

授予年度：2021年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：深度学习 孪生网络 目标跟踪 注意力机制 卷积神经网络 

摘      要：近年来,随着人工智能的迅速崛起和大数据时代的到来,计算机视觉成为热门研究方向,视觉目标跟踪作为其中一项重要分支,广泛应用于智能驾驶、视频监督、虚拟现实等多个领域。尽管近几年来目标跟踪取得了很大进展,但对于遮挡、形变、光照变化等仍极具挑战性,除此之外,由相似目标干扰造成的难题更加难以解决。因此,对目标跟踪算法的研究仍具有重要的现实意义。随着孪生网络应用到目标跟踪领域中,因其能够很好的兼顾速度和精度,已迅速成为目前最主流且效果最好的跟踪算法之一。该类算法以孪生网络为特征提取器,将跟踪问题转化为目标图像和候选图像的相似性匹配问题。本文研究了基于孪生网络的目标跟踪算法,主要工作如下:(1)研究了基于双重指导的目标跟踪算法。尽管基于孪生网络的目标跟踪算法已经实现了很优秀的跟踪性能,然而现有算法没有充分利用目标分支和搜索分支之间、回归分支和分类分支之间的潜在关系,以及响应图中各通道对不同目标有不同响应这些现象,造成现有算法难以应对相似目标干扰和旋转等复杂环境。针对这些挑战,本文提出了双重指导模块,所谓双重指导是指:(1)在特征提取阶段,目标分支引入通道注意力机制,通过通道注意力机制自适应的重新赋予权重,以此通道权重重新指导两分支的通道权重,建立两者之间的桥梁,实现目标分支对搜索分支的注意力权重指导;(2)在头部网络,利用边界框相对偏移统计特征和准确定位的强相关性,引入分布质量预测指导网络,实现回归分支对分类分支的分布质量预测指导。最后将本文提出的算法与其它顶尖算法在三个常用数据集上进行对比实验,实验结果表明了本文算法的优越性。(2)研究了融合空间-语义特征的目标跟踪算法。Siam RPN++算法采用简单的空间感知采样策略打破了平移不变性的限制,将Res Net-50应用到目标跟踪中来,但该算法只是简单的将浅层特征和深层特征各自经过深度卷积操作后导入头部网络进行线性融合,没有充分利用各层特征之间的潜在关系。因此本文在特征提取阶段,提出三种模块来增强这些潜在关系,三种模块分别为:(1)空间-语义特征融合(SSFA)模块,实现同层特征的特征信息加强;(2)浅层特征增强空间-语义特征(LEH)模块,建立浅层对深层的联系;(3)深层特征增强空间-语义特征(HEL)模块,建立深层对浅层的联系。通过这三种模块的应用,可以提取更加丰富的空间和语义特征。进一步在头部网络的回归分支中引出融合Io U置信度分支,来实现定位矫正,从而训练出更加鲁棒的跟踪器。最后在四个常用数据集上进行对比实验,结果表明了所提算法的有效性。