基于模板更新与多分支融合模块的视频目标跟踪算法研究

作     者：李高祥 

作者单位：西安理工大学 

学位级别：硕士

导师姓名：鲁晓锋;李锋

授予年度：2024年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：目标跟踪 计算机视觉 孪生网络 模板更新 注意力机制 

摘      要：随着近年来人工智能技术的进步与先进计算机硬件的出现,深度学习算法在图像分类、目标检测跟踪、语义分割等计算机视觉领域以及机器翻译、语音识别等自然语言处理上获得了极大的聚焦与应用。在这些领域中,计算机视觉的目标跟踪算法尤为关键,它已被广泛应用于智能视频监控、无人驾驶、导航定位等众多行业,算法的研究不仅具有普遍民用应用价值,还拥有重要的商业和军事价值。特别是基于孪生神经网络的目标跟踪算法,训练出的跟踪器在评价指标中展现出了出色的跟踪性能,已然成为深度学习目标跟踪方向的主要研究热点。然而,当下流行的孪生网络框架目标跟踪算法中依旧存在诸多不足之处:首先,大多数使用孪生网络框架的目标跟踪算法都选择不进行模板更新操作,少数会采取线性加权的融合方式对模板图像进行简单融合更新,难以适应实际情况下待跟踪目标遇到的各种背景环境变化和自身形变。其次,孪生神经网络目标跟踪算法在相似度匹配时采取简单的互相关或卷积操作完成模板特征与搜索区域特征的融合,不仅导致响应图的感受野受限,并且引入模板更新机制后的融合特征图使用线性加权融合无法合理分配特征权重。为了解决上述存在的问题,本文通过分析孪生网络目标跟踪算法与模板更新方式的国内外研究现状,提出了两种不同结构的目标跟踪模板更新算法,分别采取模板精炼更新网络与注意力多分支特征融合网络进行目标模板更新并实时跟踪,提高了算法的综合性能。 本文的主要研究内容以及创新点如下: (1)提出了一种基于模板精炼的孪生神经网络目标跟踪算法: 当前流行的深度学习孪生网络目标跟踪算法大多数都是只使用用户在初始帧手动框选出的目标模板,并且该模板在后续帧跟踪过程中不进行更新。随着时序跟踪的进行,当目标遇到模糊或形状发生剧烈变化等环境影响时,目标的外观特征往往会发生一定的变化,导致提取到的搜索图像特征包含了无效信息,在特征匹配时存在产生跟踪漂移的问题,进一步就会影响算法的整体性能。针对上述问题,本文设计了一种基于模板精炼模块的孪生神经网络目标跟踪算法,模板精炼模块受到了模板更新算法UpdateNet的网络结构的启发,在跟踪过程的每一帧都判定并进行实时的模板精炼,并且改进了算法定位网络结构,以实现对初始模板的更新。为了使得本算法的模板精炼模块具有更好的鲁棒性,针对设计了模板精炼模块的训练方法,使用原始算法预训练模型并通过冻结参数完成更新模块的训练,保证各模块最大限度实现功能的同时提升算法整体性能。 (2)提出了一种基于注意力机制多分支融合模块的孪生神经网络目标跟踪算法: 当前流行的跟踪算法中,不使用模板更新策略的目标跟踪器多数情况下遇到恶劣跟踪环境将会跟踪失败,使用模板更新的孪生神经网络引入了更新的模块会提升跟踪结果的准确性但也可能会导致跟踪速度降低,并且一般的线性插值融合方法无法应对每一帧目标位置信息的特殊性,导致权重匹配不合理,若使用简单卷积融合操作响应图感受野也会受限。针对上述问题,本文提出了一种基于注意力机制多分支融合模块的孪生神经网络目标跟踪算法来引入模板更新机制同时平衡对跟踪器带来的影响,通过更新模板并多分支输入进网络扩大响应感受野,同时通过插入权重向量以及注意力机制的模板融合方法对特征图进行融合,合理获取每一个像素点的特征响应权重以提高跟踪器的综合性能。