基于帧内关系建模和自注意力融合的多目标跟踪方法

作     者：朱姝姝 王欢 严慧 ZHU Shu-shu;WANG Huan;YAN Hui

作者机构：南京理工大学计算机科学与工程学院南京210094 

出 版 物：《控制与决策》 (Control and Decision)

年 卷 期：2023年第38卷第2期

页      面：335-344页

核心收录：

学科分类：08[工学] 0837[工学-安全科学与工程] 0802[工学-机械工程] 0701[理学-数学] 080201[工学-机械制造及其自动化] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(61703209 61773215)。 

主　　题：多目标跟踪 图神经网络 数据关联 帧内目标关系建模 

摘      要：多目标跟踪在视频监控领域有重要的应用价值.随着卷积神经网络(convolutional neural networks, CNN),尤其是图神经网络(graph neural networks, GNN)的发展,多目标跟踪的研究现阶段取得了很大突破.其中,图神经网络由于引入目标-轨迹间的关系建模,显示出更稳定的跟踪性能.然而,已有的基于GNN的多目标跟踪方法都仅在连续两帧之间建立全局关系模型,忽视了帧内目标与周围其他目标的交互,没有考虑在帧内建立合适的局部关系模型.为了解决该问题,提出基于帧内关系建模和自注意力融合模型(INAF-GNN)的多目标跟踪方法.在帧内, INAF-GNN建立目标与邻居目标的关系图模型以获取局部跟踪特征;在帧间, INAF-GNN建立目标与轨迹关系图模型以获得全局跟踪特征,并利用注意力机制设计一个特征融合模块整合局部和全局跟踪特征.在MotChallenge行人标准数据集上进行大量的实验,与多个基于图神经网络的多目标跟踪方法相比较,结果显示, MOTA指标提高1.9%, IDF1指标提高3.6%.同时,在UA-DETRAC车辆数据集上的验证测试表明了所提出方法的有效性和泛化能力.