基于多层语义信息与物体推荐的单目标跟踪算法研究与系统实现

作     者：张竞一 

作者单位：北京邮电大学 

学位级别：硕士

导师姓名：明安龙

授予年度：2020年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：目标跟踪 深度学习 颜色直方图 物体推荐 

摘      要：在计算机视觉领域中,单目标跟踪是一个热点研究方向,其任务目标是在一个连续图像序列的第一帧中标注出目标的位置和大小,然后在接下来的序列中识别并标注出目标。随着智能设备的普及,单目标跟踪作为一项基础视觉应用技术也受到工业界的广泛关注。本文分析了传统单目标跟踪算法,发现这些方法对跟踪目标的外观和类别区分能力不足,缺少合适的全图搜索策略。针对这些缺陷,本文提出了基于多语义信息融合与物体推荐的单目标跟踪方法。该方法基于双流神经网络,针对双流网络的缺陷,从网络结构和训练集方面改善了网络性能,同时结合手工特征进一步提升跟踪器的表达能力。本文还提出了一个快速的全图重搜索策略以应对目标丢失的情况。本文的研究主要分为三个部分:双流网络的改进,目标外观特征的提取,基于物体推荐的全图搜索策略。(1)双流网络的改进部分主要包括:增加多层语义融合结构,使网络综合物体的外观和类别进行输出;增加基于相似度的注意力结构,使网络能抑制背景噪声,编码出更具有区分力的目标特征和背景特征。在训练的时候添加带语义的负样本,提高网络对物体类别的区分能力。(2)物体外观特征提取部分提出了基于颜色概率直方图的物体外观提取策略,该策略通过记录目标颜色的出现概率来描述目标外观,可根据像素颜色在搜索区域生成像素级别的目标概率图,约束神经网络的输出。(3)基于物体推荐的全图搜索部分提出了一个遮挡边缘提取-物体推荐-全图搜索的框架来处理目标丢失于相机视野的情况,该框架利用遮挡边缘这一物体级别语义信息对包围和内含有物体的可能性进行考量,将似物性(objectness)这一概念引入跟踪任务,以较小的计算开销获得了全图的目标搜索结果。(4)本文最终利用以上算法设计了一个单目标跟踪系统,实现了高精度的任意类别物体跟踪功能。本课题所设计的单目标跟踪系统,在Linux操作系统平台上运行,使用PyTorch深度学习框架进行网络搭建,整个系统使用Python语言进行编写。本课题所设计的单目标跟踪系统在在 OTB2013,OTB2015,VOT2016,VOT2017,VOT2018等国际知名跟踪数据集上进行了测试,并与近几年来在计算机视觉主流会议上发表的同类方法进行性能比较,实验证明了本文提出的方法具有更好的目标区分能力,在跟踪精度上有更好的表现。