基于RGBD多模态信息的行人轮廓跟踪方法研究

作     者：周政 

作者单位：电子科技大学 

学位级别：硕士

导师姓名：郑宏

授予年度：2019年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：行人轮廓跟踪 RGBD多模态信息融合 深度学习 视频目标分割 主动轮廓 

摘      要：目标跟踪是计算机视觉任务中极具挑战的技术之一,在计算机视觉任务中其属于中级处理任务。目标跟踪技术在如今的智能监控、无人驾驶、人机交互、虚拟现实等诸多应用领域中都是重要的技术环节。所谓目标跟踪,即在视频序列初始给定感兴趣目标,而在后续连续视频帧中不断将序列中的目标标注表达出,从而达到跟踪效果。而轮廓跟踪则是用边缘轮廓对目标进行表达的一种形式。相对于更常用的boundingbox跟踪形式,轮廓跟踪形式更能灵活反应目标的形态变化,尤其是对于非刚性目标,给人以更直观的形状信息。因此轮廓跟踪极具研究意义。但目前仍有许多待解决的理论与技术问题,如目标与背景具有相同的表观、环境光线微弱等因素引起的跟踪漂移等问题等等。本文将基于深度学习的方法来对视频序列中感兴趣的行人目标进行轮廓跟踪,采用端到端的双通道全卷积网络结构,融合RGB和Depth两种模态的信息以提高跟踪效果。本论文的主要工作如下:(1)分析现有的基于深度学习方法的视频目标分割方法基本思想原理以及主动轮廓基本思想原理,对两种算法框架进行研究并结合两者进行行人轮廓跟踪方法设计,分析整个方法的优缺点指出其整体所存在的不足。(2)研究现有的视频目标分割深度学习算法OSVOS,在其网络结构基础上进行改进,使得其能够引入Depth图像信息,同时根据OSVOS算法的局限性,我们在原OSVOS的思想原理上新增结合时序信息的在线更新策略,以期改进后的网络模型能够有效使用RGBD信息,从而使得整个行人轮廓跟踪方法能够在光线不足、目标表观与背景表观较为相似等复杂的跟踪场景下能够取得良好的跟踪效果。(3)研究分析现有的融合多模态信息的卷积网络,采用双通道的卷积网络结构,给出三种不同的融合RGBD多模态信息的双通道OSVOS全卷积网络结构,并在测试集上对采用了三种不同融合方式的双通道网络结构的行人轮廓跟踪方法进行对比实验。实验结果证明基于决策阶段自适应融合方式的行人轮廓跟踪方法相比于基于特征阶段融合方式的行人轮廓跟踪方法跟踪效果更佳,具有更好的准确性和鲁棒性。