大场景主从相机协同的运动目标检测和跟踪

作     者：李中振 

作者单位：西安电子科技大学 

学位级别：硕士

导师姓名：李静;张翔

授予年度：2018年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：大场景 目标检测与跟踪 广角相机 PTZ相机 主从控制 

摘      要：运动目标的检测跟踪一直是计算机视觉和图像处理领域研究的热点问题之一。其中,针对大场景下运动目标的检测跟踪技术在军事、安防、交通等领域都具有广泛的应用价值和重要的理论研究意义。但是,大场景监控视场范围大,如果仅采用固定焦距的广角相机,目标在相机画面中所占比例小,无法获取目标的高清图像及细节信息;云台控制相机(Pan-Tilt-Zoom Camera,PTZ Camera)虽然能通过缩放获取目标的清晰图像,但存在视场小、易忽略周围目标的问题。这两种相机都无法满足大场景监控的需要。本文针对大场景监控的特点及应用需求,结合固定广角相机和PTZ云台控制相机各自的优势,研究了基于主从相机协同的大场景运动目标检测与跟踪方法。其中,广角相机为主相机,对整个区域内的运动目标进行检测跟踪;可变焦PTZ相机为从相机。本文的主要研究内容如下:(1)研究了大场景下主相机的运动目标检测与跟踪方法,主要包括:主相机图像畸变矫正、主相机运动目标检测与跟踪。由于广角相机拍摄的图像存在一定畸变,所以本文首先对主相机图像进行了标定矫正。然后,本文通过结合Visual Background Extractor(Vibe)和三帧差分算法,检测了主相机图像中的运动目标。最后,基于匈牙利算法实现了初步匹配,并采用卡尔曼滤波进行轨迹预测,完成了主相机的目标跟踪。实验表明,本文算法可以同时对场景中运动目标进行实时检测与跟踪。(2)研究了从相机的目标检测与跟踪方法。本文在PTZ图像背景变化的情况下,针对从相机图像的具体特点,对比了背景补偿、传统机器学习方法与深度学习方法在处理动态背景下目标检测问题的优劣,采用了检测正确率较高且实时性较好的YOLOv2方法。针对从相机目标特点将目标颜色特征作为目标标识,采用Camshift和Distractor-Aware Tracking(DAT)对目标进行跟踪,并结合YOLOv2检测,实现了对从相机图像快速准确地目标检测与跟踪。实验结果表明,在动态背景下,本文方法有效地实现了目标检测,具有良好的跟踪效果。(3)针对主相机与从相机的协同问题,研究了主相机的像素坐标与从相机PTZ值(即俯仰角度、水平偏角、相机焦距)之间的映射关系。算法利用主从相机跟踪同一目标时的对应关系,完成了主从相机关系的建立。在这种主从关系的基础上,通过对比主相机中目标坐标的PTZ值与当前从相机的PTZ值,利用反馈信息控制从相机动作,保证了目标在从相机画面的中间位置。(4)设计并实现了一个大场景主从相机协同的运动目标检测跟踪系统,主要包括主相机目标检测跟踪、从相机目标检测跟踪、主从相机关系的确定、主从控制四个模块。首先,建立广角相机与PTZ相机之间的主从关系;然后,对主相机中的运动目标进行检测与跟踪;接着,基于上述构建的主从关系,实现主相机对从相机的控制;最后,从相机锁定目标位置,并进行检测识别与跟踪,完成了大场景下的运动目标检测与跟踪问题。该系统既可以实现对整个区域的全面监控,也能获得感兴趣目标的细节特征,为后续的目标识别与行为分析提供了支持。