基于高斯混合模型与多通道双边滤波的RGBD场景流计算技术研究

作     者：李盈盈 

作者单位：南昌航空大学 

学位级别：硕士

导师姓名：陈震

授予年度：2021年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：RGBD场景流 高斯混合模型 多通道双边滤波 边缘模糊 

摘      要：3D场景流是真实世界中场景表面可见像素点的瞬时三维运动矢量,与光流相比,3D场景流不仅包含场景和物体的三维运动参数,还提供了丰富的三维结构信息。研究3D场景流计算技术的目的是从图像序列恢复场景与物体的三维运动与结构,进而为高级视觉任务提供准确的先验信息。近年来,随着计算机技术的快速发展,3D场景流计算技术已成为图像处理、计算机视觉与人工智能等领域的研究热点,研究成果被广泛应用于虚拟现实、自动驾驶、医学影像、无人机视觉、智能机器人等领域。近年来,随着消费级深度传感器（如微软的Kinect）的广泛应用,基于RGBD图像序列的场景流计算技术逐渐成为场景流计算的热点方向。由于深度传感器在成像质量和有效距离等方面仍有待进一步提高,因此,现有的RGBD场景流计算方法在大位移、运动遮挡等复杂场景下的准确性与可靠性较低。针对上述问题,本文主要研究基于高斯混合模型与多通道双边滤波的RGBD场景流计算技术,旨在提高场景流估计精度的同时解决复杂场景的边缘模糊问题,本文的研究工作和创新点主要包括以下:1.介绍了场景流计算技术的研究背景及意义,论述了场景流计算方法研究现状,提出了当前场景流技术领域存在的关键问题,概述了场景流计算模型的基础理论,并对相机模型中四个坐标系之间的转换关系、光流与场景流之间的对应关系进行了详细的说明。2.针对含有大位移、运动遮挡等复杂场景下的场景流计算准确性与可靠性较低问题,提出一种基于高斯混合模型的深度图像优化方法。首先,输入前后两帧RGB图和对应深度图,用K均值算法对深度图进行初始分层;然后,计算前后两帧RGB图像序列光流,用高斯混合模型对光流进行聚类分割,获得光流分割结果,并根据光流分割结果逐层优化深度分层,获得更准确的深度分层信息。该方法提高了深度图像序列在运动边界区域的分割的准确性,进而提高大位移、运动遮挡等复杂场景下场景流估计的精度与可靠性。3.针对复杂场景下场景流计算结果的边缘模糊问题,提出基于高斯混合模型与多通道双边滤波的RGBD场景流计算方法。首先,利用优化后的深度分层信息结合光流信息计算得到初始场景流;然后,利用双边滤波方法对初始场景流进行多通道优化,并获得更准确的运动边缘信息。该方法提高了大位移、遮挡等复杂场景下场景流估计的准确性和可靠性,同时有效的保护了运动边缘。4.在Middlebury 2003、Middlebury 2005和MPI-Sintel等数据集上分别进行消融实验和对比实验。通过消融实验证明了采用高斯混合模型的深度图像优化方法,可提供更准确的深度分层信息,进而提高了大位移、运动遮挡等复杂场景下场景流估计的准确性。利用多通道双边滤波优化算法有效避免了场景流计算的边缘模糊问题。通过对比实验分析了本文算法与传统方法、深度学习方法在处理大位移和运动遮档等复杂场景的场景流估计性能。实验结果表明,本文算法在针对包含大位移、运动遮挡等复杂场景中场景流估计具有较高的准确性和鲁棒性,有效改善了边缘模糊问题。