基于多视点视频的三维动态场景重建方法研究

作     者：李阳光 

作者单位：北京邮电大学 

学位级别：硕士

导师姓名：桑新柱

授予年度：2020年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：结构点 特征匹配 多视点重建 光流 动态场景重建 

摘      要：三维重建技术是通过摄像机从现实物理世界获取物体三维信息的技术。近年来随着技术的发展以及对三维数据需求的增加,使得重建技术受到关注并取得了很大进步。但是,三维重建仍面临一些问题。比如,静态场景重建中,特征匹配存在少量的误匹配现象,以及弱纹理或重复纹理区域的特征不明确造成的点云空洞问题。另外,针对实际的动态场景,还存在目标检测与跟踪不准确,以及动态重建算法不成熟的问题。在本文中,针对多视点图像重建的匹配问题,加入了结构点优化特征匹配过程。使用结构点提供的语义信息,配合物体自身的几何信息对重建的点云空洞进行填补,减少了外点的影响。针对多视点视频动态场景重建,加入了光流算法优化三维场景点云重建过程。利用光流算法跟踪提取运动物体,融合多帧的场景背景点云,有效的提高了场景的信息。考虑到传统光流算法的局限,本文使用了基于深度学习的光流计算方法,提高了场景重建效果。本文主要工作如下:(1)利用物体结构点优化特征匹配过程。针对弱纹理区域特征不易匹配的问题,提取了物体结构点,增加匹配点对,缓解了弱纹理区域特征匹配数量不足的问题。(2)提出了基于结构点优化的点云重建方法。针对重建点云中存在外点以及包含空洞问题,提出一种基于结构点优化的方法。利用卷积网络提取的目标结构点,根据三维空间的关联信息,剔除了重建点云中的外点,并对目标物体所在区域存在的空洞进行填补。(3)提出了基于光流的三维动态重建方法。利用光流跟踪多视点视频中的场景目标,提取三维运动点,融合场景背景点云。在原有的三维静态场景中,融合了多个时刻的点云信息,增加了场景的有效信息量。