基于深度学习的跨模态点云补全研究

作     者：豆佳乐 

作者单位：电子科技大学 

学位级别：硕士

导师姓名：谢宁

授予年度：2023年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：点云补全 跨模态 多视角 双路结构 

摘      要：三维点云补全是计算机视觉中一个非常重要的研究领域,传统的基于深度学习的点云补全方法局限于在单一点云模态上进行训练,因此在缺失区域较大、遮挡严重时补全效果往往不佳。随着混合传感器的广泛应用,利用不同模态的点云数据对缺失部分进行补全的跨模态点云补全技术展现出巨大的潜力,这不仅提高了补全结果的可靠性,还提高了其完整性。跨模态点云补全任务需要解决两个问题,分别是如何融合多个模态的特征,称为跨模态问题,以及如何匹配全局和局部残缺部分的特征,称为跨级别问题。本研究提出了一种新颖的基于深度学习的跨模态点云补全网络模型,利用双路结构融合视图、残缺点云特征进行点云补全。该模型包含了四个主要模块,视图重建模块负责提取视图信息并重建出三维粗点云,用于提供区域细节特征,本研究中针对单视图及双视图分别进行了模块构建,这解决了跨模态问题;区域分割及区域特征提取模块负责对视图重建出的点云进行语义一致性分割并提取特征,语义一致性分割是为了更有侧重点的训练后续的细点云生成器;使用DGCNN作为全局特征提取模块对残缺点云进行特征提取;为了更好的学习到形状的细节信息,本研究采用了基于点云块的生成方式,将全局特征以及区域特征送入十六个非参数共享的细点云生成器模块中进行区域预测,之后合并新区域形成补全结果,这解决了跨级别问题。为了使最终结果更加精细,本研究还构建了基于投影的跨模态点云补全专用损失函数用于限制补全结果中离群点的出现。本研究在ShapeNet-ViPC数据集的八个主要类别上进行了大量的消融实验、数值量化及可视化实验,验证了整体模型的稳定性及各个模块的有效性,同时进行了对比实验,实验结果表明,本研究所提出的网络模型在重建损失以及F1分数两个指标下均超过了点云补全领域前人的方法,也是跨模态点云补全领域第一篇使用多视角图片信息进行补全的研究。