基于多分辨率几何结构信息的三维点云补全算法与研究

作     者：谭磊 

作者单位：济南大学 

学位级别：硕士

导师姓名：赵秀阳

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：三维点云补全 多层感知机 注意力机制 投影判别器 生成对抗网络 

摘      要：随着三维扫描仪设备的广泛普及以及三维视觉技术的迅速发展,三维点云(Point Cloud)数据已经受到学术界和工业界的特别关注。三维点云数据是在一个三维坐标系中的一组向量的集合,其结构简单且包含了丰富的信息,包括三维坐标、颜色、方向等。因此,三维点云被广泛应用于自动驾驶、增强现实、机器人领域,具体包括三维场景中的目标检测、跟踪和分类等任务。然而由于光反射、目标遮挡、噪声等不可避免因素,获取的三维点云数据可能存在丢失或稀疏等问题,从而形成了不完整点云。不完整点云的补全对三维视觉技术的发展具有重要的研究意义与应用价值,如何利用多分辨率不完整点云的几何结构信息进行高精度、高效率的补全是一个亟需解决的关键问题。由于三维点云比图像多了一个维度,多分辨率三维点云补全面临着更加复杂的问题。其研究难点主要体现在:(1)空间分布复杂:点云是无序、稀疏、不规则分布的,需要考虑计算机如何处理这些无序的数据。(2)几何信息不足:与二维图像相比,点云缺少了二维图像中的纹理,导致几何结构信息缺失,易产生噪声点,降低了点云的补全精度。(3)判别器鉴别能力不足:现有的判别器并不能有效地区分预测点云与真实点云,导致判别器的优化能力不足,无法提高点云的补全精度。针对上述问题,本文基于多分辨率不完整点云的补全开展了深入研究,主要工作如下:(1)针对空间分布复杂的研究难点,本文利用图结构捕获无序点云的拓扑信息,提出了一个基于图结构的跳跃连接三维点云补全网络。此网络采用K近邻策略构造无向图后,进一步使用多层感知机和最大池化层来解决点云的无序性问题,同时在特征解码过程中引入跳跃连接,减少特征信息的丢失。所提出的算法有效地考虑了邻域点与中心点之间的几何关系,提高了点云补全模型的精度。(2)针对几何信息不足的问题,本文设计了一个基于Transformer的点云补全网络。首先设计了一个双层偏置注意力机制来捕捉长距离特征之间的依赖性并嵌入位置信息提取特征之间的空间相关性,其次将双层特征融合以充分提取局部信息,最后利用点金字塔解码器生成多分辨率完整点云。所提出的算法进一步考虑了多分辨率点云在同一分辨率下的一致性,从而使生成的点云分布更加均匀。(3)针对判别器鉴别能力不足的问题,本文提出了一种基于投影对抗网络的三维点云补全算法来进一步优化预测结果。该方法将生成的完整点云投影到二维相机坐标系中判别其真实性,最后利用投影判别器来对抗训练生成模型,从而提高三维点云补全模型的准确性。在投影生成对抗网络的基础上,本文还设计了一个骨架特征增强模块来推理不完整点云的骨架点,捕捉骨架点的特征作为局部几何信息,将这些局部信息嵌入提取的特征中生成精细的完整点云。