基于多视图体渲染方法重建神经隐式曲面

作     者：赵凯 

作者单位：重庆理工大学 

学位级别：硕士

导师姓名：南海

授予年度：2024年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：计算机视觉 三维表面重建 神经辐射场 符号距离场 注意力机制 

摘      要：近年来,随着计算图形学和计算机视觉的快速发展,三维重建领域的研究愈发成熟。由于表面颜色均匀、纹理重复或颜色变化强烈,传统重建方法可能造成重建的表面不够准确或者缺失。继神经辐射场(Ne RF)的提出,基于体渲染的隐式表面重建成为了研究热点,可以有效解决传统方法的固有缺陷。尽管现有的一些基于符号距离场(SDF)的方法在这方面取得了一些进步,但仍然具有着优化潜力。本文建立在Ne RF的基础上,针对透明表面重建存在的缺陷,以及体素网格分辨率的限制导致的表面重建精度受限等问题,提出了两种改进策略,具体介绍如下。 (1)针对基于SDF的隐式表面重建在重建透明表面时存在缺陷,提出了一种考虑对象材料属性差异性的表面重建方法,引入局部概率标准方差(LPSV)来表示场景中不同物体表面的最大体积密度,并针对改进优化了体渲染公式和分层采样两个模块。通过在两个具有透明表面的数据集上和已有方法进行的对比实验表明,该方法不仅可以对透明表面进行稳健重建,而且可以根据物体材料类型准确地重建物体表面对应的颜色。 (2)针对基于体素网格的表面重建存在分辨率难以提高、重建表面的精确度受到限制的问题,提出了三向量网格和多层感知机(MLP)共同重建SDF的方法。由于三向量网格的分辨率具有与内存增长呈线性关系的特点,因此分辨率容易提高到更高水平,避免表面质量因为网格分辨率不足受到限制。首先,使用自注意力卷积生成不同频带上的特征,以减少网格离散性并增加非线性表示能力。其次,对三向量特征嵌入位置编码,通过引入归纳偏差,对抗表面重建过程中的噪声。最后,针对复杂表面难以拟合的问题,提出了一种数据采样的优化方法,在复杂表面附近提高采样频率。相比纯粹使用MLP具有更好的拟合能力。实验结果表明,该方法在DTU数据集上的表面重建精度优于最先进的方法4%。 上述两种对基于体渲染的隐式表面重建的改进均能提高相应的评价指标,能够获得更好的表面重建精度和更好的视觉效果,为实现真实场景三维表面重建提供了重要的技术支持。