基于光度立体的三维重建方法研究

作     者：郑天航 

作者单位：浙江科技大学 

学位级别：硕士

导师姓名：祝邦文;曹丽丽

授予年度：2024年

学科分类：070207[理学-光学] 07[理学] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0803[工学-光学工程] 0702[理学-物理学] 

主      题：光度立体 三维重建 深度学习 注意力机制 多尺度 

摘      要：如何从二维图像中获得三维信息完成形状重建是图形学和计算机视觉的一个重要问题,在文物保护、工业设计、医学治疗以及游戏开发等方面有着广泛的应用前景。传统的接触式三维测量方法会因为被测物体以及设备使用环境等因素的影响,无法广泛适用。非接触式的三维测量在不接触物体的前提下完成三维坐标的提取,具有较好的应用前景,如光度立体法,其中光源标定信息是必不可少的一部分,乃至决定重建的精度。因此如何设计一种简单的光源标定模型并完成高精度的三维重建成为一个亟待解决的问题。本文的主要工作如下:(1)研究了如何获取高精度的光源标定信息。通过采用注意力机制模型对提取的信息进行加强,采用最大池化的方式融合多张图像的局部信息和全局信息,设计了一种新型的光源照明空间分类模型,在降低计算复杂度的同时提升了光源标定网络精度。(2)研究了基于深度学习的三维重建网络模型的设计。在网络结构上整合光源标定模型,搭建了未标定的光度立体模型。对标定完成的光源信息和图像信息采用多尺度和注意力机制的方法提取不同层次纹理的特征信息,采用最大池化方式提取最显著特征信息,在真实数据集GiLiGenT上取得优异的性能。(3)研究了基于深度学习的通用光度立体模型的设计。在网络结构上采用分类与合并的方法处理高精度的输入图像,采用多尺度和注意力机制的方法提取物体光源信息,对光源信息和图像信息采用多头注意力机制提取局部信息和全局信息的交互关系,使用Transformer进行局部信息和全局信息的通讯。在真实采集物体上进行了定性的测试。