融合自适应采样与全局感知的图像深度估计算法

作     者：王国相 李昌隆 宋俊锋 叶振 金恒 

作者机构：丽水学院 浙江省特色文创产品数字化设计与智能制造重点实验室 北京邮电大学信息与通信工程学院 浙江大华技术股份有限公司 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2024年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：浙江省“尖兵”重点研发计划项目(2023C01004) 装发共用基金:基于人工智能的测控技术研究(61405180409) 浙江省自然科学基金探索项目(LTGN23F020001) 丽水市公益性技术应用研究计划项目(2022GYX06) 

主　　题：深度估计 深度补全 稠密深度图 多尺度特征融合 自适应采样 

摘      要：深度估计旨在通过少量稀疏深度样本点预测场景的稠密深度图，现有方法通常直接从稀疏深度样本生成最终的深度预测图，没有充分挖掘稀疏深度图包含的几何信息，导致深度估计算法的预测精度不够高。针对上述问题，提出一种融合自适应采样与全局感知的图像深度估计算法，由粗粒度到细粒度逐步预测深度图。通过引入预训练的深度补全网络预测粗粒度的稠密深度图，获取丰富的场景结构信息和语义信息。然后，设计自适应深度采样方法，引导算法模型对远处的区域施加更多关注，缓解深度数据的长尾分布问题。同时通过新设计的全局感知模块，捕获并融合多尺度特征，从而获取更多的场景上下文信息。在NYU-Depth-v2数据集上的实验结果表明，算法在整体性能上超越了其他方法；消融实验的结果验证了提出的各个模块的有效性；Zero-shot实验的结果表明算法有较好的泛化性能，其中在ScanNet数据集上的阈值精度指标δ1.25相比P3D方法提升了42%，相比S2D方法则提升了3.8%。