基于RGB-D的室内场景分割技术研究

作     者：靳瑜昕 

作者单位：中北大学 

学位级别：硕士

导师姓名：杨晓文

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：RGB-D图像 深度学习 室内语义分割 多模态融合 多尺度融合 

摘      要：随着人工智能、计算机硬件等技术的发展,应用深度学习解决计算机视觉领域的相关问题已逐渐普遍化。作为计算机视觉领域中图像处理的关键步骤,图像语义分割在智能交通、医学诊断等越来越多的领域得到应用,因此研究图像语义分割具有重要意义。室内场景的结构较为复杂,RGB图像提供的颜色信息会使色彩相近物体间的边界模糊,而深度图像可以为RGB图像提供相应的几何关系,结合深度图像能够有效提高分割效果,因此基于互补的RGB和深度图像的语义分割逐渐成为图像处理领域的研究热点。本文研究了基于RGB-D图像的室内场景语义分割技术,主要研究内容如下:(1)阐述了深度学习在RGB-D图像分割领域应用时的相关理论知识,分析目前RGB-D语义分割在多模态融合以及多尺度融合方面存在的问题,并针对以上问题展开研究;(2)由于RGB图像和深度图像存在的差异性和互补性,针对如何有效融合两种模态信息,提出了一种注意力引导多模态交叉融合的分割网络ACFNet。首先,采用编码器-解码器结构,设计非对称双流特征提取网络,并在RGB编码器中添加全局-局部特征提取模块(GL);其次,提出了注意力引导多模态交叉融合模块(ACFM),有效融合RGB和深度特征,更好地在多阶段利用融合的增强特征。实验结果表明,ACFNet网络显著提高了室内场景的分割效果;(3)针对室内场景中目标物体尺寸不一的问题,提出一种融合编码器多尺度特征的RGB-D语义分割网络EMFNet。首先,提出了结合池化操作的多尺度特征融合模块(PMFM),有效利用了编码器阶段提取的多尺度特征;其次,设计了多重跳跃连接模块(MSCM),重新利用了下采样过程中缺失的细节信息。实验结果表明,EMFNet网络优于ACFNet及对比的其他语义分割方法。