基于RGB-D的反向融合实例分割算法

作     者：汪丹丹 张旭东 范之国 孙锐 WANG Dan-dan;ZHANG Xu-dong;FAN Zhi-guo;SUN Rui

作者机构：合肥工业大学计算机与信息学院安徽合肥230009 

出 版 物：《图学学报》 (Journal of Graphics)

年 卷 期：2021年第42卷第5期

页      面：767-774页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(61876057 61971177) 

主　　题：Depth图像 实例分割 特征融合 反向融合 掩码优化 

摘      要：RGB-D图像在提供场景RGB信息的基础上添加了Depth信息,可以有效地描述场景的色彩及三维几何信息。结合RGB图像及Depth图像的特点,提出一种将高层次的语义特征反向融合到低层次的边缘细节特征的反向融合实例分割算法。该方法通过采用不同深度的特征金字塔网络(FPN)分别提取RGB与Depth图像特征,将高层特征经上采样后达到与最底层特征同等尺寸,再采用反向融合将高层特征融合到低层,同时在掩码分支引入掩码优化结构,从而实现RGB-D的反向融合实例分割。实验结果表明,反向融合特征模型能够在RGB-D实例分割的研究中获得更加优异的成绩,有效地融合了Depth图像与彩色图像2种不同特征图像特征,在使用ResNet-101作为骨干网络的基础上,与不加入深度信息的Mask R-CNN相比平均精度提高10.6%,比直接正向融合2种特征平均精度提高4.5%。