基于跨模态特征融合的RGB-D显著性目标检测

作     者：陈正 赵晓丽 张佳颖 尹明臣 叶翰辰 周浩军 Chen Zheng;Zhao Xiaoli;Zhang Jiaying;Yin Mingchen;Ye Hanchen;Zhou Haojun

作者机构：上海工程技术大学电子电气工程学院上海201600 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2021年第33卷第11期

页      面：1688-1697页

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金(61772328) 

主　　题：RGB-D显著性目标检测 双分支特征 跨模态融合 

摘      要：为了解决基于彩色图像的显著性检测在多目标或小目标等场景下无法准确检测出显著目标的问题,提出了一种基于RGB-D跨模态特征融合的显著性检测网络模型,该网络模型以改进的全卷积神经网络(FCN)为双流主干网络,分别提取彩色与深度特征并作出预测,最后利用Inception结构融合生成最终显著图.针对原FCN实际感受野远低于理论感受野,没有真正利用图像全局信息的问题,设计了双分支结构的全局与局部特征提取块,利用全局特征分支提取全局信息并指导局部特征提取,并以此构建了改进的FCN.此外,考虑到不同层级上彩色与深度特征之间的差异性,提出了跨模态特征融合模块,采用点积有选择性地融合彩色和深度特征,与加法和级联相比,采用点乘可以有效减少噪声与冗余信息.通过在3个公开基准数据集上与21种主流网络相比的综合实验表明,所提模型在S值、F值和MAE这3个指标上基本处于前3水平,同时对模型大小进行了比较,其大小仅为MMCI的4.7%,与现有最小模型A2dele相比减少了22.8%.