基于多特征融合的显著目标检测

作     者：汪宁宁 

作者单位：浙江大学 

学位级别：硕士

导师姓名：龚小谨

授予年度：2019年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：显著目标检测 多尺度特征融合 RGB-D数据融合 

摘      要：显著目标检测旨在模拟人类视觉机制自动从图像中检测出最具吸引力的区域。显著目标具有不同的形状和大小,因此多尺度特征融合被证明是取得良好检测结果的关键因素。而随着三维感知技术的发展,多模态数据被逐渐使用来提高显著目标检测的性能。当数据提供了多尺度、多模态的特征之后,如何对这些特征进行有效融合,成为值得深入探索的问题。本文首先从RGB数据出发,探索多尺度特征的融合策略。本文提出了一种基于多层次特征融合的RGB显著目标检测方法。该方法使用多通道特征图进行特征融合,充分保持卷积神经网络的表达能力,并且设计了三个融合阶段以促进多尺度特征的融合过程。此外,为了使特征的感受野能够达到整张图像的范围,该方法引入了全局特征模块,帮助模型更准确且完整地突出显著目标物体。随后,本文引入了深度信息,利用多模态数据应对目标物体与背景区域外观相似的场景,提出了一种基于自适应融合的RGB-D显著目标检测方法。为了学习多模态数据之间的互补关系,该方法使用了自适应融合模块,利用一张自适应权重图来选择性地融合RGB和深度信息各自的有效区域。同时,该方法增加了边缘保持损失函数,用于保持预测目标物体边缘的清晰平滑。本文分别在RGB和RGB-D的公开数据集上进行了对比实验。实验结果表明,本文提出的多尺度与多模态特征融合策略显著地提升了显著目标检测效果,基于多层次特征融合的方法达到了其他现有RGB显著目标检测算法的性能,基于自适应融合的方法与其他RGB-D显著目标检测算法相比取得了更好的表现。