基于卷积神经网络的光场显著性检测研究

作     者：蒋奔 

作者单位：江苏科技大学 

学位级别：硕士

导师姓名：徐丹

授予年度：2023年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：显著性检测 光场图像 微透镜图像阵列 焦点堆栈 卷积神经网络 

摘      要：显著性检测一直以来是计算机视觉领域的重要研究方向之一,准确有效的显著性检测可以为视觉跟踪、目标检测与识别、重定向、图像压缩等提供可靠的先验信息。基于RGB图像和RGB-D图像的显著性检测易受光照、遮挡等因素的影响,在挑战性场景中检测精度较低。随着光场成像技术的发展,光场数据为显著性检测开辟了一条新的途径。光场图像中丰富的视觉信息,包括颜色、深度、聚焦、光线的位置和方向等,可以帮助算法在复杂场景中准确定位显著性物体。因此,利用光场数据进行显著性检测吸引了大量国内外学者的关注。然而,现有的光场显著性检测算法没有充分考虑多模态光场数据之间的相关性和互补性,导致多模态融合效果不够理想,在复杂场景中出现错检、漏检等情况。针对以上问题,本文利用卷积神经网络强大的特征提取能力,探索并利用微透镜图像阵列和焦点堆栈图像中丰富的视觉信息,提高复杂场景中的显著性物体的检测精度。本文的主要工作如下:(1)提出了一种基于微透镜图像阵列和全聚焦图像融合的光场显著性检测算法。该算法首先对微透镜特征进行细化,使其更加关注视角变化信息,强化其与全聚焦特征的差异性,然后采用光场融合模块来自适应地融合微透镜特征和全聚焦特征。通过从微透镜图像阵列中学习角度特征,帮助区分颜色、纹理相似的前景和背景,提升算法在复杂场景中的检测性能。(2)提出了一种基于焦点堆栈和全聚焦图像融合的光场显著性检测算法。该算法首先采用双流网络架构分别提取焦点堆栈和全聚焦图像的特征。然后,在全聚焦特征的指导下进行焦点切片组内上下文信息传播。接下来,对焦点堆栈特征进行整合,通过探索每个焦点切片的权重来强调有用的光场特征并且抑制不必要的光场特征。最后通过Conv GRU模块对焦点堆栈特征和全聚焦特征进行融合。(3)本文做了大量的实验来验证提出算法的有效性。分别将提出的算法与目前先进的RGB、RGB-D和光场显著性检测算法进行比较并做了消融实验。实验结果表明,本文提出的光场显著性算法在复杂场景中有较强的鲁棒性,并且在多个公开数据集上均取得了优异的性能。