可见光与红外图像融合的显著性检测算法研究

作     者：霍赋硕 

作者单位：重庆大学 

学位级别：硕士

导师姓名：朱学贵

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：显著性检测 图像增强 深度学习 卷积神经网络 多模态融合 

摘      要：近年来,伴随着深度卷积神经网络以及Graphics Processing Unit(GPU)的出现,作为机器视觉领域的热点方向之一,显著性检测已经取得了快速的发展。另外,随着包含成千上万张的含有标注的数据集的出现,基于深度卷积神经网络的显著性检测精度也在不断提升。但是基于可见光图像的显著性检测在极端情况下,例如低光照环境、遮掩环境、和低对比度环境,精度会大幅下降。因此,借助多模态信息进行显著性检测,例如深度图与红外图像,成为学术和工业研究热点。可见光图像和红外图像各有优缺点,例如,在低光照环境中,可见光图片会失去对比度,但是红外图像会提供较为可靠的热信息,辅助定位显著性物体。在复杂的热环境中,红外图像可能会受到各种复杂热源信息的影响,引起冗余噪声。因此,在可见光与红外图像显著性检测中,如何提高多模态信息源的高效融合,达到多模态互补的作用,是多模态显著性检测的重点与难点。同时,在实际工业检测场景中,多模态传感器成像质量会受到各种外部因素影响,例如烟雾、雨水、低光照等等。为了解决这些问题,本文旨在提出高效准确的多模态显著性检测方法,同时对多模态信息源进行预处理增强,减少外部极端环境的影响。本文取得的创新性研究成果主要包含以下几个方面:1.针对可见光与红外多模态显著性检测,本文提出了高效的基于中期融合的可见光与红外图像融合的显著性检测方法。提出了上下文引导的跨模态融合模块,高效提取多模态视觉信息中的有用信息,抑制噪声信息。同时提出了基于像素、区域、与图片层级的损失函数,更好地监督整个网络进行训练。提出的算法占用较少的计算资源并且精度较高。2.为进一步提高运算速度,本文提出了基于单流编码器的早期融合可见光与红外多模态显著性检测方法。早期融合策略高效地提取多模态信息源,减少了编码器的计算负担。同时提出了语义引导模块,高效地逐步细化检测分割结果,同时算法达到了实时速度(每秒处理53-60张图片)。3.劣质有雾图像对图像对比度和颜色等底层纹理信息有较大的负面影响。针对有雾图像增强这个不适定性问题,本文提出了快速的图像去雾算法,提出了改进的大气照明先验,并针对性地对图像进行直方图矫正和多尺度融合等操作,对有雾图像进行增强,提高了可见光图像在有雾情况下的对比度。同时证明了所提出的算法在视频与JPEG图像上去雾效果的有效性。