基于深度学习的红外图像融合与超分辨率研究

作     者：邱德粉 

作者单位：哈尔滨工业大学 

学位级别：硕士

导师姓名：江俊君

授予年度：2022年

学科分类：12[管理学] 080901[工学-物理电子学] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 080401[工学-精密仪器及机械] 0804[工学-仪器科学与技术] 0802[工学-机械工程] 0835[工学-软件工程] 0803[工学-光学工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：红外图像 图像融合 超分辨率 深度学习 Transformer 

摘      要：在信息爆炸的时代,各种成像技术迅速发展。红外传感器具有可以在可见度极差的情况下工作和抗干扰能力强等优点,在现代高科技领域发挥着越来越重要的作用,具有十分广阔的发展和应用前景。另一方面,红外图像也存在空间分辨率低和边缘模糊等缺点。因此,红外图像的分析与处理就成为红外图像及其应用中的研究热点。本课题主要研究内容是红外与可见光图像融合研究以及红外图像超分辨率研究。(1)红外与可见光图像融合。红外与可见光图像融合的目标是获得具有完整场景表达能力的高质量融合图像。针对DenseFuse方法的不足和传统的基于多尺度分解的图像融合方法的启发,本课题提出了一种独具创意的渐进式红外与可见光图像融合框架,该框架以U-Net为骨干提取多尺度特征,然后逐渐融合多尺度特征,最终逐层重建融合图像。提出的方法有以下两个优点。首先,与许多基于深度特征的融合方法不同,我们不仅对包含全局信息的高层特征进行融合,而且对包含更多细节的低层特征进行融合。其次,我们不仅在原始尺寸的特征上进行融合(保持更多细节),还在其他更小尺寸的特征上进行融合(保持语义信息)。大量实验证明了我们方法的有效性和泛化性。与其他先进的方法相比,我们的方法在主观和客观评估上都显示出更好的结果。(2)可见光图像引导的红外图像超分辨率。考虑到很多场景下低分辨率红外传感器都和高分辨率可见光传感器搭配使用,一种可行的思路是利用可见光传感器捕获的高分辨率图像,辅助红外图像进行超分辨率。为此,本课题提出了一种使用高分辨率可见光图像来引导红外图像进行超分辨率的神经网络模型。考虑到红外和可见光图像对一般是不对齐的,两者之间存在一定的视差,我们使用基于引导Transformer的信息引导与融合方法,从高分辨率可见光图像中搜索相关纹理信息,并将这些相关纹理信息与低分辨率红外图像的信息融合得到合成特征。然后这个合成特征经过后面的超分辨率重建子网络,得到最终的超分辨率红外图像。在超分辨率重建模块,我们使用通道拆分策略来消除深度模型中的冗余特征,减少计算量,提高模型的性能。实验结果表明,我们提出的方法可以取得优于对比方法的超分辨率性能。针对DenseFuse融合方法的不足和基于多尺度分解的图像融合方法的启发,本课题提出了一个基于U-Net的渐进式红外与可见光图像融合框架,提出的方法实现了比较好的结果,超越许多图像融合方法。面向引导超分辨率任务,本课题提出了一种通过Transformer来使用高分辨率可见光图像引导红外图像进行超分辨率的方法,提出的方法能够充分利用红外图像和可见光图像之间的关联信息,同时取得在主观和客观评价上均优于其他对比方法的性能。