基于卷积神经网络的红外图像彩色化技术研究

作     者：陈灵强 

作者单位：南京理工大学 

学位级别：硕士

导师姓名：隋修宝

授予年度：2023年

学科分类：12[管理学] 080901[工学-物理电子学] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 080401[工学-精密仪器及机械] 0804[工学-仪器科学与技术] 0802[工学-机械工程] 0835[工学-软件工程] 0803[工学-光学工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：红外图像彩色化 特征融合 对比学习 全尺度连接 注意力机制 卷积神经网络 

摘      要：红外图像彩色化技术旨在保持输入红外图像中物体结构内容不变的情况下,生成具有可见光域风格的彩色图像。然而,由于现有方法缺乏对内容变化的关注,红外域的语义和细节信息在转换过程中出现退化,生成的图像仍存在纹理失真、细节模糊和图像质量差等问题。近年来,卷积神经网络由于其强大的特征表达能力与场景泛化能力,在诸多计算机视觉领域取得了优于传统方法的视觉效果,为红外图像彩色化技术提供了新思路。由此,本文重点研究了基于卷积神经网络的红外图像彩色化技术,并致力于解决上述问题。主要研究内容与创新点如下: 1)针对现有算法生成器结构特征提取不完备,彩色化过程物体结构内容不匹配且依赖配对数据集的问题,提出了一种基于特征融合与对比学习的无监督红外图像彩色化算法。该算法使用了改进的特征融合生成器结构,通过增添密集卷积块与跳跃连接,使网络的深浅层特征有效融合,增加了网络模型的复杂性与泛化能力。提出了一种对比学习损失函数,通过构造红外图像正负实例计算相似度并利用相似度构造交叉熵损失,使得网络自动拉近相似实例距离并确保物体结构内容的一致性,从而使得网络为无监督模型,即无需配对红外可见光数据集。实验结果证明,该算法能够产生清晰自然的彩色图像,同时相较于基准Cycle GAN算法,峰值信噪比性能提升7.9%,图像结构相似度性能提升19.8%。 2)针对上述改进算法无法从全尺度捕获特征信息且对比损失函数计算过程中图像结构属性与风格属性紊乱的问题,提出了一种基于全尺度连接与注意力机制的无监督红外图像彩色化算法。该算法通过设计的跳跃连接结构将解码器与小尺度和同尺度的编码器特征图相连并与大尺度的解码特征图相连,从而在全尺度上捕获浅层细节与深层语义特征。同时利用注意力机制网络生成的带有语义分类信息的掩码图,辅助对比损失函数计算,使网络聚焦于图像相关结构特征,排除了风格属性的干扰。实验结果证明,该算法生成的图像明亮逼真,同时相较于基准算法模型,峰值信噪比性能提升15.4%,图像结构相似度性能提升21.1%。 综上所述,本文提出的两种基于深度学习的红外图像彩色化算法有效解决了红外彩色化过程中的图像退化、细节模糊以及纹理失真等问题,对提高彩色化后的图像质量,从而更符合人眼以及机器感知具有重大意义。