基于生成对抗网络的红外图像超分辨率算法研究与实现

作     者：王绍庆 

作者单位：山东大学 

学位级别：硕士

导师姓名：杨阳

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：红外图像超分辨率 自反馈模块 生成对抗网络 知识蒸馏 嵌入式平台 

摘      要：随着深度学习方法的飞速发展,基于深度学习的图像处理技术被广泛应用在各个领域。其中,被动式红外成像技术作为成像技术的典型代表,一直以来,在军事国防、医疗、森林防火、安防等方面发挥着不可替代的重要作用。受制于生产规模和生产成本,目前仍难以获得分辨率与可见光图像相媲美的红外图像。因此,使用低分辨率红外相机并配合图像超分辨率算法,是较为可行的获得低成本、高分辨率红外图像的方法。针对当前红外图像超分辨率问题研究和应用中存在的问题,本文在以下几个方面开展了研究。针对深度学习模型在规模受限条件下表达能力弱的问题,借鉴模拟电路中反馈电路的结构,本文设计并应用了自反馈模块(Feedback Block,FB)。自反馈模块将输出的数据通过反馈通路的增益系数,将部分数据反馈到输入端,从而使其对输入数据的噪声敏感度降低,提高了模块的抗干扰能力。同时,为防止模块因反馈机制引入而进入震荡状态,在模块的训练阶段修改反馈通路的增益系数来调整网络的状态,以确保FB以及整个网络模型的稳定性。针对传统方法获得的超分辨率红外图像效果较差的问题,本文构建了 一种基于自反馈模块的生成对抗网络(Super-resolution Feedback Block Generative Adversarial Network,SRFBGAN),并使用感知损失函数提高恢复图像的主观感知质量,利用小波系数构建损失函数以提高对高频细节的恢复能力。另外,由于红外成像技术通过物体的热辐射成像,相对于可见光图像,红外图像中的内容较为模糊,所以在SRFBGAN的训练过程中利用了可见光图像构建数据集,来提高网络模型对图像细节的恢复能力。针对本文提出的基于自反馈模块的生成对抗网络实际部署的问题,使用知识蒸馏的方法对其进行结构优化与网络裁剪,以实现其在嵌入式平台上的运行。本文根据红外图像中存在大量平缓区域的特性,对图像内容平滑程度进行分类,构建三种不同规模的学生模型对不同平滑程度的图像块进行超分辨率处理,最后将恢复的图像块拼接。该方法不仅处理速度快,并且也保证了较好的红外图像恢复效果。最后,本文设计实现了一款红外图像超分辨率相机平台,从工程角度对嵌入式平台的硬件进行选型,并设计了相应的嵌入式平台软件系统。同时,为保证应用平台的可扩展性,在软硬件设计时预留扩展接口,并开发了红外图像超分辨率相机的人机交互界面,为其他基于红外图像的应用提供服务。