基于多尺度Transformer的无监督高光谱和多光谱图像融合

作     者：张世崇 

作者单位：河北大学 

学位级别：硕士

导师姓名：刘帅奇

授予年度：2024年

学科分类：0810[工学-信息与通信工程] 12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 081002[工学-信号与信息处理] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：图像融合 高光谱图像 多光谱图像 深度学习 Transformer 

摘      要：高光谱图像(Hyperspectral Image,HSI)具有丰富的光谱波段,可以更精确地识别不同的材料,在地物分类和环境监测等领域有着广泛的应用。然而,由于设备和成像条件的限制,HSI通常表现出有限的空间分辨率。融合同一场景的低分辨率高光谱图像(Low Resolution Hyperspectral Image,LR-HSI)和高分辨率多光谱图像(High Resolution Multispectral Image,HR-MSI)是生成HR-HSI的重要方法。目前,基于深度学习的HSI和MSI融合算法得到了广泛的应用,但是大多数基于深度学习的HSIMSI融合算法不能很好地捕获遥感图像中的长程依赖信息,且计算复杂度较高。同时,大量的优质训练数据的缺少成为了影响基于深度学习融合算法性能的重要问题之一。本文基于无监督深度融合网络,结合Transformer模块和注意力模块,构建了无监督线性Transformer引导融合网络和无监督多尺度Transformer融合网络。这些网络可以更好地捕获图像中的长程依赖信息,同时无需额外的训练数据即可完成LR-HSI和HRMSI的融合任务。本文的主要工作如下: (1)基于无监督线性Transformer引导融合网络的高光谱和多光谱图像融合 为了降低Transformer模块的运算复杂度,提升融合图像特征和光谱的丰富度,本文面向HSI-MSI融合领域,构造了一种无监督线性Transformer引导融合网络(Unsupervised Linear-transformer-guided Fusion Network,ULTGF-Net)。ULTGF-Net由多尺度通道交互特征提取网络和引导融合网络组成。首先,本文使用多尺度通道交互特征提取网络提取MSI的多尺度特征,并进行通道信息交互;其次,本文将得到的多组MSI特征输入到引导融合网络中对HSI特征进行空间引导增强,并进行特征融合;再次,本文将融合后的特征输入到三维注意增强模块中沿多个维度进行空间光谱特征增强,最终生成HR-HSI。与其他先进方法相比,ULTGF-Net在保持较低的运算复杂度的同时,在各项主客观评价实验上均取得了更好的表现。 (2)基于无监督多尺度Transformer融合网络的高光谱和多光谱图像融合 为了在Transformer模块中实现HSI和MSI的多尺度特征交互,学习MSI和HSI的交叉特征空间相似性和长程依赖性,本文构造了一种无监督多尺度Transformer融合网络(Unsupervised Multiscale Transformer Fusion Network,UMTF-Net)。UMTF-Net由HSI融合网络和基于U-Net的多尺度空间提取网络组成。首先,本文使用基于U-Net的多尺度空间提取网络提取MSI的多尺度特征;其次,本文将这些特征输入到HSI融合网络中相应尺度的交叉特征融合Transformer模块中进行特征交互融合;再次,本文将融合后的特征输入到空间光谱融合注意力模块中进行空间光谱特征增强,最终生成HR-HSI。在3个数据集上的测试结果表明,UMTF-Net所获得的融合图像充分地保留原图像的空间细节信息,并具有更少的光谱失真,其在多项评价指标上超过了ULTGFNet。