基于深度表示先验和多变量回归的光谱图像融合方法

作     者：张玉飞 

作者单位：南京理工大学 

学位级别：硕士

导师姓名：肖亮

授予年度：2019年

学科分类：0810[工学-信息与通信工程] 12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 081002[工学-信号与信息处理] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：全色锐化 图像融合 多变量回归 深度学习 

摘      要：随着卫星传感器的快速发展,多光谱遥感图像已被广泛使用。然而,由于传感器的技术限制和其他因素,现有的遥感传感器必须在空间和光谱分辨率之间进行折衷。全色传感器采集具有高空间分辨率的全色(PAN)图像,而多光谱传感器采集包含丰富光谱信息的低空间分辨率多光谱(LRMS)图像,PAN图像和LRMS图像的互补信息融合可用于整合PAN图像的空间细节和LRMS图像的光谱信息,以获得高分辨率多光谱(HRMS)图像,这个过程通常被称为“Pan-sharpening,即全色锐化。本文围绕Pan-sharpening问题展开研究,主要的研究成果如下:(1)提出了一种基于多变量回归的低秩正则化Pan-sharpening方法。首先,采用低秩正则项和行稀疏先验刻画HRMS图像的内在结构,其次,在细节注入框架下构造一种基于波段相关的多变量回归的数据保真项,建立多变量回归的低秩正则化模型。最后,使用増广拉格朗日乘子法(ALM)求解该模型以得到HRMS图像。仿真数据实验和真实数据实验都证明了该算法与多种成分替代方法、多分辨率分析方法和变分方法相比都获得更好的融合结果。(2)将多变量回归与深度学习相结合,提出了一种基于深度表示先验和多变量回归的Pan-sharpening方法。深度神经网络相比于传统的成分替代、多分辨率分析以及变分方法的优势在于可以组合多层非线性映射函数,能够对多个变量之间的复杂关系进行建模。本文不仅将深度残差网络应用于Pan-sharpening,而且将其与多变量回归相结合修改深度残差网络的损失函数,同时基于目标的稀疏性考虑,使用基于L范数的平均绝对误差(MAE)代替基于L范数的均方误差(MSE)作为训练网络的损失函数,使网络学习更精确的细节。仿真数据实验和真实数据实验表明,该方法相比于深度残差网络Pan-sharpening(PanNet)可以获得更好的融合质量,降低了光谱失真和空间失真,并且泛化能力更强。(3)实现了一个遥感图像Pan-sharpening融合系统,该系统主要包含两大功能模块,一是通用框架下遥感图像融合处理工具箱,二是基于深度学习和多变量回归方法的软件包。前者在通用框架下实现了九种不同的基于成分替代的Pan-sharpening方法,集成了一个针对遥感图像融合的工具箱,并提供对融合结果的评价指标的计算。后者实现了本文提出的两种方法,同时提供遥感图像可视化以及图像质量评价的功能。