模态间匹配学习的高光谱和激光雷达联合分类

作     者：杭仁龙 孙瑜 刘青山 HANG Renlong;SUN Yu;LIU Qingshan

作者机构：南京信息工程大学计算机学院南京210044 江苏省大气环境与装备技术协同创新中心南京210044 

出 版 物：《遥感学报》 (NATIONAL REMOTE SENSING BULLETIN)

年 卷 期：2024年第28卷第1期

页      面：154-167页

核心收录：

学科分类：070801[理学-固体地球物理学] 07[理学] 08[工学] 0708[理学-地球物理学] 0816[工学-测绘科学与技术] 

基　　金：科技创新2030-“新一代人工智能”重大项目(编号:2021ZD0112200) 国家自然科学基金(编号:U21B2044,U21B2049,61906096) 

主　　题：遥感图像 高光谱图像 激光雷达数据 深度学习 匹配学习 联合分类 

摘      要：如何有效地提取和融合不同模态的特征是高光谱图像和激光雷达数据联合分类的关键。近年来,得益于深度学习强大的特征学习能力,其在高光谱图像和激光雷达数据联合分类领域受到了越来越多的关注。然而,现有的深度学习模型大多基于监督学习的模式,分类性能依赖标注样本的数量和质量。为此,本文提出了一种基于模态间匹配学习的联合分类方法,充分利用未标注样本的信息,减少对标注信息的依赖性。具体而言,本文首先通过高光谱图像和激光雷达数据之间的匹配关系和KMeans聚类算法,构造模态匹配标签。然后,利用该标签训练含有多个卷积层的匹配学习网络。该网络由两个并行分支构成,每个分支负责提取单个模态的特征。最后,以该网络为基础,构造高光谱图像和激光雷达数据联合分类模型。该模型的参数由匹配学习网络进行初始化,因而只需要少量标注样本进行微调即可达到理想的分类效果。为了验证本文方法的有效性,在Houston和MUUFL两个常用的高光谱图像和激光雷达数据联合分类数据集上进行了大量的实验。实验结果表明,与已有的分类模型相比,本文方法能够获得更高的分类性能。