基于语义Transformer和图表示学习的高光谱图像分类

作     者：刘岩 

作者单位：安徽大学 

学位级别：硕士

导师姓名：罗斌;江波

授予年度：2023年

学科分类：0810[工学-信息与通信工程] 12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 0835[工学-软件工程] 081002[工学-信号与信息处理] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：高光谱图像分类 注意力机制 局部-全局特征 图卷积神经网络 

摘      要：随着遥感技术在理论上和技术上的重大发展,高光谱成像技术也越来越成熟并广泛应用于农业和军事等众多领域。高光谱图像是一种高维特殊的遥感图像,是集空间信息和光谱信息于一体的综合信息载体。高光谱图像特征提取和分类是高光谱数据处理的基础,一直是图像处理技术研究的热点。 深度学习的卷积神经网络已经在高光谱分类挑战中展现了十分具有竞争力的特征表征能力。但是由于高光谱图像的复杂性,高光谱图像分类任务仍面临着很多挑战:(1)现有的工作主要集中在探索光谱和空间信息上,而这些信息通常不能充分探索高光谱图像中丰富的语义信息。(2)针对高光谱图像数据的特殊性,卷积滤波器的感受野有限,无法获取像素之间的长距离关系。针对上述问题,本文展开如下研究: (1)针对高光谱图像中不仅有光谱空间信息,也包含丰富的语义信息这一现象,本文提出基于语义Transformer的高光谱图像分类框架。提出的语义Transformer模块(Semantic Transformer,Semantic Former)通过利用不同语义标记之间的交互,学习语义的判别性特征表示。本文提出的高光谱图像分类框架包括光谱-空间卷积网络分支和Semantic Former分支,同时提取高光谱图像的光谱-空间特征和语义特征。在三个广泛使用的数据集(Indian Pines,University of Pavia,Salinas)上进行的实验表明了我们的Semantic Former模块的有效性。 (2)针对卷积神经网络存在受到局部卷积核的限制,只能挖掘出高光谱图像的局部特征的问题,本文提出基于迭代局部-全局特征图学习的高光谱图像分类方法。该方法将给定的高光谱图像划分为超像素区域,并提取其相应的特征图。每个超像素视为图的节点建立超像素近邻图,利用提出的局部-全局特征学习模块(Local-Global Feature Learning,LGFL)提取图像特征。LGFL模块具体做法是采用图卷积操作来学习图像的局部特征,通过Transformer层来提取到高光谱图像的全局特征。同时,实验中还使用了多尺度图结构结合超像素,融合多尺度的特征并进行特征学习。本文在三个广泛使用的数据集(Indian Pines,University of Pavia,Salinas)上进行的实验验证了提出基于迭代局部-全局特征图学习框架的有效性。