基于图卷积神经网络的遥感图像语义分割研究及应用

作     者：何爽 

作者单位：江苏海洋大学 

学位级别：硕士

导师姓名：卢霞;许祝华

授予年度：2022年

学科分类：0810[工学-信息与通信工程] 08[工学] 081104[工学-模式识别与智能系统] 081002[工学-信号与信息处理] 0811[工学-控制科学与工程] 

主      题：遥感图像 语义分割 图神经网络 二阶统计量 特征融合 

摘      要：随着遥感技术的快速发展,包含丰富地物场景空谱信息的遥感影像规模日益猛增,对浩如烟海的遥感影像数据的解译成为了当前的热点、难点问题。语义分割作为一种重要的图像内容解析方法,一直是遥感影像数据的一个重要研究方向。传统的遥感影像处理手段,依赖于数据特征本身以及先验知识,主要通过统计学习的方式得到浅层描述信息,存在耗时、耗力和精度低的问题。近年来深度学习技术的进一步发展,为遥感图像的解析和处理带来了新变革,但由于网络卷积核固有的特点,对描述关系的图数据难以获得有效地适配,且存在对地物语义边界分割不准确,小区域地物特征预测不一致等问题。图卷积神经网络很好地填补了技术上的空白,实现图数据与深度学习技术的有效结合。本文将主要围绕图卷积神经网络的图像语义分割算法在遥感图像中的应用进行深入研究。主要的研究成果如下:(1)基于一种改进的注意力机制的图卷积神经网络的遥感影像语义层面分割方法研究,充分考虑了影像中不同场景地物光谱反射率特征,并综合考虑节点间上下文表征和结构信息。首先进行影像空谱特征的提取,然后构建图卷积神经网络模型,引入注意机制层来引导图卷积层关注最相关的节点,以便通过为邻域中的不同节点指定不同的系数来做出决策。注意力机制层位于图卷积层之前,减小来自相邻节点的噪声信息的负面影响。最后将粗略的特征图谱与图神经网络提取的特征进行组合,预测最终的结果。结果表明:改进的注意力机制的图卷积神经网络模型,在公开的高分二号影像上能取得较好的分割效果,总体分割精度、平均F1值和kappa系数分别为92.31%、88.48%和89.64%。(2)为了提高相邻土地覆盖之间相关性的可区分性并处理高分辨率遥感图像中的边界模糊,实现了一种新的基于端到端的双流图卷积遥感图像语义分割网络模型。首先,受图卷积神经网络优势的启发,基于图的编码器被设计为一个关键的编码器来建模像素-超像素依赖关系以构建图,并传播上下文信息,从而有效地产生增强的超像素表示信息。此外,将卷积神经网络,密集连接空洞卷积网络和空洞卷积网络结合设计为另一个编码器,以处理遥感图像语义分割中目标尺度的大变化。此外,一种结合图像级和图形级信息的新型解码器旨在提高语义分割的效率,其中嵌入了反卷积操作以将特征图恢复到原始空间分辨率。结果表明,基于端到端的双流图卷积遥感图像语义分割网络模型在高分辨率遥感影像上取得不错的性能,kappa系数分别达到了Vaihingen:89.46%和Potsdam:88.54%。(3)针对遥感高光谱图像数据分辨率高、波段数目多带来的巨大挑战,为了提升有限样本下的分类精度,减少外部环境噪声干扰,结合丰富的空-谱数据,提出一种在欧几里德/非欧几里得空间中具有混合统计量的多流混合卷积网络,称为MSHCNet。首先设计了基于图的二阶池化算子(Graph Second Order Pooling,GSOP)操作,以获取非欧几里得空间中的上下文节点信息。其次采用四种不同混合统计量的混合卷积网络结构,使得不同的网络模块能够依据不同特征提取的角度挖掘遥感影像中深层的潜在语义描述信息,获取更为全面的语义描述特征,以提升最终的分类精度。在相关遥感高光谱数据集上的实验表明MSHCNet网络模型拥有更好分割的性能,鲁棒性更强。在Indian Pines数据集上的整体精度为83.23%和kappa系数为80.72%;在Pavia University数据集上的整体精度为93.14%和kappa系数为91.43%。该论文有图24幅,表13个,参考文献99篇。