基于伪孪生架构的多光谱遥感图像分割算法研究

作     者：郑通 

作者单位：华中科技大学 

学位级别：硕士

导师姓名：陈忠

授予年度：2023年

学科分类：0810[工学-信息与通信工程] 08[工学] 081002[工学-信号与信息处理] 

主      题：遥感图像 语义分割 伪孪生架构 注意力机制 特征融合 

摘      要：作为遥感领域一项基本任务,语义分割在城市规划管理、国土资源检测、道路车辆检测等领域都发挥着不可替代的作用。语义分割能够实现遥感图像的精准解译,近年来深度神经网络研究取得重大突破,推动了语义分割领域的蓬勃发展。然而与普通图像相比,多光谱遥感图像尺度变化更大、波段数更多、细节更复杂,这些特点分别引起了跨尺度目标分割精度低、波段信息混淆和局部与全局信息难以平衡的问题。针对上述问题和现有方法的局限性,本文进行了以下研究:针对多光谱遥感图像尺度变化大导致跨尺度目标分割精度低的问题,本文在panoptic网络的基础上提出了分组卷积与特征增强的分割算法:训练32个不同的卷积核,使其分别感知各尺度的语义特征;在不同位置嵌入通道注意力或通道-空间注意力机制,以实现在通道与空间维度对特征增强;在通道维度堆叠特征以完整保存各级特征。针对类别不平衡与梯度容易消失的问题,设计了基于Dice Loss与交叉熵损失的联合损失函数。针对多光谱图像中可见光波段与其他波段混淆使用导致信息损失的问题,本文融合归一化植被指数和水体指数等传统遥感指数的思想,提出了一种基于特征解耦的伪孪生语义分割架构。该架构对可见光波段与不可见波段分别提取特征,避免了波段的语义特征损失。在该架构中,本文引入了融合卷积与多层感知机的transformer编码器,该编码器用于提取可见光波段信息;上一章提出的基于分组卷积与特征增强的编码器则用于提取其他波段信息。针对多光谱遥感图像细节复杂且全局信息丰富导致难以兼顾局部与全局信息的问题,提出了基于局部与全局特征自适应融合的分割算法。该算法嵌入了一个基于逐点卷积的轻量化模块,该模块先将局部与全局特征相加获得临时特征,再提取临时特征的局部与全局信息,最终根据此信息对局部与全局特征进行加权融合。为验证本文所提出算法的有效性与鲁棒性,本文在航天遥感数据集Suichang和航空遥感数据集Potsdam-s上进行了对比实验和分析。结果表明本文算法表现超过所有对比算法,在Suichang和Potsdam-s数据集上,平均交并比m Io U分别达到了80.719%与77.856%。