基于视觉注意力机制的多源遥感图像语义分割

作     者：谭大宁 刘瑜 姚力波 丁自然 路兴强 TAN Daning;LIU Yu;YAO Libo;DING Ziran;LU Xingqiang

作者机构：海军航空大学信息融合研究所山东烟台264001 中科卫星(山东)科技集团有限公司山东济南250199 

出 版 物：《信号处理》 (Journal of Signal Processing)

年 卷 期：2022年第38卷第6期

页      面：1180-1191页

核心收录：

学科分类：0810[工学-信息与通信工程] 08[工学] 081002[工学-信号与信息处理] 

基　　金：国家自然科学基金(62022092,91538201) 中国博士后科学基金(2020M680631)。 

主　　题：多源遥感图像 语义分割 图像融合 注意力机制 

摘      要：近年来,随着空间感知技术的不断发展,对多源遥感图像的融合处理需求也逐渐增多,如何有效地提取多源图像中的互补信息以完成特定任务成为当前的研究热点。针对多源遥感图像融合语义分割任务中,多源图像的信息冗余和全局特征提取难题,本文提出一种将多光谱图像(Multispectral image,MS)、全色图像(Panchromatic image,PAN)和合成孔径雷达(Synthetic Aperture Radar,SAR)图像融合的基于Transformer的多源遥感图像语义分割模型Transformer U-Net(TU-Net)。该模型使用通道交换网络(Channel-Exchanging-Network,CEN)对融合支路中的多源遥感特征图进行通道交换,以获得更好的信息互补性,减少数据冗余。同时在特征图拼接后通过带注意力机制的Transformer模块对融合特征图进行全局上下文建模,提取多源遥感图像的全局特征,并以端到端的方式分割多源图像。在MSAW数据集上的训练和验证结果表明,相比目前的多源融合语义分割算法,在F_(1)值和Dice系数上分别提高了3.31%~11.47%和4.87%~8.55%,对建筑物的分割效果提升明显。