基于双模态高效特征学习的高分辨率遥感图像分割

作     者：张银胜 吉茹 童俊毅 杨宇龙 胡宇翔 单慧琳 ZHANG Yinsheng;JI Ru;TONG Junyi;YANG Yulong;HU Yuxiang;SHAN Huilin

作者机构：无锡学院电子信息工程学院无锡214105 南京信息工程大学电子与信息工程学院南京210044 

出 版 物：《遥感学报》 (NATIONAL REMOTE SENSING BULLETIN)

年 卷 期：2024年第28卷第2期

页      面：481-493页

核心收录：

学科分类：070801[理学-固体地球物理学] 07[理学] 081203[工学-计算机应用技术] 08[工学] 0708[理学-地球物理学] 0816[工学-测绘科学与技术] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(编号:62071240,62106111) 江苏省研究生科研与实践创新计划基金(编号:SJCX23_0379) 

主　　题：遥感图像分割 高效特征提取 交互融合 双模态特征聚合 深层特征提取 多层特征上采样 

摘      要：遥感图像因具有丰富的语义信息和空间信息,增加了语义分割的难度。然而已有提取双模态特征的分割方法采用相同的主干网络,没有考虑互补特征的差异,存在特征提取、特征融合和上采样恢复细节信息不足等问题,无法准确高效的学习高分辨率遥感图像信息。因此,本文提出基于双模态高效特征学习的高分辨率遥感图像分割算法。首先,针对不同模态的遥感图像设计合适的编码器,高效的提取双模态特征,并通过交互加强模块减少不同路径特征之间的差异。其次,提出双模态特征聚合模块和深层特征提取模块进一步融合和提取双模态特征,使网络能够充分学习互补信息。最后,提出多层特征上采样模块,利用语义信息丰富的高层特征对细节信息丰富的低层特征进行加权操作,逐步上采样实现特征高效恢复,提升分割性能。实验结果表明,所提算法在ISPRS Potsdam和Vaihingen数据集上的总体精度分别达到了94.52%、90.45%,能够高效的提取并融合高分辨率遥感图像的双模态特征,提高遥感图像分割的准确率。