结合超分辨率和域适应的遥感图像语义分割方法

作     者：梁敏 汪西莉 LIANG Min;WANG Xi-Li

作者机构：陕西师范大学计算机科学学院西安710119 

出 版 物：《计算机学报》 (Chinese Journal of Computers)

年 卷 期：2022年第45卷第12期

页      面：2619-2636页

核心收录：

学科分类：08[工学] 081203[工学-计算机应用技术] 0825[工学-航空宇航科学与技术] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：第二次青藏高原综合科学考察研究项目(2019QZKK0405)资助. 

主　　题：域适应 遥感图像 语义分割 超分辨率 对抗学习 

摘      要：基于卷积神经网络的图像语义分割方法依赖于有真实标签的监督学习,但不能很好地推广到来源不同的无标签数据集中,目前无监督域适应给出了解决无标签目标域数据和有标签源域数据特征分布不一致的思路.但是在遥感图像处理领域,当源域和目标域的空间分辨率不相同时,无监督域适应方法应用效果不佳.本文结合图像超分辨率设计了一个新的端到端语义分割深度网络——结合超分辨率和域适应的语义分割模型(Semantic Segmentation Model Combining Super Resolution and Domain Adaption,SSM-SRDA),它可以缩小低分辨率源域和高分辨率目标域遥感图像的空间分辨率差异和特征分布差异,并完成无监督超分辨率和域适应语义分割任务.SSM-SRDA模型包括三个部分:结合超分辨率的语义分割网络,将低分辨率的源域图像通过超分辨率模块生成带有目标域风格的高分辨率图像,缩小空间分辨率差异的同时帮助特征提取网络学习域不变特征,并通过特征相似性FA-Loss模块增强语义分割深层网络高分辨率特征的细节结构信息;像素级域判别器,用来缩小超分辨后源域和目标域间的像素级特征差异;输出空间域判别器,在SoftMax输出空间中缩小特征差异.通过语义分割网络和两个判别器的对抗性学习,SSM-SRDA在分割模块的输入和输出级对齐源域与目标域的特征分布,通过域适应迁移应用于不同源的目标域数据分割,得到能够应用于实际且推广性更强的模型.实验在四组遥感图像数据集上证明SSM-SRDA优于现有的域适应语义分割方法,在平均交并比上分别提高了0.7%、1.7%、2.2%和3.3%.