基于深度学习的光学遥感影像云检测及去除方法研究

作     者：张成要 

作者单位：吉林大学 

学位级别：硕士

导师姓名：张旭晴

授予年度：2023年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0816[工学-测绘科学与技术] 081602[工学-摄影测量与遥感] 0811[工学-控制科学与工程] 

主      题：光学遥感影像 深度学习 云检测 云去除 生成式对抗网络 图像重建 

摘      要：光学卫星遥感影像直观性强,蕴含地表信息丰富,随着光学遥感卫星成像分辨率的提高,其在防灾减灾、资源普查、农业调查和军事领域等应用越来越广泛。由于成像机理限制,光学遥感影像极易受到云层干扰,据国际卫星云气候学计划(ISCCP)公布的研究数据,年平均超过60%的地球表面被云层覆盖,导致光学遥感影像上云广泛存在。厚云遮挡地表信息,在地表形成阴影区域;薄云削弱地表辐射,造成影像失真和模糊。云破坏了遥感影像的整体一致性,严重限制了遥感影像的使用,因此如何有效去除遥感影像中的云层干扰,恢复遥感影像的原始真实特征,提升遥感影像的可用性,是目前摄影测量与遥感领域的研究热点。本研究针对现有云检测和去除方法存在的检测不充分、去除不彻底、地表信息有损失,色彩差异较大以及难以同时处理薄云、厚云和阴影的问题,以遥感影像中云和阴影的充分检测为切入点,按照“检测-融合-重建的研究思路,基于深度学习,创新性提出基于多尺度特征对齐融合网络(MSFAF-Net)的遥感影像云检测方法和基于图像融合-特征学习重建(IF-FLR)的云去除方法。通过构建多尺度特征对齐融合网络进行云检测,构建多尺度特征融合重建网络(MSFFIRGAN)实现融合后影像的重建。并以Sentinel-2卫星影像为例,与加权线性回归(WLR)方法对比,验证本文方法能有效去除遥感影像中的云和阴影,并恢复云区域原始地表信息特征,保证云去除结果的整体和局部一致性。主要工作如下:(1)光学遥感影像的云检测。本文设计了MSFAF-Net云检测网络,该网络设计使用多个特征提取模块,获取图像不同深度的特征信息;通过空洞空间金字塔获取图像不同尺度的特征信息;在特征融合时加入特征对齐结构,对不同层次的特征进行特征对齐,纠正特征图之间存在的偏差,缓解特征失配问题,使检测结果具有更高的准确率和空间精度。以UNet,FCN8s和Deeplab V3作为本文方法的对比网络分别使用Landsat8 38-cloud,GF1-WHU和Sentinel-2 Cloud Mask三种数据集进行实验,本文方法的平均交并比均优于UNet,FCN8s和Deeplab V3对比网络,对于Landsat8 38-cloud,GF1-WHU和Sentinel-2 Cloud Mask三种数据集,分别提升了0.92%、2.61%、2.80%;1.34%、1.08%、0.86%;9.45%、4.08%、5.32%。本文方法取得了显著优于对比网络的精度,验证了MSFAF-Net网络对于光学遥感影像云检测的有效性和广泛的适用性。(2)光学遥感影像的云去除。按照“检测-融合-重建的研究思路,提出了IF-FLR云去除方法。在通过MSFAF-Net网络获得云掩膜的基础上,针对云和阴影遮挡地物信息的问题,与参考影像融合,以补充丢失的地表信息。并基于生成对抗网络设计MSFFIR-GAN图像重建网络,在生成器中使用多个特征提取模块获取不同层次的影像重建特征,通过上采样特征融合模块逐级整合不同深度的特征信息,重建输入的影像。设计使用分级马尔可夫判别器,使重建影像具有清晰的细节和纹理信息,重建结果更接近目标影像。(3)方法可行性验证与分析。以两组Sentinel-2影像为研究对象,基于IFFLR云去除方法,设计并完成从云检测到云去除全部环节的完整实验。从目视效果、光谱特征和重建质量方面对重建结果进行综合评价,并使用该模型对融合影像进行重建,实现遥感影像中云的去除。实验证明,IF-FLR云去除方法,可以有效去除各种土地覆被场景下的云,并且能在去除遥感影像中云和阴影的同时,保证云去除结果影像的整体一致性,以消除或削弱云对遥感影像的影响,恢复地表原始信息特征。综上所述,本文针对遥感影像中的云设计了从检测到去除的完整解决方案,并通过实验验证了本文提出方法能有效去除遥感影像中的薄云、厚云及阴影,并恢复有云影像云覆盖区域的原始地表信息特征,提升遥感影像的可用性,为遥感影像的云检测及去除提供借鉴。