基于Transformer和小波分析的图像去雨研究

作     者：方思严 

作者单位：湖北大学 

学位级别：硕士

导师姓名：刘斌

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：图像去雨 Transformer 小波分析 深度学习 

摘      要：雨天的雨纹会遮挡和扭曲背景信息,造成图像质量下降,影响目标检测和语义分割等下游视觉算法的性能,因此研究图像去雨具有重要意义。目前许多图像去雨方法存在恢复细节能力不足的问题,因为大多数去雨方法主要基于卷积神经网络实现,而卷积存在感受野小和固定权重两个缺陷,使网络难以分离与背景交织重叠的雨纹,最近兴起的Transformer能弥补这些缺陷。此外,现有去雨方法在利用频域信息方面存在不足,对不同频域特征的建模能力有待提升。基于以上分析,本文研究工作如下:(1)为发挥Transformer与卷积的各自优势并充分利用频域信息来解决现有去雨方法恢复细节能力不足的问题,提出基于Transformer并行注意力的小波域去雨网络(WDDNet)。WDDNet通过小波变换将各尺度特征图分解为低频和高频部分,利用多注意力模块从低频和高频中分别学习背景轮廓和纹理细节,使模块专注于提取特定信息。多注意力模块由并行注意力模块和通道分组注意力模块组成。并行注意力模块结合了Transformer的非局部建模能力和卷积的局部建模能力。通道分组注意力模块在通道维度进行图像级交互,实现了空间全局注意力。实验结果表明,WDDNet通过增强恢复细节的能力提高了去雨性能,在合成数据集、真实数据集以及联合目标检测任务中的表现均优于目前先进的去雨方法。(2)由于雨纹的复杂程度高,单阶段网络往往无法彻底去除雨纹,本文进一步提出了基于小波卷积Transformer的多阶段去雨网络(MSDNet)。小波卷积Transformer让自注意力在低频和高频中分别进行,增强模型对不同频域特征的建模能力,同时利用卷积提取跨窗口和前馈层中的局部特征,强化Transformer的局部建模能力。多阶段策略将去雨过程分解为多个子阶段,使每个子阶段都专注于去除不同级别的雨纹,并通过融合不同阶段的多尺度特征增强网络检测复杂雨纹的能力。实验结果表明,MSDNet具有更强的去雨性能,在合成数据集、真实数据集以及联合语义分割任务中的效果优于目前先进的去雨方法。