基于自适应感知金字塔网络的图像去雨
Image Deraining Based on Adaptive Perceptual Pyramid Network作者机构:天津大学电气自动化与信息工程学院天津300072
出 版 物:《东北大学学报(自然科学版)》 (Journal of Northeastern University(Natural Science))
年 卷 期:2022年第43卷第4期
页 面:470-479页
核心收录:
学科分类:081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术(可授工学、理学学位)]
基 金:国家自然科学基金资助项目(62071323,61771329,61632018) 天津市科技重大专项研发计划项目(18ZXZNGX00320)
主 题:图像去雨 小波变换 金字塔网络 自适应感知 特征融合
摘 要:基于深度学习的单幅图像去雨已经取得了较大进展,但现有方法去雨后的图像仍然存在细节丢失、密集雨纹去除不彻底等问题.为此,本文提出一种基于自适应感知金字塔网络的单幅图像去雨方法,能够在有效去除密集雨纹的同时对细节进行修正,显著改善去雨图像的视觉质量.首先,基于小波变换构建多尺度金字塔网络,在各尺度子网络之间进行递进式连接,实现雨纹迭代提取和去除;各尺度子网络内部以自适应雨纹感知模块为核心,设计对称跳跃连接将提取到的浅层特征反馈至深层,实现浅层特征的有效复用.其中,所设计的自适应雨纹感知模块通过非局部感知运算和共享扩张卷积扩大感受野,可有效感知雨纹特征,并融入注意力机制实现雨纹的自适应去除.为了更好地约束网络训练和去除不同尺度的雨纹,设计了一种多尺度损失函数,由粗及细逐步完成雨纹去除,可有效防止伪影现象.在合成和真实数据集上的大量实验表明,本文方法优于现有的主流方法,能够在去雨的同时较好地保持图像细节,视觉效果理想.