基于注意力机制及多尺度特征融合的图像去雨

作     者：宋建辉 胡强强 刘晓阳 赵亚威 SONG Jianhui;HU Qiangqiang;LIU Xiaoyang;ZHAO Yawei

作者机构：沈阳理工大学自动化与电气工程学院沈阳110159 

出 版 物：《沈阳理工大学学报》 (Journal of Shenyang Ligong University)

年 卷 期：2024年第43卷第6期

页      面：28-33页

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 081104[工学-模式识别与智能系统] 08[工学] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 

基　　金：辽宁省教育厅高等学校基本科研项目(LJKZ0275) 沈阳市中青年科技创新人才支持计划项目(RC210247) 

主　　题：双分支去雨 多尺度特征融合 注意力机制 扩张卷积 

摘      要：针对去除不同雨纹的同时恢复图像背景细节的问题,提出一种基于注意力机制及多尺度特征融合的图像去雨方法。该网络采用双分支结构,分别用于雨纹去除和背景恢复。雨纹提取模块采用跨空间学习的多尺度注意力机制,通过多尺度上下文信息捕捉、均值计算、权重计算和整体信息综合,帮助改善雨纹去除任务中的图像质量,提高去雨效果。背景恢复模块包括多尺度特征提取部分和特征融合部分,采用多个扩张卷积层,每个卷积层具有不同的扩张因子,以扩大感受野,提取多尺度的图像背景特征;使用大核卷积对提取的多尺度特征信息进行融合调整,从而更准确地进行背景恢复。在多个公开数据集上的实验结果表明:所提方法能够有效去除真实雨图像场景中的雨纹,同时可以更好地恢复图像背景的细节信息。