面向图像复原和增强的轻量级交叉门控Transformer

作     者：薛金强 吴秦 

作者机构：江苏省模式识别与计算智能工程实验室 江南大学人工智能与计算机学院 

出 版 物：《计算机科学与探索》 (Journal of Frontiers of Computer Science and Technology)

年 卷 期：2023年

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金（61972180） 

主　　题：图像复原 图像增强 深度学习 Transformer 轻量化 特征融合 

摘      要：现有的图像复原和图像增强方法难以同时兼顾在多个子任务上的鲁棒性和维持较小的参数量与计算代价。针对这一问题，提出轻量级交叉门控转换算法（Cross-Gating Transformer， CGT）。一方面，先总结了传统全局自注意力机制捕获全局依赖关系的局限性，将全局自注意力机制改进为跨层次交叉门控自注意力机制。同时提出轻量化的前馈神经网络，从而以极小的计算代价学习到跨层次局部依赖关系，在局部邻域内重构清晰特征。另一方面，针对传统方法对编码器和解码器平等地进行加法或拼接的操作易导致信息干扰这一缺陷，提出长距离重置更新模块，分别对无用信息与清晰特征加以抑制和更新。在图像去噪、图像去雨和低亮度图像增强三个不同的任务的9个公开数据集上，与最新的25个方法进行的对比实验结果表明，所提出的轻量级交叉门控转换模型以较少的参数量和计算代价，在图像复原和图像增强领域中均取得较高的峰值信噪比和结构相似度，重构出接近真实世界场景的清晰图像，达到了先进的图像复原性能。