多层次融合注意力网络的双目图像超分辨率重建

作     者：徐磊 宋慧慧 刘青山 Xu Lei;Song Huihui;Liu Qingshan

作者机构：南京信息工程大学大气环境与装备技术协同创新中心南京210044 江苏省大数据分析技术重点实验室南京210044 

出 版 物：《中国图象图形学报》 (Journal of Image and Graphics)

年 卷 期：2023年第28卷第4期

页      面：1079-1090页

核心收录：

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 08[工学] 081104[工学-模式识别与智能系统] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 

基　　金：国家自然科学基金项目(61872189,61532009) 江苏省自然科学基金项目(BK20191397) 

主　　题：卷积神经网络(CNN) 双目图像超分辨率 注意力机制 立体匹配 信息融合 

摘      要：目的随着深度卷积神经网络广泛应用于双目立体图像超分辨率重建任务,双目图像之间的信息融合成为近年来的研究热点。针对目前的双目图像超分辨重建算法对单幅图像的内部信息学习较少的问题,提出多层次融合注意力网络的双目图像超分辨率重建算法,在立体匹配的基础上学习图像内部的丰富信息。方法首先,利用特征提取模块从不同尺度和深度来获取左图和右图的低频特征。然后,将低频特征作为混合注意力模块的输入,此注意力模块先利用二阶通道非局部注意力模块学习每个图像内部的通道和空间特征,再采用视差注意力模块对左右特征图进行立体匹配。接着采用多层融合模块获取不同深度特征之间的相关信息,进一步指导产生高质量图像重建效果。再利用亚像素卷积对特征图进行上采样,并和低分辨率左图的放大特征相加得到重建特征。最后使用1层卷积得到重建后的高分辨率图像。结果本文算法采用Flickr1024数据集的800幅图像和60幅经过2倍下采样的Middlebury图像作为训练集,以峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似性(structural similarity,SSIM)作为指标。实验在3个基准测试集Middlebury、KITTI2012和KITTI2015上进行定量和定性评估。实验结果显示,本文算法获得了最清晰的图像效果。当放大因子为2时,在3个数据集上的指标与PASSRnet(learning parallax attention for stereo image super-resolution)相比,本文算法的峰值信噪比提升了0.56 dB、0.31 dB和0.26 dB,结构相似性均提升了0.005。结论本文提出的网络模型充分学习图像内部的丰富信息,有效指导左右特征图的立体匹配。同时,能够不断进行高低频信息融合,取得了较好的重建效果。