基于双特征融合引导的深度图像超分辨率重建网络

作     者：耿浩文 王宇 辛彦玲 Geng Haowen;Wang Yu;Xin Yanling

作者机构：长春理工大学电子信息工程学院吉林长春130012 

出 版 物：《激光与光电子学进展》 (Laser & Optoelectronics Progress)

年 卷 期：2024年第61卷第8期

页      面：391-398页

核心收录：

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 08[工学] 081104[工学-模式识别与智能系统] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 

基　　金：吉林省自然科学基金(20210101180JC) 

主　　题：图像处理 图像超分辨率重建 卷积神经网络 深度图像 特征融合 通道注意力 

摘      要：针对彩色图像引导的深度图像超分辨率重建算法中存在的纹理转移和深度流失的问题,提出一种基于双特征融合引导的深度图像超分辨率重建网络(DF-Net)。为了充分利用深度和强度特征的关联性,在网络模型的深度恢复重建部分采用双通道融合模块(DCM)和双特征引导重建模块(DGM)。利用输入金字塔结构提取深度信息和强度信息的多尺度特征:DCM基于通道注意力机制对深度特征和强度特征进行通道间的特征融合与增强;DGM将深度、强度特征自适应选择融合后实现重建的双特征引导,增加了深度特征的引导作用,改善了纹理转移和深度流失的问题。实验结果表明,所提方法的峰值信噪比(PSNR)和均方根误差(RMSE)优于RMRF、JBU和Depth-Net等方法,尤其4×超分辨率重建结果的PSNR值比其他方法平均提升6.79 dB,RMSE平均下降0.94,取得了较好的深度图像超分辨率重建效果。