基于帧间跨越光流的视频超分辨率重建网络

作     者：刘扬 刘蓉 方可 张心月 王光旭 LIU Yang;LIU Rong;FANG Ke;ZHANG Xinyue;WANG Guangxu

作者机构：华中师范大学物理科学与技术学院武汉430079 

出 版 物：《计算机应用》 (journal of Computer Applications)

年 卷 期：2024年第44卷第4期

页      面：1277-1284页

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 08[工学] 081104[工学-模式识别与智能系统] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 

基　　金：国家社会科学基金资助项目(22ATQ004) 华中师范大学交叉科学研究项目(CCNU22JC033) 

主　　题：视频超分辨率算法 光流 运动补偿 密集残差块 深层特征 

摘      要：面对运动幅度较大的复杂场景,当前的视频超分辨率(VSR)算法在处理长序列时无法充分利用不同距离的帧间信息,难以精确地恢复遮挡、边界和多细节区域。为解决上述问题,提出一种基于帧间跨越光流机制的VSR模型。首先,通过密集残差块(RDB)提取低分辨率视频帧(LR)的浅层特征;其次,通过光流空间金字塔网络(SPyNet)以不同时间长度的跨越光流对视频帧进行运动估计和运动补偿,并通过RDB对帧间信息进行深层特征提取与矫正;最后,融合浅层特征与深层特征,并通过上采样得到高分辨率视频帧(HR)。在REDS4公开数据集上的实验结果表明,所提模型与经典的非显式运动补偿的动态上采样滤波器视频超分辨率网络(DUF-VSR)相比,峰值信噪比(PSNR)和结构相似性(SSIM)分别提升了1.07 dB和0.06。验证了所提模型可有效提高视频图像重建的质量。