基于嵌入式GPU的实时视频超分辨率算法研发

作     者：程铖 

作者单位：浙江大学 

学位级别：硕士

导师姓名：田翔

授予年度：2021年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：视频超分辨率 嵌入式GPU 3D卷积 注意力机制 知识蒸馏 

摘      要：视频超分辨率是一种将低清视频流转换为高清视频流的图像处理技术。近年来,基于深度学习的视频超分辨率算法的重建指标已经超过了传统算法,但是这类算法的模型参数量通常较大,即使在高性能的服务器上也很难达到实时推理,导致算法难以在实际场景中得到广泛应用。为了降低视频超分辨率算法的模型参数量、加快网络的前向推理速度,本文对实时的视频超分辨率算法展开研究,主要内容如下:（1）为了解决参数量小的算法无法有效应对视频中大规模运动的问题,本文研发了基于3D卷积的视频超分辨率算法。首先利用多尺度的可变形卷积结构来估计相邻帧关于中心帧的运动,然后设计了基于3D卷积的时空融合结构来融合不同时刻运动估计后的特征图,并采用深度可分离卷积方案来降低模型的参数量,最后设计了基于注意力机制的特征重建结构来关注网络中重要的特征通道。实验结果表明,该算法在保持较高重建指标的同时能以更快的速度对视频进行前向推理,在REDS4数据集上的PSNR与SSIM值为27.69dB与0.8055。（2）为了提高基于3D卷积的视频超分辨率算法的计算性能,本文在该算法的基础上通过优化网络结构设计得到轻量级视频超分辨率算法。为了提高该算法的重建指标,本文设计了一种面向视频超分辨率算法的知识蒸馏方法。实验结果表明,知识蒸馏方法训练得到的模型能够取得0.45dB重建指标的提升。在比较的三种参数量小于2M的算法中,本文的轻量级视频超分辨率算法在REDS4数据集上的PSNR与SSIM值达到最优,分别为26.89dB与0.7725,同时能够以34.76fps在Nvidia 1080Ti的服务器上进行推理;在Vimeo-90k数据集上,本文的轻量级视频超分辨率算法的PSNR与SSIM值分别为33.52dB与0.9128,接近主流视频超分辨率算法的效果,并且能在嵌入式GPU Xavier上以27.55fps的速度对视频进行前向推理。