基于单张可逆视频快照的视频还原算法研究

作     者：朱乾树 

作者单位：华南理工大学 

学位级别：硕士

导师姓名：何盛烽

授予年度：2020年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：视频快照 视频扩展 信息嵌入 运动注意力 

摘      要：相较于静态图像,视频加载和观看的时间成本更高,因此在海量视频中查找所需的视频内容并不容易。大多数视频流媒体和视频共享服务站点都提供视频预览功能,以提供更好的用户浏览体验。在本文中,我们致力于通过运动信息嵌入图像生成视频预览。为此,本文提出了两个级联网络,即运动嵌入网络和运动扩展网络。运动嵌入网络旨在将时空信息嵌入到称为视频快照的嵌入图像中。而运动扩展网络则用于解码视频快照,实现视频快照到视频的反向转换。为了在训练过程中保持运动嵌入和扩展的可逆性,以及使网络更专注于运动信息,本文相应地设计了四个量身定制的约束函数和一个注意力机制模块。为了增强观看体验,本文为扩展网络配置了一个多帧插值模块,以产生较长的视频预览以及更平滑的播放效果。大量实验表明,本文的方法可以成功地将视频的时空信息嵌入到一张“活的图像中,然后可以将其解码回视频预览。本文在大量视频上进行了定量和定性分析来验证所提出方法的有效性。特别地,在大量视频实验上统计的峰值信噪比(Peak signal-to-noise ratio,PSNR)和结构相似性指标(Structural similarity index,SSIM)的数据表明,本文所提出的方法可以将单帧图像转换成一段高质量的视频,并且具有通用性。本文的主要贡献有以下三点:1)本文首次提出了一种通用且创新的算法,将视频的时空信息嵌入到单张视频快照中,且该视频快照可以反向输出为更加平滑的长视频。2)本文提出了一个运动注意力模块,以帮助运动嵌入网络专注于视频中的运动区域,从而丰富了需要学习的时空特征中的运动信息。3)本文设计实现了一个插帧网络,可以预测两个连续帧之间任意时间步的光流,进而生成帧率更高,播放更平滑的视频预览。