基于非局部运动估计的视频插帧算法研究

作     者：张弘毅 

作者单位：西安电子科技大学 

学位级别：硕士

导师姓名：李洁

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：视频插帧 深度学习 注意力机制 动态自适应推理 可逆网络 

摘      要：随着多媒体技术的发展,视频逐渐成为人们获取信息的主要途径。帧率是视频的重要属性之一,它是指以帧为单位的图像在视频中每秒出现的次数,主要影响视频的流畅度。视频插帧旨在通过视频中连续帧的信息预测合成中间帧,使插帧后的视频帧率更高,画面更连贯。然而,由于在视频连续帧中普遍存在非线性运动、遮挡和大尺度运动等复杂情况,实现快速且高质量的视频插帧是非常具有挑战和研究意义的课题。针对上述问题,近年来许多研究人员提出一系列创新性的视频插帧算法,这些算法为高质量的视频插帧提供了新思路。但这些算法普遍存在着运动估计不准确,大尺度运动场景鲁棒性不足,算法模型繁杂难以实时处理等问题。为此,本文基于深度学习框架,从时空注意力机制,动态自适应推理和可逆神经网络三个方面出发,构建高效的视频插帧算法。主要研究内容和创新点如下:1)提出了一种基于时空注意力的视频插帧算法。目前主流的视频插帧算法在处理复杂运动时难以从相邻两帧获取关键信息完成运动估计,从而使生成帧在复杂运动区域差生伪影等现象。为了解决上述问题,本方法利用时空注意力模块,从输入中捕获各帧之间的时间和空间维度的相互依赖性,寻找到输入帧中与复杂运动关系最紧密的区域,从而对复杂运动进行全局建模。在多个数据集上的实验表明,本方法实现了快速的高质量插帧,在计算资源的消耗和重建帧视觉质量上均优于现有算法。2)提出了一种基于稀疏掩膜的运动感知视频插帧算法。目前主流的视频插帧算法对不同运动强度的区域使用同样的处理方式生成中间帧,这导致了模型不能有重点关注复杂运动区域,生成的中间帧产生伪影等现象;同时在微小运动区域产生了大量冗余计算,难以实现快速插帧。为了解决上述问题,本方法通过生成器得到稀疏掩膜作为判断区域运动强度的代理,从而动态分配计算资源。具体来说,模型会根据输入帧的运动状态自适应地生成稀疏掩膜,该稀疏掩膜在微小运动区域呈现稀疏性。之后,模型根据稀疏掩膜在微小运动区域使用稀疏卷积,从而跳过冗余计算。由于微小运动区域的运动模型简单,因此动态自适应网络并不会影响生成帧的质量。实验表明,我们的算法在多个数据集保持了高质量的插帧结果的同时,参数量和计算量都远小于目前的主流的插帧算法。3)提出了一种基于可逆神经网络的视频帧率转换算法。高帧率视频有时会对帧率进行下采样以节省传输和存储成本,或适应不同刷新率的设备。但在这一过程中,帧间信息的丢失往往是不可逆的,导致使用一般的视频插帧算法生成的高帧率视频视觉质量欠佳。针对这一问题,本方法利用可逆神经网络将高帧率视频进行正向编码,使中间帧信息散列在高斯分布中,而保留帧的视觉内容尽可能保持不变,完成帧率降低以方便传输和存储。在需要提升帧率时,用已经训练好的模型结合保留帧从高斯分布中采样生成中间帧,从而得到高帧率视频。实验证明,本方法还原的高帧率视频清晰度极高,模型简单,推理速度快,在能极大地节约传输带宽的同时,完成高帧率视频的高质量复原。