基于时空生成对抗网络的视频修复

作     者：于冰 丁友东 谢志峰 黄东晋 马利庄 Yu Bing;Ding Youdong;Xie Zhifeng;Huang Dongjin;Ma Lizhuang

作者机构：上海大学上海电影学院上海200072 上海电影特效工程技术研究中心上海200072 上海交通大学计算机科学与工程系上海200240 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2020年第32卷第5期

页      面：769-779页

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金(61303093,61402278) 上海市自然科学基金(19ZR1419100) 

主　　题：视频修复 生成对抗网络 深度学习 时空判别器 

摘      要：针对现有视频修复中存在的修复结果语义信息不连续问题,提出基于时空生成对抗网络的修复方法,其包含2种网络模型:单帧修复模型和序列修复模型.单帧修复模型采用单帧堆叠式生成器和空间判别器,实现对起始帧的高质量空间域缺损修复.在此基础上,序列修复模型针对后续帧的缺损问题,采用序列堆叠式生成器和时空判别器,实现时空一致的视频修复.在UCF-101和FaceForensics数据集上的实验结果表明,该方法能够大幅提升修复视频的时空连贯性,与基准方法相比,在峰值信噪比、结构相似性、图像块感知相似性和稳定性误差等性能指标上均表现更优.