伪时空图卷积网络修复姿态引导的Transformer行人视频修复方法

作     者：唐福梅 聂勇伟 余嘉祺 张青 李桂清 Tang Fumei;Nie Yongwei;Yu Jiaqi;Zhang Qing;Li Guiqing

作者机构：华南理工大学计算机科学与工程学院广州510006 中山大学计算机学院广州510006 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2024年第36卷第4期

页      面：552-564页

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金面上项目(62072191,61972160) 广东省自然科学基金面上项目(2019A1515010860,2021A1515012301) 

主　　题：深度学习 图卷积神经网络 Transformer 人体姿态补全 视频修复 

摘      要：为解决监控视频中被遮挡行人的修复问题,提出了一种基于人体姿态的行人视频修复方法,即先修复视频中残缺的行人姿态序列,然后在修补后的姿势序列的引导下修复视频帧中人体的缺失部分.该方法采用OpenPose从视频中提取被遮挡的人体姿态序列,针对其因存在遮挡情况导致未识别出和未准确识别部分关节点的问题,提出了一种伪时空图卷积网络模型对缺失姿态进行修复,得到一个相对准确的姿态序列;基于修复后的姿态,提出了基于姿态序列引导的Transformer行人视频修复模型.在Human3.6M数据集上进行了测试,所提出的方法在4个指标PSNR,RMSE,SSIM,LPIPS上均比对比方法有提升,特别是RMSE指标提升了9.50%,LPIPS指标提升了21.67%.