基于引导对抗网络的人体深度图像修补方法

作     者：阴敬方 朱登明 石敏 王兆其 Yin Jingfang;Zhu Dengming;Shi Min;Wang Zhaoqi

作者机构：中国科学院计算技术研究所北京100190 华北电力大学北京102206 太仓中科信息技术研究院江苏太仓215400 

出 版 物：《系统仿真学报》 (Journal of System Simulation)

年 卷 期：2020年第32卷第7期

页      面：1312-1321页

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金(61532002) 国家科技重大专项(2017ZX05019005) 太仓大院大所项目(TC2017DYDS07) 

主　　题：深度相机 人体深度图像修复 深度学习 堆叠沙漏网络 引导对抗网络 

摘      要：移动设备配备的小型深度相机采集到的人体深度图像存在严重的孔洞问题。针对该问题,提出基于深度学习的引导对抗网络。使用基于堆叠沙漏网络的引导器从RGB图像中提取人体部分分割特征和深度类别特征;在上述人体特征引导下,使用独特的生成器修复人体深度图像中的孔洞。为使结果更加逼真,加入判别器在网络训练过程中对生成器进行优化调整。实验结果显示,该方法在现有的人体数据集和小型深度相机采集的数据集上,都能很好解决孔洞问题,均取得比现有方法更好的效果。