基于GAN的物体自动移除研究

作     者：王立强 

作者单位：北京交通大学 

学位级别：硕士

导师姓名：刘一

授予年度：2020年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：图像补全 生成式对抗网络 目标检测 弱监督 

摘      要：目标检测及图像补全是计算机视觉领域的两个重要研究方向。在目标检测领域,精细标注的图片数据作为模型监督条件,是模型获得较好性能的关键前提,但是图像标注需要花费大量的人力物力,能否从互联网中大量弱标记的图像中去建模进行物体检测是较为困难的研究问题;在图像补全领域,现有效果较好的技术大多是在以对象为中心的图像上实现的,例如人脸补全或者结构化的场景补全,在一般场景级别图像补全方向效果大多一般。因此,本文核心研究内容为如何使用仅有图像级别标签的图像实现定位和删除一般场景图像中的对象,即实现弱监督的目标检测功能,然后通过图像补全网络对删除目标对象后留下的孔洞进行补全,即实现图像补全功能。主要研究工作及成果概述如下。首先,本文基于弱监督深度检测网络,实现了一种基于实例分类器优化的多实例检测算法,该算法可以通过图像级别标签执行目标检测工作。该算法将多实例检测网络与多阶段实例分类器结合在一起,分阶段的对实例分类器进行优化,并将基础实例检测网络和多级实例级分类器优化网络集成到单个网络中,以实现端到端的训练。本文在现有工作的基础上,通过应用以上的改进,实现了弱监督目标检测性能的提升。其次,本文对基于深度卷积生成式对抗网络(DCGAN)的图像补全网络进行改进,实现了一种新颖的基于W-GAN的图像补全模型,可以使补全图像在局部和全局上保持一致性。模型使用了完全卷积神经网络,可以填充任何形状的缺失区域来完成任意分辨率的图像;模型使用了空间衰减重构损失代替一般重构损失,在补全大面积的缺失区域时,有效的提高了补全质量;模型使用了全局和局部两个判别器进行训练,全局判别器从整体上评估图像是否整体一致,而局部鉴别器仅在以补全区域为中心的小区域上确保生成的补丁在局部保持一致性。本文在现有工作基础上,通过引入W-GAN损失函数、注意力机制以及分阶段补全的思想,克服了现有方法的不足,实现了补全效果的提升。本文针对以上两个不同研究任务开展了大量实验,并构建了多组对比实验,试验结果表明,在与其他一些方法的定性与定量对比上,本文实现了弱监督目标检测性能的改进以及图像补全效果的提升。通过实现以上两部分功能,即可实现物体自动移除功能:把一张图像输入到基于实例分类器优化的多实例检测网络,得到目标移除对象的坐标位置信息,然后用将目标对象移除,得到移除掉目标对象的待重建图像并将其输入到图像补全网络,进行重建修复,最终得到一张已经移除目标图像的完好图像。