边缘指导图像修复算法研究

作     者：姜艺 胥加洁 柳絮 朱俊武 JIANG Yi;XU Jiajie;LIU Xu;ZHU Junwu

作者机构：扬州大学信息工程学院江苏扬州225127 上海交通大学海洋工程国家重点实验室上海200030 

出 版 物：《计算机科学与探索》 (Journal of Frontiers of Computer Science and Technology)

年 卷 期：2022年第16卷第3期

页      面：669-682页

核心收录：

学科分类：08[工学] 081203[工学-计算机应用技术] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61872313) 海洋工程国家重点实验室项目(1907) 江苏省教育信息化重点课题(20180012) 扬州科技计划项目(YZ2018209,YZ2019133)。 

主　　题：深度学习 图像修复 生成对抗网络(GAN) 边缘指导 

摘      要：近年来,深度学习技术的不断发展为图像修复研究提供了新的思路,通过对海量图像数据的学习,使得图像修复方法能够理解图像的语义信息。虽然现有的图像修复方法已能够生成较好的图像修复结果,但遇到结构缺失较为复杂的图像时,对缺失部分细节处理能力较差,所生成的结果会过度平滑或模糊,不能很好地修复图像缺失的复杂结构信息。针对此问题,基于生成对抗网络技术提出了一种边缘指导图像修复的方法和对应算法,将图像修复工作分为两部分:首先训练边缘修复模型生成较为真实的缺失区域的边缘信息,再根据已修复好的边缘信息,训练内容生成模型填充缺失部分的内容信息。最后所提方法在CelebA数据集和ParisStreet-View数据集上与Shift-Net模型、深度图样先验(DIP)模型以及FFM模型进行了对比实验验证,并对实验修复结果进行了视觉上的定性分析和定量指标分析。实验结果证明提出的方法相对现有方法能更好地修复图像中缺失的复杂结构信息,反映出边缘信息在图像修复过程中具有重要的作用。