基于生成对抗网络优化的古代绘画图像修复研究

作     者：杨李红 

作者单位：西北大学 

学位级别：硕士

导师姓名：章勇勤

授予年度：2022年

学科分类：1304[艺术学-美术学] 12[管理学] 13[艺术学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：古代绘画 图像修复 生成对抗网络 门控卷积 注意力机制 

摘      要：作为人类历史见证和珍贵遗存,古代绘画具有丰富的科学文化内涵和史料研究价值。但由于自然因素及人为破坏,它们大多遭受着褪色、破损、霉变等病害问题。低品质古代绘画极大降低了鉴赏体验且严重阻碍了文化传承,针对其的修复工作已刻不容缓。传统手工修复不仅耗时费力、面临专业技术人员稀缺等问题,还存在不可逆的二次破坏风险。为了解决这个问题,本文采用深度学习等先进技术,开展古代绘画图像修复研究。考虑到现有的图像修复算法在图像建模方式以及网络结构设计上存在一定局限性,且它们在古代绘画图像上的修复结果也稍显逊色。本文将根据古代绘画图像的现状和特点,重点研究如何提升图像修复性能并保证网络优化效率。通过引入门控卷积和注意力机制等新兴技术,结合图像纹理和结构混合编码的思路,提出了基于生成对抗网络优化的古代绘画图像修复算法。经过定性定量的评估和分析,本文方法通常可展现出优于现有深度修复算法的出色性能。本文研究内容及主要贡献体现在以下两方面:(1)为弥补现有图像修复方法在对图像进行建模时的不足,本文提出信息互补策略,采用并行互补的方式对图像纹理和结构特征进行建模。然后结合编码器-解码器结构以及单一尺度深层卷积网络各自的特点,构建出一个基于信息互补生成对抗网络的两阶段图像修复方法,并在常用公开数据集上进行实验。验证表明,该方法通过依次对破损图像进行多尺度特征提取和像素级细节填充,可有效地恢复出图像结构和纹理,实现高质量的渐进式修复。(2)针对两阶段修复网络单一的耦合方式以及信息互补策略存在的局限性,引入注意力机制和软性门控思想,先后提出跨阶段信息纠正单元和自适应特征融合单元。最终构建出基于多重注意力生成对抗网络的图像修复方法。此外,为提升本方法在古代绘画图像修复任务上的性能,还制作了古代壁画图像数据集AMs并进行迁移学习。大量的消融及对比实验证明,两个新增功能单元有效提升了该方法的修复性能。经过训练得到的最优模型不仅在主客观评价上优于当前主流的修复方法,其在修复古代绘画图像时也可得到结构更加清晰、颜色更加准确的结果。