多尺度信息融合的生成对抗网络壁画修复

作     者：胡升 薛涛 季虹 Hu Sheng;Xue Tao;Ji Hong

作者机构：西安工程大学计算机科学学院西安710048 

出 版 物：《国外电子测量技术》 (Foreign Electronic Measurement Technology)

年 卷 期：2024年第43卷第4期

页      面：30-38页

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金(62106189) 陕西省技术创新引导专项计划(2020CGXNG-012)项目资助 

主　　题：多分支扩张卷积 快速傅里叶卷积 自注意力 生成对抗网络 壁画修复 

摘      要：针对现有壁画修复算法因缺乏对于图像远距离特征的捕获能力而导致修复结果结构紊乱,以及缺失边缘颜色不一致问题,提出一种多尺度信息融合的生成对抗网络壁画修复算法。首先,将多分支扩张卷积架构引入生成网络,各个子扩张卷积的卷积核以不同扩张率局部扩大感受野,提取图像的局部特征;其次结合快速傅里叶卷积基于全局感受野提取特征,实现壁画图像局部到全局的特征提取;最后引入自注意力与PatchGAN鉴别器以解决缺失边缘颜色不一致问题。根据自制壁画数据集进行模型的训练和测试,并与多组修复算法进行修复对比,实验结果表明,相较于对比算法,所提算法在峰值信噪比(PSNR)平均提升4.42dB,结构相似性(SSIM)平均提升4.4%,学习感知图像块相似度(LPIPS)平均提升11.3%。实验证明所提算法能够有效修复破损壁画,修复后的壁画有较好的结构和纹理信息,为真实壁画的修复工作提供了支撑。