利用多尺度特征联合注意力模型的图像修复

作     者：林晓 周云翔 李大志 黄伟 盛斌 Lin Xiao;Zhou Yunxiang;Li Dazhi;Huang Wei;Sheng Bin

作者机构：上海师范大学信息与机电工程学院上海200234 上海师范大学上海智能教育大数据工程技术研究中心上海200234 上海市中小学在线教育研究基地上海200234 上海理工大学光电信息与计算机工程学院上海200093 上海交通大学电子信息与电气工程学院上海200240 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2022年第34卷第8期

页      面：1260-1271页

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金(61775139 62072126 61772164 61872242) 

主　　题：图像修复 深度学习 多尺度特征融合 注意力机制 

摘      要：当前,基于深度学习的图像修复方法在获取深层特征时会造成信息丢失的现象,不利于纹理细节的修复;且往往忽略语义特征的修复,会生成具有不合理结构的修复结果.针对上述问题,提出基于多尺度特征联合注意力模型的图像修复网络.首先提出基于扩张卷积的多尺度融合模块,在获取图像深度特征时通过多尺度特征的融合减少卷积过程中信息的丢失;然后提出联合注意力机制,既加强了模型对图像语义修复的能力,又确保了模型可以生成纹理清晰的修复结果;为保证修复结果细节和风格的一致性,最后将风格损失与感知损失引入网络.在CelebA-HQ和Places2数据集上的定性实验结果和PSNR,SSIM等常用的评价指标验证了所提方法优于已有的图像修复方法.相较于对比方法,所提方法的PSNR和SSIM分别提升了0.4%~6%和0.4%~3%.