检索结果-南通市图书馆

计算机工程 2023年第6期49卷 180-192页

作者：樊瑶石英男柏劲咸西藏民族大学信息工程学院陕西咸阳712000

针对现有基于深度学习的图像修复算法在处理大面积不规则缺损图像时出现局部结构不连通与模糊的问题,提出一种基于边缘和注意力跨层转移的二阶生成式图像修复模型。该模型由边缘修复网络和图像修补网络构成,边缘修复网络在自编码器的基... 详细信息

针对现有基于深度学习的图像修复算法在处理大面积不规则缺损图像时出现局部结构不连通与模糊的问题,提出一种基于边缘和注意力跨层转移的二阶生成式图像修复模型。该模型由边缘修复网络和图像修补网络构成,边缘修复网络在自编码器的基础上结合扩张卷积对缺损图像的边缘二值图进行修复,并将边缘修复图作为先验条件与缺损图像一起输入到图像修补网络,在图像修补网络中,给出注意力跨层转移网络对各尺度编码特征由深到浅进行重构,并将重构特征图跳跃连接至解码层与对应潜在特征融合进行解码,提高各级解码层输出的上下文一致性,减少结构信息和语义特征丢失,最终得到修复图像。在Celeba、Facade、Places2这3个数据集上的实验结果表明,与当前主流算法相比,该方法平均L1损失降低了1.044%~3.801%,峰值信噪比和结构相似性分别提升了1.435~4.486 dB和1.789%~8.755%,不仅能够生成整体语义合理的内容,而且在局部结构连通性和纹理合成方面更符合人眼视觉感受。

关键词：图像修复边缘修复扩张卷积注意力跨层转移网络跳跃连接

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于边缘先验与重构特征约束的图像修复技术研究

基于边缘先验与重构特征约束的图像修复技术研究

引用

作者：石英男西藏民族大学

学位级别：硕士

图像修复是在图像缺损区域内补充像素信息,使修复结果具备视觉真实性的过程,在图像编辑、图像渲染、物体移除等方面有着重要应用。随着生成对抗网络(Generating Adversarial Network,GAN)的提出,基于深度学习的修复方法展现出远优于传... 详细信息

图像修复是在图像缺损区域内补充像素信息,使修复结果具备视觉真实性的过程,在图像编辑、图像渲染、物体移除等方面有着重要应用。随着生成对抗网络(Generating Adversarial Network,GAN)的提出,基于深度学习的修复方法展现出远优于传统方法的修复效果,但在处理大孔洞时,当前方法仍存在不足。在大面积不规则缺损的图像修复任务中,针对修复结果存在语义缺失和纹理模糊的问题,提出基于边缘指导的修复方法;针对上下文特征在编解码过程中传递受阻,局部信息丢失的问题,提出注意力跨层转移网络以增强上下文连续性,并结合U-Net进行图像修复;为了改善修复结果的结构性错误,增强对缺损图像多层次信息的表征能力,提出基于结构约束与多尺度特征融合的图像修复方法,实现结构和细节上的共同提升。总体而言,本文的主要工作如下:(1)提出基于边缘指导的二阶图像修复模型,通过基于自编码器的边缘生成网络和基于U-Net的内容填充网络完成图像修复。首先,边缘生成网络根据已知像素灰度值和边缘信息推断缺失边缘,得到边缘生成图。然后,内容填充网络以边缘生成图为先验引导条件进行纹理填充。为了减少纹理重建过程中的上下文信息丢失,采用U-Net网络架构作为内容生成器,通过跳跃连接将各级编码特征传递至对应解码层,同时引入移位连接层(Shift Connection Layer,SCL)对指定解码层特征进行重构,并与对应尺度的潜在特征、编码特征融合进行后续的解码工作,约束内容生成器以优化局部细节。(2)提出基于注意力跨层转移网络的生成式图像修复模型,通过在相邻特征空间跨层应用注意力机制以实现细粒度的修复效果。该模型包括生成器和判别器两部分。首先,生成器在U-Net的基础上,结合注意力跨层转移网络(Attention Transfer Network Across Layer,ATNAL)对各层编码特征进行重构,减少上下文信息丢失。然后,利用跳跃连接将多尺度重构特征与对应的潜在特征融合进行解码,缓解编、解码层间信息丢失的同时,激励多尺度解码器生成上下文相似的内容。最后,在解码完成后将多尺度解码特征转为RGB图像,并以L1范数进行约束,进一步提升上下文一致性。(3)提出基于结构约束与多尺度特征融合的二阶生成式图像修复模型,以完成具有挑战性的大面积不规则缺损修复任务。该模型分为边缘修复网络和图像修补网络两部分。首先,边缘修复网络将自编码器与扩张的残差特征金字塔融合块(Dilated Residual Feature Pyramid Fusion Block,DRFPFB)结合,提升对图像多层次语义信息和结构细节的表征能力,在缺失区域实现更高质量的边缘修复。其次,图像修补网络将真实边缘作为先验条件,在自编码器中嵌入扩张的多尺度注意力融合块(Dilated Multi-scale Attention Fusion Block,DMAFB)进行纹理合成,通过聚合不同维度的远距离特征,实现边缘约束下的细粒度修复。最后,以边缘修复结果代替真实边缘,对两个网络进行融合训练,实现从缺损图像到完整图像的端到端修复。

关键词：深度学习生成对抗网络图像修复边缘修复注意力跨层转移网络

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：