检索结果-南通市图书馆

东北师大学报（自然科学版） 2024年第2期56卷 53-59页

作者：赵静玄祖兴黄可佳李雅馨北京联合大学北京市信息服务工程重点实验室北京100101 北京联合大学数理与交叉科学研究院北京100101 北京联合大学考古研究院北京100191 北京联合大学智慧城市学院北京100101

针对墓室壁画人脸破损严重、纹理模糊不清、噪声较多等问题,提出了E-GFPGAN(Efficiency-Generative Facial Prior Generative Adversarial Network,E-GFPGAN),实现了墓室壁画人脸部分的盲修复.首先用StyleGAN3网络训练生成墓室壁画人脸,为网络提供丰富的壁画人脸先验信息;然后在退化移除模块添加跳跃连接,使用两层空洞卷积代替原有卷积,实现扩大感受野,保留壁画人脸的细节信息;最后将信道分割空间特征转换层(Channel-Split Spatial Feature Transform,CS-SFT)结构的卷积改为空洞卷积降低网络参数量.在自建墓室壁画人脸数据集上进行修复的实验结果表明,NIQE指标平均降低2.2%.证明了网络在墓室壁画人脸盲修复上得到了较好的修复结果.

关键词： E-GFPGAN 墓室壁画盲人脸修复 StyleGAN3

来源：

维普期刊数据库博看期刊

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于语义分割和图像修复的盲人脸修复算法

基于语义分割和图像修复的盲人脸修复算法

引用

作者：彭越湖南大学

学位级别：硕士

盲人脸修复是指对没有明确指出损坏区域的人脸图像进行修复的一种盲图像修复方法,它广泛应用于照片修复、水印消除、人脸认证等领域中。目前盲人脸修复方法面临着两个主要挑战:一是如何对人脸图像中的修复区域进行精确提取;二是如何对... 详细信息

盲人脸修复是指对没有明确指出损坏区域的人脸图像进行修复的一种盲图像修复方法,它广泛应用于照片修复、水印消除、人脸认证等领域中。目前盲人脸修复方法面临着两个主要挑战:一是如何对人脸图像中的修复区域进行精确提取;二是如何对提取出的不规则修复区域进行修复,以使其生成的修复人脸图像符合视觉感知要求。为解决上述问题,提出了一种基于语义分割和图像修复的盲人脸修复算法(Semantic Segmentation and Image Inpainting,SSII)。首先,设计了一个基于空洞卷积U型网络(Dilated Convolution UNet,DC-UNet)的语义分割模块,通过挖掘像素之间的位置关系获取待修复人脸区域。语义分割模块通过U型网络获得上采样和下采样特征图间的联系,并辅以空洞卷积以利用更少的参数获得更大的感受野。同时在该部分设计了一种新的损失函数,通过比较预测掩码和实际掩码的大小,使掩码图像生成时完全覆盖实际掩码区域,从而得到满足图像修复部分需求的待修复图像。其次,设计了一个基于蛛网网络(Spider Web,SW)的图像修复模块,利用原始DT(Distance Transformations)算法计算非待修复区域与最近待修复区域间的距离,调整特征图的权重参数,收集待修复区域周边的像素信息,进而实现从无标注的人脸遮挡图像直接修复人脸图像。图像修复部分分为结构粗化阶段和纹理细化阶段。结构粗化阶段利用SW模块提高待修复区域周边像素在特征图中的权重,纹理细化阶段利用语境注意力层获取图像全局的信息。结合两个模块,实现了图像待修复区域的完全覆盖和该区域的有效修复。实验结果表明,相比于现有的盲图像算法,SSII在表示图像修复质量的峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似性(Structural Similarity,SSIM)等性能指标上有明显提升。

关键词：盲人脸修复语义分割图像修复

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Transformer和联合先验的盲人脸修复方法研究

基于Transformer和联合先验的盲人脸修复方法研究

引用

作者：楼旭东四川大学

学位级别：硕士

盲人脸修复是计算机视觉领域中的一个低级别(low-level)视觉任务,其旨在从低质量的输入图像中修复出高质量的人脸图像。目前现有的盲人脸修复方法大多基于卷积神经网络设计,但这种方法存在两个缺陷:一方面,卷积神经网络的局部感受野,使... 详细信息

盲人脸修复是计算机视觉领域中的一个低级别(low-level)视觉任务,其旨在从低质量的输入图像中修复出高质量的人脸图像。目前现有的盲人脸修复方法大多基于卷积神经网络设计,但这种方法存在两个缺陷:一方面,卷积神经网络的局部感受野,使它难以捕捉到图像中较长距离的依赖关系。尽管堆叠网络可以增加感受野大小,但实际感受野仍然小于理论感受野,这导致全局特征提取受到限制;另一方面,在推理过程中,卷积神经网络学习到的权重是静态的,不能灵活地适应不同输入内容。虽然Transformer网络的出现在某种程度上弥补了卷积神经网络的一些不足,但是常规的Transformer网络和图像的空间分辨率之间存在二次方关系,这导致它们很难有效处理高分辨率图像。在进行盲人脸修复时,先验知识的应用是至关重要的,如面部几何先验、参考先验和生成先验等。然而,面部几何先验通常是从低质量图像中提取或估计的,因此不够准确;现实世界中的低质量图像往往包含复杂和多样的退化,难以找到合适的参考先验来协助盲人脸修复过程;虽然基于生成先验的方法能够生成较为真实的图像,但在面对严重退化的情况下,很难找到准确的潜在向量,导致修复结果的保真度较低。本文针对上述两个问题展开了深入研究,并做出了以下工作:(1)本文探讨了卷积神经网络在盲人脸修复任务中长距离依赖信息捕捉不足的问题,并提出了基于Transformer和生成对抗网络的盲人脸修复方法。该方法包含两个Transformer特征提取模块:CTransformer特征提取模块和STransformer特征提取模块。CTransformer特征提取模块利用自注意力机制跨通道计算交叉协方差,生成全局上下文的通道注意力图;随后,STransformer特征提取模块在空间维度应用自注意力机制,实现全局空间交互。这种通道和空间的全局特征交互方式有助于充分利用图像的上下文信息,从而提高盲人脸修复结果的真实度。(2)本文参考向量量化方式,预训练了一个自编码器和一个可学习的离散码本(CodeBook)。借助离散码本可以减少从低质量到高质量修复过程中的不确定性,并为生成高质量的人脸提供丰富的面部特征。此外,为了解决量化过程中可能导致部分人脸细节信息丢失的问题,本文设计了一个特征调制模块,将量化前的特征结合到量化后的特征中,补充丢失的人脸细节信息,以提升盲人脸修复结果的保真度。(3)针对目前的方法无法很好地保证生成结果保真度的问题,本文设计了两个生成器。其中,一个是自编码器中的解码器,它可以生成不同分辨率大小的特征,这些特征包含了丰富的生成先验信息;另一个生成器是基于StyleGAN2进行改进的RenderNet。借助解码器提供的生成先验信息,RenderNet可以生成更加真实的结果。本文在一个合成退化数据集CelebA和三个真实退化数据集WebPhoto-Test、CelebChildTest和LFW-Test上进行了充分的实验验证,并与几种目前最新的盲人脸修复方法作了定性和定量比较。在定性分析上,本文的方法取得了更符合人眼直观感受的修复效果,在真实度和保真度上都要优于其它方法。在定量比较上,在多个评价指标上超过了其它最先进的方法。本文还对提出的方法进行了多项消融实验,结果表明本文方法的改进可以有效提高模型的盲人脸图像修复效果。

关键词：盲人脸修复卷积神经网络 Transformer 参考先验生成先验

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Swin Transformer和Style-based Generator的盲人脸修复

引用

四川大学学报（自然科学版） 2023年第3期60卷 59-67页

作者：向泽林楼旭东李旭伟四川外国语大学成都学院都江堰611844 四川大学计算机学院成都610065

盲人脸修复任务是从低质量的图像(例如模糊、噪声和压缩图像)中恢复高质量的图像.由于事先不知道低质量图像的退化类型和退化参数,因此盲人脸修复是一个高度病态的问题,在修复过程中严重依赖各种先验指导.然而,由于面部成分和面部标志... 详细信息

盲人脸修复任务是从低质量的图像(例如模糊、噪声和压缩图像)中恢复高质量的图像.由于事先不知道低质量图像的退化类型和退化参数,因此盲人脸修复是一个高度病态的问题,在修复过程中严重依赖各种先验指导.然而,由于面部成分和面部标志等面部先验通常是从低质量图像中提取或估计的,可能存在不准确的情况,这直接影响最终的修复性能,因此难以有效利用这些先验知识.此外,目前的主流方法基本都是依赖ConvNets进行特征提取,没有很好地考虑长距离特征,导致最终结果缺乏连续一致性.本文提出了一种改进的StyleGAN模型,命名为SwinStyleGAN,应用在高级视觉任务上表现出色的Swin Transformer来提取长距离特征,并通过改进后的类StyleGAN合成网络逐步生成图像.本文设计了一个空间注意力转换模块SAT来重新分配每个阶段特征的像素权重,以进一步约束生成器.大量实验表明,本文提出的方法具有更好的盲人脸修复性能.

关键词：盲人脸修复 ConvNets Swin Transformer StyleGAN 空间注意力转换模块

来源：

维普期刊数据库博看期刊

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：