检索结果-南通市图书馆

中国科学院大学学报（中英文） 2024年第5期41卷 705-714页

作者：喻永生罗铁坚中国科学院大学计算机科学与技术学院北京101408

图像补全技术广泛应用于对象消除、媒体编辑,旨在平滑地恢复受损图像。基于生成对抗网络(gan)反演将预训练的gan模型作为有效先验,以真实的合成材质填充缺失区域。然而,现有gan反演方法忽视了图像补全是具有硬约束的生成任务,使拼接图... 详细信息

图像补全技术广泛应用于对象消除、媒体编辑,旨在平滑地恢复受损图像。基于生成对抗网络(gan)反演将预训练的gan模型作为有效先验,以真实的合成材质填充缺失区域。然而,现有gan反演方法忽视了图像补全是具有硬约束的生成任务,使拼接图像有颜色、语义的不连续问题。针对此问题设计新的双向感知生成器和预调制网络来无缝地补全图像,其中双向感知生成器充分利用扩展隐藏空间,帮助模型从数据表征层面感知输入图像的非缺失区域,预调制网络利用多尺度结构进一步为风格向量提供判别性更强的语义。在Places2和CelebA-HQ数据集上进行实验,结果表明该方法不仅搭建gan反演和图像补全之间的桥梁,而且优于目前主流算法,在FID指标上降低49.2%。

关键词：图像补全生成对抗网络 gan反演深度学习对象消除

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于脸部区块化gan反演的人脸编辑与换脸算法研究

基于脸部区块化GAN反演的人脸编辑与换脸算法研究

引用

作者：刘知安华南理工大学

学位级别：硕士

人脸编辑和换脸是计算机视觉和图形学领域中长期存在的热门研究课题,早在2004年就有相关的研究工作。近年来,随着深度学习技术的快速发展,特别是生成对抗网络(Generative Adversarial Network,gan)的提出与不断改进,基于gan的人脸编辑... 详细信息

人脸编辑和换脸是计算机视觉和图形学领域中长期存在的热门研究课题,早在2004年就有相关的研究工作。近年来,随着深度学习技术的快速发展,特别是生成对抗网络(Generative Adversarial Network,gan)的提出与不断改进,基于gan的人脸编辑及换脸算法研究受到了广泛关注,其中gan反演(gan Inversion)是一个常用的做法。gan反演指的是将真实图片映射到预训练gan模型隐空间中对应隐编码的过程。随后对隐编码施加一些向量操作即可完成人脸编辑或换脸的效果。然而,现有大部分方法的操控粒度为整张人脸图片,导致编辑或换脸的粒度有限。鉴于此,本文从细粒度的角度出发,提出了一种基于脸部区块化gan反演的人脸编辑和换脸方法。具体地:(1)本文提出了一个新颖的脸部区块化gan反演算法——RGI(Regional gan Inversion)。现有的基于gan反演的人脸编辑算法只能编辑整体属性(例如男人变女人、小孩变老人),而本文提出的RGI可以实现细粒度的人脸编辑,其中人脸各区域的纹理及形状分别由对应区块的反演隐编码及人脸掩码控制。这样一来,用户可通过编辑掩码的方式实现人脸某区域形状的修改,而通过交换或插值纹理向量的方式完成纹理的编辑。本文提出的RGI算法填补了gan反演框架在细粒度人脸编辑方面的空缺。相比于现有的基于人脸语义图片的人脸编辑方法,RGI从预训练的Style gan出发,无需从头开始训练gan网络,且能生成高保真的人脸图像。此外在推理阶段,本文提出了一个增强版的RGI,该增强版模型对反演得到的隐编码进一步优化,能更好地保持人脸的细节信息,例如发型的卷曲程度、胡子、背景等。(2)基于上述RGI算法,本文从人脸细粒度编辑视角出发,提出了一个新颖的高保真换脸框架——E4S(Editing for Swapping)。换脸任务的目的是将源人脸图像中身份相关的信息迁移到目标人脸图像中,同时保留目标人脸图像中身份不相关的属性。现有的大部分换脸方法整体上都采用了基于身份特征注入的编码—解码框架,并依赖于损失函数对源图像的身份信息及目标图像的非身份属性施加隐式的约束,但它们换脸的结果看上去像是源图像与目标图像的混合。而本文提出的E4S框架能显式地提取人脸各区域的纹理及形状,并对纹理和形状分别进行交换,相比现有方法呈现出更好的源图像身份信息保持能力。E4S也能更好地处理换脸中的遮挡问题,只需填充对应的人脸掩码或基于掩码对图像进行融合处理即可,免去了额外设计子模块处理遮挡的麻烦。本文开展了大量的定性及定量对比以及相关的消融实验,并与最先进的人脸编辑及换脸算法进行了对比,实验结果表明了本文提出的RGI算法及E4S框架的有效性、先进性和高扩展性,以及处理1024～2的高分辨率图像的能力。本文也展示了RGI框架在下游编辑任务的能力,例如发型迁移、人脸美化。此外,本文提出的E4S框架在可控换脸及更具挑战性的视频换脸中也能取得较好的结果。

关键词：深度学习人脸编辑换脸生成对抗网络 gan反演

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：