检索结果-南通市图书馆

检索条件"主题词=掩码重构"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于生成对抗网络从文本指导图像生成的研究

基于生成对抗网络从文本指导图像生成的研究

引用

作者：吴兴财广东工业大学

学位级别：硕士

文本生成图像任务是根据给定的文本描述生成图像,而图像修复任务是依靠受损图像中的残余视觉信息来生成受损区域。两个任务都是在给定的一个生成条件(图像或文本描述)下去生成高质量的图像。结合两个任务的优点,同时使用图像和文本描述... 详细信息

文本生成图像任务是根据给定的文本描述生成图像,而图像修复任务是依靠受损图像中的残余视觉信息来生成受损区域。两个任务都是在给定的一个生成条件(图像或文本描述)下去生成高质量的图像。结合两个任务的优点,同时使用图像和文本描述作为生成条件,便衍生出新的图像生成任务(文本指导图像生成任务),其目标是将文本描述作为受损区域的视觉语义的补充信息来指导图像的生成。文本指导图像生成任务是具有多模态生成条件的生成任务,虽然生成结果优于其他图像生成任务,但是该任务存在着双重挑战:一方面,图像和文本是异构的,使得视觉语义信息与文本语义信息难以共享。另一方面,文本描述通常包含冗余信息,可能会分散图像中文本描述所对应的对象的生成。本文基于生成对抗网络提出一种基于掩码重构的对抗性学习框架(Adversarial learning framework with mask reconstruction,ALMR)用于文本指导图像生成,使得受损图像通过文本语义的指导来生成高质量的图像,该网络由两阶段生成器和双鉴别器组成。两阶段生成器分别由粗粒度阶段和细粒度阶段构成,分别生成粗粒度图像和细粒度图像。为了解决视觉语义与文本语义相结合的问题。本文在两阶段生成器中设计了一个双重注意力模块(DAM)来将单词特征和句子特征融合到受损图像中,使文本语义可以指导粗粒度图像和细粒度图像的细节纹理的生成。并通过图文匹配损失对细粒度图像的视觉语义与文本语义进行约束,使它们保持一致。为了进一步解决在自然环境下受损部位的主要对象的局部或全局视觉语义难以生成,以及受损部位与其周围视觉语义难以融合的问题。本文提出一个掩码重构模块提取图像中文本描述所对应的对象并通过掩码重构损失来进行惩罚,使其与所对应的文本描述相符,而且根据文本语义生成的细节纹理图像的不污染背景部分。在训练生成器的时候,除了全局鉴别器以外,我们还利用一个边缘灵活的局部鉴别器使我们的网络聚焦于受损部位,使得生成的受损部位的边缘更加平滑过渡到其周围视觉语义。为了验证提出的ALMR的有效性,本文在三个广泛使用的公开数据集上进行了对比实验。实验结果表明,与其他文本指导图像生成方法以及图像修复方法相比,ALMR具有更好的性能,生成的图像质量更高。不仅如此,本文还进行了消融实验、人工测评以及评测其他影响ALMR性能的因素的实验,从而进一步验证ALMR的有效性。

关键词：文本指导图像生成掩码重构文本语义视觉语义注意力机制

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：