检索结果-南通市图书馆

检索条件"主题词=联合注意机制"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于全局上下文注意机制的图像描述生成研究

基于全局上下文注意机制的图像描述生成研究

引用

作者：陶瑞太原科技大学

学位级别：硕士

图像描述旨在用自然合理的语句描述给定图像的主要内容,一直是计算机视觉领域和自然语言处理领域研究的重点问题。近年来,基于注意力机制的图像描述方法因能够精细化地处理和动态化选择图像特征,生成了比较准确且全面的描述语句,备受研... 详细信息

图像描述旨在用自然合理的语句描述给定图像的主要内容,一直是计算机视觉领域和自然语言处理领域研究的重点问题。近年来,基于注意力机制的图像描述方法因能够精细化地处理和动态化选择图像特征,生成了比较准确且全面的描述语句,备受研究者的关注。然而,大多数基于注意力机制的图像描述方法因仅专注于利用图像内部的视觉信息和语义信息生成图像描述,仍然存在一些问题:(1)忽略了全局上下文注意信息的作用造成生成描述在准确性上并不理想;(2)局限于利用图像内部信息而无法有效充分地提取隐含语义关联信息,导致生成描述在语义完整性上存在缺失;(3)侧重于特征信息的利用而忽略了对干扰特征的有效区分,导致生成描述相关性差,模型整体鲁棒性弱。因此,为有效提升图像描述模型的整体性能,本文从信息筛选和约束条件改进的角度出发,对基于全局上下文注意机制的图像描述生成方法进行了深入研究。主要研究工作如下:(1)针对基于注意力机制的图像描述方法未有效利用上下文信息进而影响描述准确性的问题,提出一种基于全局上下文联合注意机制的图像描述生成方法。首先,通过将语义特征作为区域特征的补充,允许模型专注于语义上重要的概念或区域,从而缓解了生成描述时的信息缺失。其次,从初始的完整描述中获取全局上下文信息,利用上下文信息约束,指导最终图像描述的生成,从而提高结果的准确性。在两个标准数据集(MSCOCO和Flickr30k)上的实验结果表明,我们的模型能够有效地生成图像描述,并且在各种评价指标方面优于许多最先进的图像描述方法。(2)针对基于注意力机制的图像描述方法局限于利用图像内部信息,无法有效识别隐含语义关联,导致描述在语义完整性上存在缺失的问题,提出一种基于知识图谱与全局上下文注意的图像描述模型。首先通过利用知识图谱,将外部知识编码嵌入到模型当中,提高生成描述语义信息的完整性;然后利用全局上下文信息进一步约束指导最终生成的图像描述,有效地提高了图像描述结果的准确性。在两个不同规模的标准数据集MSCOCO和Flickr30k上与其他先进方法进行实验对比,结果表明该模型在评价指标上均有所提高,证明了所提方法的有效性。(3)针对基于注意力机制的图像描述方法仅专注于视觉信息和语义信息的利用,忽视了对干扰特征的有效区分,导致模型在生成描述上相关性差和模型整体鲁棒性弱的问题,提出一种基于因果干预与全局上下文注意的图像描述模型。首先对于图像特征和关联知识,利用因果干预进行推理筛选,选择与图像内容紧密相关的常识信息,以减少干扰信息的影响,提高生成描述的语义相关性和模型整体的鲁棒性;然后利用全局上下文信息进行二次约束,有效地提高了图像描述结果的准确性。在两个不同规模的标准数据集MSCOCO和Flickr30k上的实验结果显示,该模型在准确性和泛化性上均有所提高,证明了所提方法的有效性。

关键词：图像描述全局上下文注意知识图谱联合注意机制因果干预

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：