检索结果-南通市图书馆

全景分割与多视觉特征协同的图像描述生成方法

在线全文

学校读者我要写书评

暂无评论

计算机工程 2024年

作者：刘明明陆劲夫刘浩张海燕江苏建筑职业技术学院智能制造学院中国矿业大学计算机科学与技术学院

现有基于Transformer架构的图像描述生成模型取得了较好的泛化性能，然而，大多数方法通常使用区域视觉特征进行编解码，导致无法全面利用整幅图像的细粒度信息，且存在视觉特征混淆问题。为此，本文将全景分割引入图像描述生成，使用... 详细信息

现有基于Transformer架构的图像描述生成模型取得了较好的泛化性能，然而，大多数方法通常使用区域视觉特征进行编解码，导致无法全面利用整幅图像的细粒度信息，且存在视觉特征混淆问题。为此，本文将全景分割引入图像描述生成，使用基于全景分割的掩膜视觉特征代替区域视觉特征，提出一种全景分割与多视觉特征协同的图像描述生成方法。该方法不仅可以有效解耦视觉表征，而且能够充分结合掩膜视觉特征和网格视觉特征的优势，提升图像描述生成的可解释性和描述性能。在MSCOCO标准数据集上的定量和定性实验结果表明，所提出的方法不仅能够显著提升现有模型的性能，同时增强了图像描述生成过程的可解释性，在CIDEr和BLEU-4指标上分别达到了138.5和41。

关键词：图像理解图像描述生成全景分割特征融合视觉编码

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于全局与序列变分自编码的图像描述生成

计算机应用研究 2024年第7期41卷 2215-2220页

作者：刘明明刘浩王栋张海燕江苏建筑职业技术学院智能制造学院江苏徐州221116 中国矿业大学计算机科学与技术学院江苏徐州221116

基于Transformer架构的图像描述生成方法通常学习从图像空间到文本空间的确定性映射,以提高预测“平均”描述语句的性能,从而导致模型倾向于生成常见的单词和重复的短语,即所谓的模式坍塌问题。为此,将条件变分自编码与基于Transformer... 详细信息

基于Transformer架构的图像描述生成方法通常学习从图像空间到文本空间的确定性映射,以提高预测“平均”描述语句的性能,从而导致模型倾向于生成常见的单词和重复的短语,即所谓的模式坍塌问题。为此,将条件变分自编码与基于Transformer的图像描述生成相结合,利用条件似然的变分证据下界分别构建了句子级和单词级的多样化图像描述生成模型,通过引入全局与序列隐嵌入学习增强模型的隐表示能力。在MSCOCO基准数据集上的定量和定性实验结果表明,两种模型均具备图像到文本空间的一对多映射能力。相比于目前最新的方法COS-CVAE(diverse image captioning with context-object split latent spaces),在随机生成20个描述语句时,准确性指标CIDEr和多样性指标Div-2分别提升了1.3和33%,在随机生成100个描述语句的情况下,CIDEr和Div-2分别提升了11.4和14%,所提方法能够更好地拟合真实描述分布,在多样性和准确性之间取得了更好的平衡。

关键词：图像描述生成多样化描述变分Transformer 隐嵌入

基于多模态预训练模型的水稻病虫害图像描述生成研究

在线全文

学校读者我要写书评

暂无评论

南京农业大学学报 2024年第4期 782-791页

作者：薛悦平胡彦蓉刘洪久童莉珍葛万钊浙江农林大学数学与计算机科学学院/浙江省林业智能监测与信息技术研究重点实验室/林业感知技术与智能装备国家林业和草原局重点实验室

[目的]针对水稻病虫害图像分类技术缺少对病症描述的问题，本文提出一种轻量化的水稻病虫害图像描述模型，对水稻病虫害图像进行更为具体的描述。[方法]以白叶枯病、细菌性条斑病、恶苗病、三化螟虫、稻瘟病、稻曲病、纹枯病、飞虱、稻... 详细信息

[目的]针对水稻病虫害图像分类技术缺少对病症描述的问题，本文提出一种轻量化的水稻病虫害图像描述模型，对水稻病虫害图像进行更为具体的描述。[方法]以白叶枯病、细菌性条斑病、恶苗病、三化螟虫、稻瘟病、稻曲病、纹枯病、飞虱、稻蓟马、胡麻斑病这十类常见的水稻病虫害开展研究，构建了水稻病虫害图像中文描述数据集。首先采用多模态预训练模型CLIP生成图像向量，其中包含基本的图像信息以及丰富的语义信息，采用映射网络将图像向量映射到文本空间里生成文本提示向量，语言模型GPT-2根据文本提示向量生成图像描述。[结果]在水稻病虫害图像描述数据集上，本文模型的指标总体明显优于其他模型，本文算法的BLEU-1、BLEU-2、BLEU-3、BLEU-4、ROUGE、METEOR指标较传统的CNN＿LSTM模型分别提升0.26、0.27、0.24、0.22、0.22、0.14。生成的图像描述具有准确、详细、语义丰富等优点。另外使用实际稻田图片对模型进行测试，实际田间的场景更为复杂多样，生成的图像描述指标与数据集指标对比总体仅有轻微下降，仍高于其他对比模型。本文模型对水稻病虫害的总体识别准确率达97.28%。[结论]基于多模态预训练模型的水稻病虫害图像描述方法能够准确识别水稻病虫害病症并形成相应的病症描述，为水稻病虫害检测提供一种新思路。

关键词：多模态预训练模型水稻病虫害图像描述生成诊断

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于解耦常识性关联的图像描述生成算法

华东师范大学学报（自然科学版） 2024年第2期 131-142页

作者：刘家伟林欣华东师范大学计算机科学与技术学院上海200062

基于解耦常识性关联的图像描述生成算法旨在排除各类实体间常识性关联对模型推理的干扰,提高描述生成的流畅性与准确性.针对当前图像描述生成中存在的符合常识但与图像内容不相符的关系语句,该算法先通过一种新颖的训练方式加强关系检... 详细信息

基于解耦常识性关联的图像描述生成算法旨在排除各类实体间常识性关联对模型推理的干扰,提高描述生成的流畅性与准确性.针对当前图像描述生成中存在的符合常识但与图像内容不相符的关系语句,该算法先通过一种新颖的训练方式加强关系检测模型对图像中真实关系的关注程度,提高关系推理的准确性.再通过一种关系感知的实体交互方法,对存在关系的实体进行有针对性的信息交互,对关系信息进行强化.实验表明,该算法能够纠正一些常识性的虚假关系,生成较为准确的图像描述,并在各项评价指标上获得了较好的实验结果.

关键词：图像描述生成解耦常识性关联注意力机制

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于动态语义记忆网络的长尾图像描述生成

北京航空航天大学学报 2022年第8期48卷 1399-1408页

作者：刘昊杨小汕徐常胜中国科学院自动化研究所模式识别国家重点实验室北京100190

图像描述生成任务旨在基于输入图像生成对应的自然语言描述。现有任务数据集中大部分图像的描述语句通常包含少量常见词和大量罕见词,呈现出长尾分布。已有研究专注于提升模型在整个数据集上的描述语句准确性,忽视了对大量罕见词的准确... 详细信息

图像描述生成任务旨在基于输入图像生成对应的自然语言描述。现有任务数据集中大部分图像的描述语句通常包含少量常见词和大量罕见词,呈现出长尾分布。已有研究专注于提升模型在整个数据集上的描述语句准确性,忽视了对大量罕见词的准确描述,限制了在实际场景中的应用。针对这一问题,提出了基于动态语义记忆网络(DSMN)的长尾图像描述生成模型,旨在保证模型对常见名词准确描述的同时,提升模型对罕见名词的描述效果。DSMN模型能够动态挖掘罕见词与常见词的全局语义关系,实现从常见词到罕见词的语义知识迁移,通过协同考虑全局单词语义关系信息及当前输入图像和已生成单词的局部语义信息提升罕见词的语义特征表示能力和预测性能。为了有效评价长尾图像描述生成方法,基于MS COCO Captioning数据集定义了长尾图像描述生成任务专用测试集Few-COCO。在MS COCO Captioning和Few-COCO数据集上的多个量化实验表明,DSMN模型在Few-COCO数据集上的罕见词描述准确率为0.6028%,召回率为0.3234%,F-1值为0.3567%,相较于基准方法提升明显。

关键词：深度学习图像理解图像描述生成长尾分布记忆网络

在线全文

学校读者我要写书评

暂无评论

基于双注意模型的图像描述生成方法研究

电子学报 2022年第5期50卷 1123-1130页

作者：卓亚琦魏家辉李志欣桂林理工大学理学院广西桂林541004 广西师范大学广西多源信息挖掘与安全重点实验室广西桂林541004

现有图像描述生成方法的注意模型通常采用单词级注意,从图像中提取局部特征作为生成当前单词的视觉信息输入,缺乏准确的图像全局信息指导.针对这个问题,提出基于语句级注意的图像描述生成方法,通过自注意机制从图像中提取语句级的注意信... 详细信息

现有图像描述生成方法的注意模型通常采用单词级注意,从图像中提取局部特征作为生成当前单词的视觉信息输入,缺乏准确的图像全局信息指导.针对这个问题,提出基于语句级注意的图像描述生成方法,通过自注意机制从图像中提取语句级的注意信息,来表示生成语句所需的图像全局信息.在此基础上,结合语句级注意和单词级注意进一步提出了双注意模型,以此来生成更准确的图像描述.通过在模型的中间阶段实施监督和优化,以解决信息间的干扰问题.此外,将强化学习应用于两阶段的训练来优化模型的评估度量.通过在MSCOCO和Flickr30K两个基准数据集上的实验评估,结果表明本文提出的方法能够生成更加准确和丰富的描述语句,并且在各项评价指标上优于现有的多种基于注意机制的方法.

关键词：图像描述生成编码器-解码器架构单词级注意语句级注意双注意模型强化学习

基于视觉关联与上下文双注意力的图像描述生成方法

在线全文

学校读者我要写书评

暂无评论

软件学报 2022年第9期33卷 3210-3222页

作者：刘茂福施琦聂礼强武汉科技大学计算机科学与技术学院湖北武汉430065 山东大学计算机科学与技术学院山东青岛266237

图像描述生成有着重要的理论意义与应用价值,在计算机视觉与自然语言处理领域皆受到广泛关注.基于注意力机制的图像描述生成方法,在同一时刻融合当前词和视觉信息以生成目标词,忽略了视觉连贯性及上下文信息,导致生成描述与参考描述存... 详细信息

图像描述生成有着重要的理论意义与应用价值,在计算机视觉与自然语言处理领域皆受到广泛关注.基于注意力机制的图像描述生成方法,在同一时刻融合当前词和视觉信息以生成目标词,忽略了视觉连贯性及上下文信息,导致生成描述与参考描述存在差异.针对这一问题,提出一种基于视觉关联与上下文双注意力机制的图像描述生成方法(visual relevance and context dual attention, VRCDA).视觉关联注意力在传统视觉注意力中增加前一时刻注意力向量以保证视觉连贯性,上下文注意力从全局上下文中获取更完整的语义信息,以充分利用上下文信息,进而指导生成最终的图像描述文本.在MSCOCO和Flickr30k两个标准数据集上进行了实验验证,结果表明所提出的VRCDA方法能够有效地生成图像语义描述,相比于主流的图像描述生成方法,在各项评价指标上均取得了较高的提升.

关键词：图像描述生成双注意力机制视觉关联注意力上下文注意力

在线全文

学校读者我要写书评

暂无评论

基于依存句法的可解释图像描述生成

计算机研究与发展 2023年第9期60卷 2115-2126页

作者：刘茂福毕健旗周冰颖胡慧君武汉科技大学计算机科学与技术学院武汉430065

已有图像描述生成模型虽可以检测与表示图像目标实体及其视觉关系,但没有从文本句法关系角度关注模型的可解释性.因而,提出基于依存句法三元组的可解释图像描述生成模型(interpretable image caption generation based on dependency sy... 详细信息

已有图像描述生成模型虽可以检测与表示图像目标实体及其视觉关系,但没有从文本句法关系角度关注模型的可解释性.因而,提出基于依存句法三元组的可解释图像描述生成模型(interpretable image caption generation based on dependency syntax triplets modeling,IDSTM),以多任务学习的方式生成依存句法三元组序列和图像描述.IDSTM模型首先通过依存句法编码器从输入图像获得潜在的依存句法特征,并与依存句法三元组及文本词嵌入向量合并输入单层长短期记忆网络(long short-term memory,LSTM),生成依存句法三元组序列作为先验知识;接着,将依存句法特征输入到图像描述编码器中,提取视觉实体词特征;最后,采用硬限制和软限制2种机制,将依存句法和关系特征融合到双层LSTM,从而生成图像描述.通过依存句法三元组序列生成任务,IDSTM在未显著降低生成的图像描述精确度的前提下,提高了其可解释性.还提出了评测依存句法三元组序列生成质量的评价指标B1-DS(BLEU-1-DS),B4-DS(BLEU-4-DS),M-DS(METEOR-DS),并在MSCOCO数据集上的实验验证了IDSTM的有效性和可解释性.

关键词：图像描述生成依存句法可解释性多任务学习

基于演化深度学习的图像描述自动生成技术研究

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2022年第3期39卷 911-918页

作者：高欣孙茂圣朱俊武江苏旅游职业学院信息工程学院江苏扬州225131 扬州大学信息工程学院江苏扬州225127 扬州大学信息化建设与管理处江苏扬州225127

针对现有基于视觉注意力和基于文本注意力的图像描述自动生成模型无法同时兼顾描述图像细节和整体图像的问题,提出了一种基于演化深度学习的图像描述生成模型(evolutionary deep learning model for image captioning, EDLMIC),该模型... 详细信息

针对现有基于视觉注意力和基于文本注意力的图像描述自动生成模型无法同时兼顾描述图像细节和整体图像的问题,提出了一种基于演化深度学习的图像描述生成模型(evolutionary deep learning model for image captioning, EDLMIC),该模型是一种包含图像编码器、演化神经网络和自适应融合解码器三个子模块的图像描述自动生成模型,能够有效地融合视觉信息和文本信息,自动计算这两种信息在每个时间步所占的比例,从而基于融合的视觉文本信息更好地生成给定图像的相关描述。在Flickr30K和COCO2014两个公开数据集的实验结果表明,EDLMIC模型在METEOR、ROUGE-L、CIDEr和SPICE四个指标均优于其他基线模型,并且在多种不同的生活场景中具有较好的性能。

关键词：演化深度学习图像描述生成注意力机制计算机视觉自然语言处理