检索结果-南通市图书馆

计算机工程 2024年

作者：黄琦强安国成熊刚上海交通大学电子信息与电气工程学院上海华讯网络系统有限公司行业数智事业部

交通目标检测是智慧交通系统的重要组成部分，但现有的交通目标检测算法只能实现对于预设目标的检测，无法应对开集目标场景。对此，提出一种基于视觉-语言预训练模型（VLP）的开集交通目标检测算法：首先，基于Faster R-CNN，修改预测... 详细信息

交通目标检测是智慧交通系统的重要组成部分，但现有的交通目标检测算法只能实现对于预设目标的检测，无法应对开集目标场景。对此，提出一种基于视觉-语言预训练模型（VLP）的开集交通目标检测算法：首先，基于Faster R-CNN，修改预测网络使其能够适应开集目标的定位问题，并将损失函数改进为IoU损失，有效地提升了定位精度；其次，构建一种新的基于VLP的标签匹配网络（VLP-LMN），对预测框进行标签匹配，VLP模型作为一个强大的知识库，可有效匹配区域图像和标签文本，同时，VLP-LMN的提示工程和微调网络模块可以更好地发掘出VLP模型的性能，有效提高VLP模型标签匹配的准确性。该算法在PASCAL VOC07+12数据集上实现了60.3%的新类目标检测平均准确率，这证明了其具有良好的开集目标检测性能；同时在交通数据集上的新类目标检测平均准确率达到了58.9%，作为零样本检测，也仅比基类目标低14.5%，这证明了该算法在交通目标检测上有良好的泛化能力。

关键词：视觉-语言预训练模型 Faster R-CNN 开集目标检测交通目标检测

来源：

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于视觉-语言预训练模型的零样本迁移学习方法综述

引用

计算机工程 2024年第10期50卷 1-15页

作者：孙仁科许靖昊皇甫志宇李仲年许新征中国矿业大学计算机科学与技术学院江苏徐州221116 矿山数字化教育部工程研究中心江苏徐州221116

近年来随着人工智能(AI)技术在计算机视觉与自然语言处理等单模态领域表现出愈发优异的性能,多模态学习的重要性和必要性逐渐展现出来,其中基于视觉-语言预训练模型的零样本迁移(ZST)方法得到了国内外研究者的广泛关注。得益于预训练模... 详细信息

近年来随着人工智能(AI)技术在计算机视觉与自然语言处理等单模态领域表现出愈发优异的性能,多模态学习的重要性和必要性逐渐展现出来,其中基于视觉-语言预训练模型的零样本迁移(ZST)方法得到了国内外研究者的广泛关注。得益于预训练模型强大的泛化性能,使用视觉-语言预训练模型不仅能提高零样本识别任务的准确率,而且能够解决部分传统方法无法解决的零样本下游任务问题。对基于视觉-语言预训练模型的ZST方法进行概述,首先介绍了零样本学习(FSL)的传统方法,并对其主要形式加以总结;然后阐述了基于视觉-语言预训练模型的ZST和FSL的区别及其可以解决的新任务;其次介绍了基于视觉-语言预训练模型的ZST方法在样本识别、目标检测、语义分割、跨模态生成等下游任务中的应用情况;最后对现有的基于视觉-语言预训练模型的ZST方法存在的问题进行分析并对未来的研究方向进行展望。

关键词：零样本学习视觉-语言预训练模型零样本迁移多模态计算机视觉

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

低资源场景下的视觉-语言预训练模型适应性研究

低资源场景下的视觉-语言预训练模型适应性研究

引用

作者：林坚西安电子科技大学

学位级别：硕士

视觉-语言预训练(Vision-Language Pre-training,VLP)模型是一种针对视觉和文本模态相关任务进行大规模无监督预训练的深度学习模型。得益于Transformer结构善于处理长距离依赖的能力以及亿级别的数据驱动的大批次对比表征学习,VLP模型... 详细信息

视觉-语言预训练(Vision-Language Pre-training,VLP)模型是一种针对视觉和文本模态相关任务进行大规模无监督预训练的深度学习模型。得益于Transformer结构善于处理长距离依赖的能力以及亿级别的数据驱动的大批次对比表征学习,VLP模型在多种下游任务上展示了优秀的零样本学习性能。然而,要将VLP模型迁移至下游任务中并最终推广至工业生产,仍然需要在相关数据集上进行适配。但由于VLP模型的参数量和计算量都十分巨大,对整个模型的微调需要较大规模的算力资源和一定数量的数据集,这对低资源场景并不友好。除此之外,VLP模型使用的传统相似度建模方式比较简单,对高维特征的利用率较低,难以充分利用高效编码器输出的多维度特征。同时,VLP模型的双独立编码器结构可解释性差,缺乏对局部信息的关注,不利于解决抽象问题。针对以上三个问题,本文提出了相应的解决方案。为了充分利用高效编码器输出的高维特征,提出了可学习的相似度表征建模来关注多维度的细节相似度信息,使得建模的相似度表征不易受维度灾难的影响,同时具有可交互的特性。为了增加对局部信息的关注,引入交叉注意力机制,利用VLP模型编码全局和局部特征,并增加了全局信息和局部信息的交互,同时,在此基础上利用相似度表征的可交互性设计相似度聚合模块,增加了全局和局部相似度之间的交互,进一步提高了模型对局部信息的关注。针对低资源场景下模型微调困难的问题,通过设计可学习提示嵌入的方法,利用提示学习代替微调范式,在不添加任何结构的情况下即可显著提高模型的跨模态匹配性能,有效地在低资源场景下实现了对模型潜能的开发。同时,本文验证了提示学习的方式在少样本的场景下也能提升模型的匹配效果。本文提出的这三个解决方案,在分别和共同应用时,都可以显著提高VLP模型在较低计算资源场景下的跨模态匹配能力,降低了模型在消费级计算资源上适应下游数据集的难度,提高了模型的可扩展性和适用范围,为将VLP模型迁移至工业生产和日常生活场景中,提供了更多可能性。

关键词：视觉-语言预训练模型跨模态匹配相似度建模交叉注意力提示学习

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：