检索结果-南通市图书馆

基于语义对齐和层次优化的非机动车车牌识别定位方法

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机工程 2024年

作者：谭若琦董明刚赵唯肖武天昊广西嵌入式技术与智能系统重点实验室桂林理工大学信息科学与工程学院

对非机动车违规行为依法追究责任是提高城市交通安全的有效手段。由于非机动车车牌具有尺寸小、分布密集、易遮挡等特点，导致应用传统的深度学习方法会出现特征信息大量丢失。提出了一种基于语义对齐和层次优化的非机动车车牌识别定位... 详细信息

对非机动车违规行为依法追究责任是提高城市交通安全的有效手段。由于非机动车车牌具有尺寸小、分布密集、易遮挡等特点，导致应用传统的深度学习方法会出现特征信息大量丢失。提出了一种基于语义对齐和层次优化的非机动车车牌识别定位方法。该方法首先设计底层信息融合的语义对齐模块，在上采样过程中利用底层目标信息引导高层语义向下融和，以解决高底层语义冲突带来的小目标特征丢失问题；然后构建CSP结构的层次优化模块替代深层ELAN模块，使用堆叠少量卷积核模块提取目标信息以减少网络层数，避免特征信息在深层的丢失；最后，为减少训练过程中的匹配误差，使用K-Means++算法聚类得到适合非机动车车牌的初始锚框，提高小目标识别定位准确率。实验结果证明，所提出的方法在自制非机动车车牌数据集上识别定位准确率为90.95%，与YOLOv7、YOLOv8等代表性方法相比至少提升3.58%，为非机动车车牌识别定位提供了一种有效的方法。

关键词：小目标检测非机动车车牌语义对齐层次优化 K-Means++算法

融合全局语义的CLIP-GPT图像描述模型

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

哈尔滨理工大学学报 2024年 16-24页

作者：陶锐任洪娥曹海燕东北林业大学信息与计算机工程学院呼伦贝尔学院计算机学院黑龙江省林业智能装备工程研究中心

图像描述是指为图像自动生成与其内容相符的语言描述。桥接计算机视觉和自然语言处理两个领域的预训练模型构建图像描述模型时，跨模态语义一致性是共享子空间嵌入的核心问题。本文将图像拆分成若干片作为视觉语义单元与语言特征进行自... 详细信息

图像描述是指为图像自动生成与其内容相符的语言描述。桥接计算机视觉和自然语言处理两个领域的预训练模型构建图像描述模型时，跨模态语义一致性是共享子空间嵌入的核心问题。本文将图像拆分成若干片作为视觉语义单元与语言特征进行自由的跨模态关联，突破了有限视觉特征分类的限制；联合运用掩码学习和图文特征匹配两个损失函数，挑选高难度负样本训练跨模态跳接网络提取一致性全局语义，提高了子空间邻域内高相似度图文特征点匹配的准确度。在MS COCO和Flickr30k两个数据集上的实验结果表明，与同样采用CLIP+GPT生成图像描述的模型及其他主流模型相比，性能均有提升，证明了所提出模型的有效性。

关键词：跨模态图像描述预训练模型共享子空间语义对齐

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

一种基于同步语义对齐的异构缺陷预测方法

软件学报 2023年第6期34卷 2669-2689页

作者：李伟湋陈翔张恒伟黄志球贾修一南京航空航天大学计算机科学与技术学院江苏南京211106 南京航空航天大学航天学院江苏南京211106 南通大学信息科学技术学院江苏南通226019 南京理工大学计算机科学与工程学院江苏南京210094

异构缺陷预测(heterogeneous defect prediction,HDP)在具有异构特征的项目间进行缺陷预测,可以有效解决源项目和目标项目使用了不同特征的问题.当前大多数HDP方法都是通过学习域不变特征子空间以减少域之间的差异来解决异构特征问题.但... 详细信息

异构缺陷预测(heterogeneous defect prediction,HDP)在具有异构特征的项目间进行缺陷预测,可以有效解决源项目和目标项目使用了不同特征的问题.当前大多数HDP方法都是通过学习域不变特征子空间以减少域之间的差异来解决异构特征问题.但是,源域和目标域通常呈现出巨大的异质性,使得域对齐效果并不好.究其原因,这些方法都忽视了分类器对于两个域中的同一类别应产生相似的分类概率分布这一潜在知识,没有挖掘数据中包含的内在语义信息.另一方面,由于在新启动项目或历史遗留项目中搜集训练数据依赖于专家知识,费时费力且容易出错,探究了基于目标项目内少数标记模块来进行异构缺陷预测的可能性.鉴于此,提出一种基于同步语义对齐的异构缺陷预测方法(SHSSAN).一方面,探索从标记的源项目中学到的隐性知识,从而在类别之间传递相关性,达到隐式语义信息迁移.另一方面,为了学习未标记目标数据的语义表示,通过目标伪标签进行质心匹配达到显式语义对齐.同时,SHSSAN可以有效解决异构缺陷数据集中常见的类不平衡和数据线性不可分问题,并充分利用目标项目中的标签信息.对包含30个不同项目的公共异构数据集进行的实验表明,与目前表现优异的CTKCCA、CLSUP、MSMDA、KSETE和CDAA方法相比,在F-measure和AUC上分别提升了6.96%、19.68%、19.43%、13.55%、9.32%和2.02%、3.62%、2.96%、3.48%、2.47%.

关键词：异构缺陷预测语义对齐少样本数据类不平衡线性不可分

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于伪标签细化和语义对齐的异构域自适应

浙江大学学报:工学版 2023年第9期57卷 1876-1884,1902页

作者：吴兰崔全龙河南工业大学电气工程学院河南郑州450001

在进行跨域知识迁移时,现有异构域自适应方法忽略了伪标签和类别预测中语义属性的重要性,导致分类精度不高,为此提出新的异构域自适应方法.该方法匹配源域和目标域的条件分布和边缘分布,考虑源数据和目标数据在公共特征子空间的相似性,... 详细信息

在进行跨域知识迁移时,现有异构域自适应方法忽略了伪标签和类别预测中语义属性的重要性,导致分类精度不高,为此提出新的异构域自适应方法.该方法匹配源域和目标域的条件分布和边缘分布,考虑源数据和目标数据在公共特征子空间的相似性,通过细化空间相似性的伪标签来增强目标域伪标签的置信度,使模型的分类精度提高.考虑同类的样本经过分类器输出后有相似的预测分布,构造语义预测空间中的域鉴别器,使模型的泛化性提升.不同特征表示的文本和图像的分类任务实验结果成功地验证了所提方法的优越性.

关键词：异构域自适应伪标签细化语义预测空间域鉴别器语义对齐

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

跨模态语义对齐和信息细化的多模态情感分析

计算机工程与应用 2023年

作者：丁美荣陈鸿业曾碧卿华南师范大学软件学院

为了解决多模态情感分析中存在异构鸿沟和语义鸿沟，以及模态无法有效融合等问题。提出了一个新的框架，一种基于跨模态Transformer的语义对齐和信息细化的多模态情感分析模型CM-SAIR，可以有效的解决多模态语义不对齐、语义噪声等问题... 详细信息

为了解决多模态情感分析中存在异构鸿沟和语义鸿沟，以及模态无法有效融合等问题。提出了一个新的框架，一种基于跨模态Transformer的语义对齐和信息细化的多模态情感分析模型CM-SAIR，可以有效的解决多模态语义不对齐、语义噪声等问题，实现多模态数据更好的交互融合。使用多模态特征嵌入模块（MFE）增强视觉和听觉模态的情感信息。通过一个定义良好的模态间语义对齐模块（ISA）进行双模态时间维度的对齐。通过一个模态内的信息细化模块（IIR）进行情感解析和情感细化。通过多模态门控融合模块(MGF)实现模态有效融合。在流行的多模态情感分析数据集上的大量实验证明了CM-SAIR框架与最先进的基线相比的优势。

关键词：多模态特征嵌入语义对齐信息细化多模态门控融合多模态情感分析

基于多注意力机制和语义对齐的跨模态遥感图文检索研究

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于多注意力机制和语义对齐的跨模态遥感图文检索研究

作者：周玉琢华中科技大学

学位级别：硕士

跨模态图文检索任务旨在挖掘图像和文本两种不同模态数据之间的对应关系,并通过一种模态的输入数据在另一种模态中检索语义相似的数据。跨模态图文检索融合了计算机视觉和自然语言处理两个领域的相关知识和技术,例如特征提取、注意力机... 详细信息

跨模态图文检索任务旨在挖掘图像和文本两种不同模态数据之间的对应关系,并通过一种模态的输入数据在另一种模态中检索语义相似的数据。跨模态图文检索融合了计算机视觉和自然语言处理两个领域的相关知识和技术,例如特征提取、注意力机制等等,在自然灾害预警、军事侦察、资源勘探等诸多领域都起着关键作用。跨模态图文检索不仅需要分别对图像和文本进行特征提取和理解,还需要进一步建立文本语义和视觉图像之间的关系,并在两种不同模态之间进行精确的检索。随着卫星技术的飞速发展,在遥感图像的数量随之迅速增加的同时,也带来了在遥感领域实现跨模态检索的应用需求。然而,遥感图像自身存在的多尺度、小目标等复杂特性使得在遥感领域进行跨模态图文检索变得更加地具有挑战性。本文主要针对遥感图像多尺度和小目标的问题,提出了一种基于多注意力机制和语义对齐的跨模态遥感图文检索网络模型MASAN(Multi-Attention and Semantic Alignment Network)。模型包含三个主要模块:1)多尺度特征提取模块。用于遥感图像进行特征表达,从而获得更加精细和全面的遥感图像视觉特征,同时提高跨模态检索模型对遥感图像中密集小目标的敏感度;2)多注意力融合模块。该模块从三个不同的层面来对视觉特征进行自适应关注,滤除特征中的冗余信息,同时增强特征中的显著信息,从而获取更加精确的视觉特征;3)语义对齐模块。该模块以文本特征作为上下文信息,并构建门函数来对图像视觉特征进行调整和补充,增强图像和文本之间的语义关联,从而提高跨模态检索模型的准确性。最后,本文构建了一个包含密集小目标的遥感场景的标注数据集,并且在该数据集和其它4个基准遥感标注数据集上分别进行了充分的实验,验证了模型的有效性、鲁棒性和泛化性。对灾情预警、资源勘探、军事侦察等诸多领域都具有一定的理论及实用价值。

关键词：跨模态遥感图文检索多尺度特征密集小目标多注意力机制语义对齐

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

多层语义对齐的跨模态检索研究与应用

多层语义对齐的跨模态检索研究与应用

作者：马泽伟天津理工大学

学位级别：硕士

随着社交媒体的发展,文本、图片等各种类型的数据在网络中快速传播,如何从这些多模态数据中获得有意义的信息显得尤为重要,跨模态检索能够集合多种模态信息,满足用户获取信息的需求,是多模态学习、人工智能等领域上极具发展潜力和研究... 详细信息

随着社交媒体的发展,文本、图片等各种类型的数据在网络中快速传播,如何从这些多模态数据中获得有意义的信息显得尤为重要,跨模态检索能够集合多种模态信息,满足用户获取信息的需求,是多模态学习、人工智能等领域上极具发展潜力和研究意义的重要研究方向。目前学者们针对该方向展开了一系列的研究,并取得了优异的成果,但是如何缩小模态间的语义鸿沟、去除冗余特征以及保持检索效率和检索精度的均衡仍然是跨模态检索面临的重要挑战。针对上述问题,本文提出了多层级语义对齐的跨模态检索方法,主要研究内容如下:(1)针对减小语义鸿沟和去除冗余特征的挑战,提出基于反事实推理的跨模态检索方法。该方法将基于反事实推理的多层级对比学习方法应用在跨模态检索中,分别在实例级、图像级和语义级构建反事实对比学习来训练模型,让模型对图像和文本表达进行全面的理解,减小模态间的语义鸿沟。同时在对比学习正负样本构建过程中引入反事实思维,以生成具有强辨别力的事实和反事实样本,从而提升模型的感知能力。(2)针对保持检索效率和检索精度的均衡这一挑战,提出基于双流Transformer的语义增强跨模态检索方法。该方法使用具有较高检索效率的双流Transformer来构建模型,同时提出了多项选择任务和语义增强模块,其中多项选择任务利用自监督学习的方式让模型挖掘图像文本特征之间的语义关联;语义增强模块用来实现多项选择任务,该模块能够在多个级别进行图像和文本的语义对齐,能够让模型在保持检索效率的同时提升模型精度。(3)跨模态检索原型系统。该系统通过构建前后端页面实现了上述两种基于多层级语义对齐的跨模态检索方法,展示了图像检索文本和文本检索图像两个任务的检索过程。综上所述,文本构建了基于反事实推理的跨模态检索方法,为解决跨模态检索模型中缩小语义鸿沟和去除冗余特征问题提供了解决思路;提出基于双流Transformer的语义增强跨模态检索方法,在保持模型检索效率的同时有效提高了模型检索的精度;设计并实现了一个跨模态检索原型系统,在多层级语义对齐的跨模态检索领域进行了有益的探索与尝试。

关键词：跨模态检索对比学习语义对齐反事实推理多模态学习

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于语义对齐的零样本图像分类研究

基于语义对齐的零样本图像分类研究

作者：王格荣西安电子科技大学

学位级别：硕士

深度学习技术的快速发展极大地促进了图像分类任务的进步。然而,深度学习本身是一种数据依赖的学习范式,需要大规模的人工标注数据用以训练模型。在真实世界中,为不可胜举的类别样本进行有效的人工标注是费时费力且不切实际的,此外,对... 详细信息

深度学习技术的快速发展极大地促进了图像分类任务的进步。然而,深度学习本身是一种数据依赖的学习范式,需要大规模的人工标注数据用以训练模型。在真实世界中,为不可胜举的类别样本进行有效的人工标注是费时费力且不切实际的,此外,对于某些罕见的类别,我们常常难以收集到足够的样本,甚至没有样本以支撑训练。因此,零样本学习(Zero-shot Learning,ZSL)逐渐受到人们的关注,其目标是解决目标任务训练样本为零的条件下的图像分类问题,即零样本图像分类问题。零样本学习通过模仿人类的推理能力,借助辅助语义信息作为已知类和未知类连接的桥梁,在嵌入空间下构建视觉信息和语义信息的跨模态映射,实现跨模态信息的语义对齐,从而完成未知类样本的分类任务。然而,视觉信息和语义信息因本身模态的差异性,面临着语义鸿沟问题,难以在嵌入空间下建立良好的跨模态语义对齐关系。因此,本文围绕嵌入空间下跨模态语义对齐方法展开研究,从构建主动的注意力机制以及构建属性对比约束两个角度出发,实现跨模态信息的语义对齐。本文的主要研究内容如下:第一,提出一种基于混合路由Transformer的零样本图像分类方法。已有的基于注意力机制的零样本学习方法忽略了视觉信息与语义信息因本身的模态差异性而导致的语义鸿沟问题,均采用无模态差异缩小的被动的注意力机制对二者进行加权,从而无法捕捉到属性真正相关的视觉区域,实现嵌入空间下真正的跨模态语义对齐。为此,本文提出一种主动的注意力机制,在嵌入空间下通过使用两种胶囊网络的动态路由,以自上而下和自下而上结合的方式实现语义特征的主动引导和视觉特征的主动学习,从而获取语义真正对齐的视觉特征,缩小视觉信息和语义信息的模态差异,建立有效的跨模态语义对齐关系。此外,本文较早地提出以Transformer的形式构建零样本图像分类框架,通过编码解码的方式完成零样本图像分类任务,为以后的研究提供了一种重要的解决思路。实验表明,本文所提的基于混合路由Transformer的零样本图像分类方法能够有效地缓解模态差异,实现跨模态信息的语义对齐,进而大幅度提高零样本图像分类的正确率。第二,提出一种基于对比约束的零样本图像分类方法。已有的基于嵌入空间的零样本学习方法忽略了对语义属性本身的探索,缺乏语义属性在视觉特征上的高判别性、鲁棒性的特征表达,从而无法实现有效的跨模态语义对齐。为此,本文在基于嵌入空间的方法上引入对比学习,让同一类别下不同样本预测的正向语义属性尽可能的相似,不同类别下预测的负向语义属性尽可能的远离,以此来提升零样本图像分类任务中具有判别性以及鲁棒性的语义属性图像特征表达能力。此外,本文引入Mean Teacher机制,将采用不同数据增强的图像分别输入给学生模型和教师模型,并在两个模型之间构建一致性约束,以此来进一步提升跨模态信息映射的鲁棒性。实验表明,本文所提的基于对比约束的零样本图像分类方法能够有效地提升语义属性的图像特征表达能力,建立出良好的跨模态语义对齐关系,大幅度提高零样本图像分类的正确率,且此模型取得了目前该领域领先的零样本图像分类性能。

关键词：零样本学习图像分类语义对齐注意力机制对比学习

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于语义对齐与图节点交互的实例分割算法

激光与光电子学进展 2023年第22期60卷 123-130页

作者：张敏邓洋洋李亚军张苗辉河南大学人工智能学院河南郑州450046

针对主流单阶段实例分割算法因冗余语义信息造成实例掩码缺失和泄漏的问题,提出一个基于语义对齐和图节点交互的实例分割算法。在全局掩码生成阶段,设计一个语义对齐模块,通过全局映射和高斯映射评估语义信息对全局和局部语义完整性的影... 详细信息

针对主流单阶段实例分割算法因冗余语义信息造成实例掩码缺失和泄漏的问题,提出一个基于语义对齐和图节点交互的实例分割算法。在全局掩码生成阶段,设计一个语义对齐模块,通过全局映射和高斯映射评估语义信息对全局和局部语义完整性的影响,从而对冗余语义信息进行抑制。此外,在实例掩码组装阶段,设计一个图节点交互模块。该模块通过对特征图进行图结构数据变换和图节点信息交互,提取拓扑图的空间特征,补充了掩码组装信息,进一步提高了实例掩码的准确度。实验结果表明,所提算法在MS COCO数据集上实现了38.3%的平均精度均值(mAP),与其他先进算法相比,有很强的竞争力。

关键词：图像处理实例分割语义对齐图节点交互 MS COCO数据集

维普期刊数据库