检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

原型对齐和域感知的零样本哈希

计算机工程 2024年第5期50卷 260-271页

作者：董峰王永欣马玉玲王奎奎山东建筑大学计算机科学与技术学院山东济南250101

为了实现对未见类别图像的有效检索,零样本哈希(ZSH)方法通常将类别属性中的监督知识从已见类转移到未见类。然而,获取类别属性需要花费额外的计算资源,并且视觉特征和类别属性之间存在跨模态的异构鸿沟。此外,现有方法忽视了强偏差问题... 详细信息

为了实现对未见类别图像的有效检索,零样本哈希(ZSH)方法通常将类别属性中的监督知识从已见类转移到未见类。然而,获取类别属性需要花费额外的计算资源,并且视觉特征和类别属性之间存在跨模态的异构鸿沟。此外,现有方法忽视了强偏差问题,导致模型错误地将已见类样本识别为未见类,从而降低了检索精度。与此同时,ZSH在保持哈希码和原始数据语义一致性以及实现哈希码的离散优化等方面也面临着挑战。为此,提出一种原型对齐和域感知的ZSH方法,其不依赖类别属性等特殊监督知识,能够节省注释属性的花销同时避免跨模态异构鸿沟的影响。首先计算各类样本在海明空间中的原型,然后通过对齐哈希码和类原型来学习语义一致的哈希码。为了避免松弛策略造成的量化误差,提出一种离散优化算法来求解哈希码的离散约束,并且实现线性的计算复杂度。同时,设计一个域感知策略用于分离源域和目标域样本,以缓解强偏差问题的影响。在a PY、AWA2和Image Net数据集上的实验结果表明,该方法的检索精度相较对比方法中的最优值分别提升了2.6、9.4和14.9个百分点,训练时间也远低于大部分对比方法。

关键词：哈希图像检索零样本学习原型对齐域感知

ViTH:面向医学图像检索的视觉Transformer哈希改进算法

在线全文

学校读者我要写书评

暂无评论

西南大学学报（自然科学版） 2024年第5期46卷 11-26页

作者：刘传升丁卫平程纯黄嘉爽王海鹏南通大学信息科学技术学院江苏南通226019

对海量的医学图像进行有效检索会给医学诊断和治疗带来极其重要的意义.哈希方法是图像检索领域中的一种主流方法,但在医学图像领域的应用相对较少.针对此,提出一种面向医学图像检索的视觉Transformer哈希改进算法.首先使用视觉Transfor... 详细信息

对海量的医学图像进行有效检索会给医学诊断和治疗带来极其重要的意义.哈希方法是图像检索领域中的一种主流方法,但在医学图像领域的应用相对较少.针对此,提出一种面向医学图像检索的视觉Transformer哈希改进算法.首先使用视觉Transformer模型作为基础的特征提取模块,其次在Transformer编码器的前、后端分别加入幂均值变换(Power-Mean Transformation,PMT),进一步增强模型的非线性性能,接着在Transformer编码器内部的多头注意力(Multi-Head Attention,MHA)层引入空间金字塔池化(Spatial Pyramid Pooling,SPP)形成多头空间金字塔池化注意力(Multi-Head Spatial Pyramid Pooling Attention,MHSPA)模块,该模块不仅可以提取全局的上下文特征,而且可以提取多尺度的局部上下文特征,并将不同尺度的特征进行融合.最后在输出幂均值变换层之后将提取到的特征分别通过两个多层感知机(Multi-Layer Perceptrons,MLPs),上分支的MLP用来预测图像的类别,下分支的MLP用来学习图像的哈希码.在损失函数部分,充分考虑了成对损失、量化损失、平衡损失以及分类损失来优化整个模型.在医学图像数据集ChestX-ray14和ISIC 2018上的实验结果表明,该研究所提出的算法相比于经典的哈希算法具有更好的检索效果.

关键词：医学图像检索视觉Transformer 哈希幂均值变换空间金字塔池化

基于类别相关性的多标记深度跨模态哈希检索研究

在线全文

学校读者我要写书评

暂无评论

基于类别相关性的多标记深度跨模态哈希检索研究

作者：彭沂重庆三峡学院

学位级别：硕士

随着计算机网络的迅猛发展和移动设备的广泛普及,多模态数据呈现出快速增长的趋势。不同类型的数据能够提供更加全面和丰富的信息,使得人们在获取和理解信息时具有更高效率和准确性。然而,随着多模态数据规模不断扩大,并且其生成速度也... 详细信息

随着计算机网络的迅猛发展和移动设备的广泛普及,多模态数据呈现出快速增长的趋势。不同类型的数据能够提供更加全面和丰富的信息,使得人们在获取和理解信息时具有更高效率和准确性。然而,随着多模态数据规模不断扩大,并且其生成速度也日益增加,对于存储、处理和分析这些海量复杂数据提出了巨大挑战。跨模态检索是一种信息检索技术,它能够在不同的媒体类型之间进行搜索和匹配。传统的文本检索只能针对文字内容进行搜索,而跨模态检索则可以同时处理图像、音频、视频等多种媒体形式。通过将不同媒体类型的数据转化为统一的特征表示,跨模态检索可以实现更加全面和准确的信息查询。图卷积网络是一种基于图结构的深度学习模型,它可以有效地处理非欧几里得空间数据。与传统的卷积神经网络不同,图卷积网络能够在节点和边上进行特征提取,并且具有良好的可扩展性和泛化能力。跨模态哈希是一种有效的多媒体检索技术,它可以利用二进制编码来表示不同模态的数据,从而实现快速且低成本的相似性搜索。然而,现有的跨模态哈希方法往往忽略了标签类别之间的相关性,导致哈希编码的语义丰富度不足。本文主要研究如何利用深度学习技术挖掘标签类别之间的相关性,以提高跨模态检索的性能。本文提出了两个多标签跨模态哈希方法:(1)现有的绝大多数深度跨模态哈希检索方法侧重于从多模态数据中提取信息,而忽略了多个标签中丰富的语义信息;少数深度跨模态哈希检索方法将标签视为独立的实体,忽略了类别之间的联系。为了解决上述问题,本文提出了一种基于图卷积网络的多标签深度跨模态哈希模型。该模型利用两个深度神经网络从原始文本图像对生成哈希表示,同时引入图卷积网络来捕获多标签的类别相关性并监督哈希映射的训练。该方法充分利用了多标签数据的类别相关性,使得哈希编码更具语义丰富性。在两个常用数据集上进行了实验,结果表明,该方法在精度和召回率上优于现有的方法,表明该模型具有良好的鲁棒性和灵活性。(2)本文的第一个模型虽然注意到了标签的类别相关性,但它仅仅只是局限于局部相似性,并没有考虑到实际应用中的全局语义相似。为了解决上述问题,本文提出了一种基于多跳图神经网络的多标签深度跨模态哈希模型,这是对前一个模型重要的改进。该模型利用多跳图神经网络来挖掘多标签的类别相关性,并监督图像文本对生成更具区分度的哈希表示。这种方法不仅考虑了标签的类别相关性,还考虑了标签的全局语义相关性,使得哈希编码更具区分度。在两个常用数据集上进行了实验,实验结果表明在该方法在处理跨模态检索问题时具有更优的性能。

关键词：跨模态检索图卷积网络多标签学习哈希

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向遥感图像检索的自适应样本类型判别研究

计算机科学与探索 2024年

作者：邵徽虎葛芸熊俊杰余洁洁南昌航空大学软件学院

遥感图像内容复杂，类别丰富，存在较多难以判别的图像，导致遥感图像检索性能不佳。为此，提出自适应样本类型判别方法ASTD，将样本类型动态地分为简单样本、普通样本和困难样本，网络依据样本的类型来进行不同程度的学习，从而有效提... 详细信息

遥感图像内容复杂，类别丰富，存在较多难以判别的图像，导致遥感图像检索性能不佳。为此，提出自适应样本类型判别方法ASTD，将样本类型动态地分为简单样本、普通样本和困难样本，网络依据样本的类型来进行不同程度的学习，从而有效提高特征的判别能力。首先，设计了一个SHash网络，该网络以Swin Transformer为骨干，在网络的最后加上哈希层，该网络能够在全局上捕获图像的语义信息，提高特征的表达能力和检索效率；其次，为了让同一类别图像更加聚集，并更好地区分不同类别的图像，给每个类别定义一个哈希中心，规定输入样本自身类别所对应的中心为该样本的正中心，其它中心为该样本的负中心；最后，提出样本类型判别损失STDLoss，根据样本与正负中心的距离关系自适应判别样本的类型，从而提高网络对各类型样本的学习能力。在UC-Merced和AID两个遥感数据集上与DSH、CSQ、SHC等五种哈希方法进行了比较，实验结果表明，基于ASTD方法训练的网络可以更好地学习样本的特征，提高检索性能。

关键词：遥感图像检索样本类型 swin transformer 哈希自适应判别

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于标记增强的离散跨模态哈希方法

软件学报 2023年第7期34卷 3438-3450页

作者：王永欣田洁茹陈振铎罗昕许信顺山东建筑大学计算机科学与技术学院山东济南250101 山东大学软件学院山东济南250101

跨模态哈希通过将不同模态的数据映射为同一空间中更紧凑的哈希码,可以大大提升跨模态检索的效率.然而现有跨模态哈希方法通常使用二元相似性矩阵,不能准确描述样本间的语义相似关系,并且存在平方复杂度问题.为了更好地挖掘数据间的语... 详细信息

跨模态哈希通过将不同模态的数据映射为同一空间中更紧凑的哈希码,可以大大提升跨模态检索的效率.然而现有跨模态哈希方法通常使用二元相似性矩阵,不能准确描述样本间的语义相似关系,并且存在平方复杂度问题.为了更好地挖掘数据间的语义相似关系,提出了一个基于标记增强的离散跨模态哈希方法.首先借助迁移学习的先验知识生成样本的标记分布,然后通过标记分布构建描述度更强的语义相似性矩阵,再通过一个高效的离散优化算法生成哈希码,避免了量化误差问题.最后,在两个基准数据集上的实验结果验证了所提方法在跨模态检索任务上的有效性.

关键词：跨模态检索哈希标记增强迁移学习离散优化

在线全文

学校读者我要写书评

暂无评论

基于知识蒸馏的跨模态哈希

中国科学：技术科学 2022年第5期52卷 713-726页

作者：王锦荟金露李泽超唐金辉南京理工大学计算机科学与工程学院南京210094

由于计算和存储的高效性,哈希被广泛地用于大规模跨模态检索.现有跨模态哈希方法分别对单模态数据生成哈希码,忽略了模态内和模态间的上下文信息,无法充分挖掘多媒体数据的潜在关联信息.为此,本文提出一种基于知识蒸馏的跨模态哈希方法... 详细信息

由于计算和存储的高效性,哈希被广泛地用于大规模跨模态检索.现有跨模态哈希方法分别对单模态数据生成哈希码,忽略了模态内和模态间的上下文信息,无法充分挖掘多媒体数据的潜在关联信息.为此,本文提出一种基于知识蒸馏的跨模态哈希方法.该方法首先利用基于Transformer的教师网络从图像和文本数据中捕获模态内和模态间的上下文信息,进而得到包含丰富视觉-语义关联信息的联合表示,并将联合表示投影到低维的汉明空间以得到判别性较高的二值哈希码.此外,该方法利用知识蒸馏技术将教师网络学到的多模态数据潜在关联信息迁移到学生网络,从而让学生网络生成的哈希码最大程度保留多模态关联信息.该方法在MIRFLICKR-25K,NUS-WIDE和MS-COCO数据集上进行验证,实验结果表明该方法的跨模态检索性能优于目前的主流方法.

关键词：哈希跨模态检索知识蒸馏 Transformer

面向大规模图像检索的深度多尺度注意力哈希网络

在线全文

学校读者我要写书评

暂无评论

华南理工大学学报（自然科学版） 2022年第4期50卷 35-45页

作者：冯浩王年唐俊安徽财经大学管理科学与工程学院安徽蚌埠233030 安徽大学电子信息工程学院安徽合肥230601

针对现有哈希方法所存在的特征提取能力有限、量化约束机制低效等问题,提出一个深度多尺度注意力哈希网络进行大规模图像检索。整个网络由主分支和对象分支两个子网络组成。其中,在主分支网络中加入多尺度注意力定位和显著性区域提取两... 详细信息

针对现有哈希方法所存在的特征提取能力有限、量化约束机制低效等问题,提出一个深度多尺度注意力哈希网络进行大规模图像检索。整个网络由主分支和对象分支两个子网络组成。其中,在主分支网络中加入多尺度注意力定位和显著性区域提取两个模块,以有效定位和提取图像中的显著性区域,并将执行结果送入对象分支网络学习更为丰富的细节特征;同时,将两个子网络学习到的多粒度特征进行融合并执行二进制哈希编码;此外,引入三元组量化约束以减少量化误差,同时保持成对样本的相似度关系。为验证方法的有效性,文中在两个基准数据集上进行了广泛实验。实验结果表明,所提方法优于大部分现有的哈希检索方法。

关键词：深度学习图像检索哈希注意力量化

基于改进CNN卷积神经网络的音乐识别模型构建

在线全文

学校读者我要写书评

暂无评论

自动化技术与应用 2024年第2期43卷 127-131页

作者：王飞宝鸡文理学院音乐学院陕西宝鸡721013

针对音乐识别准确率低的问题,提出一种基于深度哈希学习的音乐识别方法。通过预处理音乐信号获取梅尔声谱图,将其作为CNN的输入,并在卷积层提取卷积特征图;然后利用卷积特征图的空间细节和语义信息,将其输入到LSTM和哈希层。对损失函数... 详细信息

针对音乐识别准确率低的问题,提出一种基于深度哈希学习的音乐识别方法。通过预处理音乐信号获取梅尔声谱图,将其作为CNN的输入,并在卷积层提取卷积特征图;然后利用卷积特征图的空间细节和语义信息,将其输入到LSTM和哈希层。对损失函数进行改进,并保留哈希码语义相似性和平衡性;在以上基础上,使用softmax对特征图进行识别和分类。通过对比实验证明,基于深度哈希学习的音乐识别方法比其他方法效果更好,性能更佳。

关键词：卷积层特征图哈希 LSTM 损失函数

在线全文

学校读者我要写书评

暂无评论

基于特征融合的无监督跨模态哈希

计算机工程 2023年第2期49卷 90-97页

作者：梁天佑孟敏武继刚广东工业大学计算机学院广州510006

已有的无监督跨模态哈希(UCMH)方法主要关注构造相似矩阵和约束公共表征空间的结构,忽略了2个重要问题:一是它们为不同模态的数据提取独立的表征用以检索,没有考虑不同模态之间的信息互补;二是预提取特征的结构信息不完全适用于跨模态... 详细信息

已有的无监督跨模态哈希(UCMH)方法主要关注构造相似矩阵和约束公共表征空间的结构,忽略了2个重要问题:一是它们为不同模态的数据提取独立的表征用以检索,没有考虑不同模态之间的信息互补;二是预提取特征的结构信息不完全适用于跨模态检索任务,可能会造成一些错误信息的迁移。针对第一个问题,提出一种多模态表征融合结构,通过对不同模态的嵌入特征进行融合,从而有效地综合来自不同模态的信息,提高哈希码的表达能力,同时引入跨模态生成机制,解决检索数据模态缺失的问题;针对第二个问题,提出一种相似矩阵动态调整策略,在训练过程中用学到的模态嵌入自适应地逐步优化相似矩阵,减轻预提取特征对原始数据集的偏见,使其更适应跨模态检索,并有效避免过拟合问题。基于常用数据集Flickr25k和NUS-WIDE进行实验,结果表明,通过该方法构建的模型在Flickr25k数据集上3种哈希位长检索的平均精度均值较DGCPN模型分别提高1.43%、1.82%和1.52%,在NUS-WIDE数据集上分别提高3.72%、3.77%和1.99%,验证了所提方法的有效性。

关键词：无监督跨模态检索哈希深度学习