检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于非参数聚类的最小哈希函数簇构造方法

基于非参数聚类的最小哈希函数簇构造方法

作者：李珂辉中山大学

学位级别：硕士

在计算机视觉领域,图像检索一直是非常受关注的研究方向。特别是近几年,伴随着大数据技术的提出,无论是在工业界还是学术界,图像检索得到了很大的发展。图像检索是指,根据用户提供的查询图像或者相关描述,从图像数据库中搜索出与图像或... 详细信息

在计算机视觉领域,图像检索一直是非常受关注的研究方向。特别是近几年,伴随着大数据技术的提出,无论是在工业界还是学术界,图像检索得到了很大的发展。图像检索是指,根据用户提供的查询图像或者相关描述,从图像数据库中搜索出与图像或描述相关的图像并返回给用户的过程。在该技术的发展初期,图像检索往往是通过给数据库图像添加某些元数据(例如关键字、描述等)来实现,在检索时通过元数据的相似性匹配来度量图像本身的相似性。近年来,随着基于内容的图像检索(content-based image retrieval)被提出,图像检索技术进入了一个崭新的时代。基于内容的图像检索不使用元数据,而是通过分析图像本身的内容(例如像素点、纹理、特征点等)来进行相似性度量。在众多图像检索算法当中,最小哈希算法因为其优异的性能和鲁棒性而得到广泛应用,特别是在工业界这样非常注重算法效率的使用场景。在本文中,我们提出了一种新的最小哈希构造算法。首先,我们对最小哈希函数的相关性进行建模,然后自适应地学习出判别性强的最小哈希函数簇。在整个算法过程中,图像特征点的空间位置信息得到了充分的利用,这使得构造出来的最小哈希簇更加有意义,从而提高了检索的准确性。本文的贡献主要有以下两点:1)利用空间耦合短语来对特征点的同出现(co-occurrence)与空间关系进行建模;2)对最小哈希函数的相关性进行建模,结合非参数贝叶斯方法,进而自适应地学习出更有判别能力的最小哈希函数簇。在实验部分,我们利用两个公共数据集对所提出的算法进行了验证。我们比较了传统的最小哈希算法以及当前最为先进的最小哈希优化算法。实验结果显示,我们提出的算法能够达到更好的检索准确性。

关键词：图像检索最小哈希非参数方法中国餐馆过程主题模型

基于最小哈希方法的多元时间序列近似关联规则挖掘

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于最小哈希方法的多元时间序列近似关联规则挖掘

作者：张旭东哈尔滨工业大学

学位级别：硕士

随着各行各业产生的数据规模不断增长,当传统的关联规则挖掘算法直接应用到大规模数据上时,往往不能及时地从数据中发掘出知识。时间序列数据作为一种典型的流数据,具有海量性、生成速率快等特点,并且数据中的知识会随着时间的推移而发... 详细信息

随着各行各业产生的数据规模不断增长,当传统的关联规则挖掘算法直接应用到大规模数据上时,往往不能及时地从数据中发掘出知识。时间序列数据作为一种典型的流数据,具有海量性、生成速率快等特点,并且数据中的知识会随着时间的推移而发生改变。因此,关联规则挖掘算法应用于时间序列时,算法效率低的问题变得尤为突出。为解决这一问题,一些研究者提出挖掘近似关联规则的方案。虽然近似规则对比原始规则具有一定的误差,但是却可以节省关联规则挖掘算法执行时间,在许多实际场景下比精确挖掘更加实用。目前国内外已有一些关于近似关联规则挖掘的研究,其中大部分研究都采用传统关联规则算法配合数据采样的方式进行。采样是一种获取近似规则的简单有效手段,但具有过于依赖数据集的问题。不同的类型的数据集、样本集与样本集之间都是存在着信息差异的。因此,取样方法可能对一些数据效果好,但对另一些的数据集效率不好。并且多数近似关联规则算法是基于Apriori算法进行的研究,由于该算法本身计算复杂,所以近似之后效率仍然相对比较低。本文基于最小哈希技术和传统关联规则算法Eclat,提出了一种新型的近似关联规则挖掘算法Hash Eclat。该算法使用最小哈希技术估算集合之间交集的大小,克服了Eclat算法计算频繁项集效率低的问题。衡量一个近似算法设计的优劣主要是看速度有多少提升和误差是否可控。通过理论分析和对比实验,证明了Hash Eclat算法的近似误差可以根据需求控制在合理的范围内,并且相对于其他近似关联规则挖掘算法,Hash Eclat在挖掘速度方面具有明显的优势。为了进一步验证近似关联规则的有效性,本文对比了原始关联规则与近似关联规则在对时间序列预测时的准确度差异。实验表明,近似关联规则在预测时与原始关联规则差异很小。但是由于关联规则挖掘时需要从原始数据中提取出事务集,所以直接将关联规则用于时间序列预测问题会导致一些时间序列特征的丢失。这些特征,例如序列先后顺序和形状等,对最终预测结果有着重要的影响。针对这一问题,本文提出一种基于动态时间弯曲的关联规则预测算法Sim TSConf。该算法结合时间序列之间的相似度和关联规则的置信度值,对挖掘到的关联规则进行更加合理的评价。本文通过在实际热电厂的数据上进行对比实验,验证了Sim TSConf算法的有效性。

关键词：关联规则时间序列预测近似算法最小哈希

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于最小哈希的重复数据清洗方法

通信技术 2019年第11期52卷 2653-2658页

作者：张荃陈晖中国人民解放军陆军工程大学

大数据时代,数据的处理和应用受到了极大关注,重复数据清洗作为数据预处理的一部分,影响着数据预处理的效率和结果。主要针对重复数据进行处理,现有的方法主要采用了datacleaner的基础模块找出重复数据,由于需要对每个属性单独进行编码... 详细信息

大数据时代,数据的处理和应用受到了极大关注,重复数据清洗作为数据预处理的一部分,影响着数据预处理的效率和结果。主要针对重复数据进行处理,现有的方法主要采用了datacleaner的基础模块找出重复数据,由于需要对每个属性单独进行编码,相对繁琐。我们创新性的将数据转换为一段文字,利用最小哈希(minhash)编码方式对该段文字进行统一的编码,然后计算Jaccard相似度,从而找出重复数据。仿真结果表明,当数据量逐步增大时,minhash算法明显缩短了运算时间,提升了重复数据处理的效率。

关键词：重复数据数据清洗 Jaccard相似度最小哈希

在线全文

学校读者我要写书评

暂无评论

一种基于最小哈希的二值特征匹配方法

计算机与现代化 2016年第6期 73-78页

作者：郭倩孙涵南京航空航天大学计算机科学与技术学院江苏南京211106

特征匹配是图像识别中一个基本研究问题。常用的匹配方式一般是基于贪婪算法的线性扫描方式,但只适用于低维数据。当数据维数超过一定程度时,这些匹配方法的时间效率将会急剧下降,甚至不强于强力线性扫描方法。本文提出一种基于最小哈... 详细信息

特征匹配是图像识别中一个基本研究问题。常用的匹配方式一般是基于贪婪算法的线性扫描方式,但只适用于低维数据。当数据维数超过一定程度时,这些匹配方法的时间效率将会急剧下降,甚至不强于强力线性扫描方法。本文提出一种基于最小哈希的二值特征匹配方法。通过最小哈希函数映射变换操作,将原始特征集合分成多个子集合,并将一个在超大集合下内查找相邻元素的问题转化为在一个很小的集合内查找相邻元素的问题,计算量有所下降。使用Jaccard距离度量的最小哈希函数能最大限度地保证原始数据中相似的向量对在哈希变换后依然相似。实验表明这种匹配方法应用在二值特征上时,可以获得比KD-Tree更好的匹配效果。

关键词：最小哈希二值特征特征匹配

一种基于局部敏感哈希的文本数据去重算法及其实现

在线全文

学校读者我要写书评

暂无评论

南开大学学报（自然科学版） 2023年第6期56卷 29-35页

作者：申峻宇李东闻钟震宇张玉志南开大学软件学院天津300350

预训练语言模型的发展激发对网络数据的大规模需求,而网络数据往往具有较高的重复性和相似性,需要经过去重才能更好地被用于模型训练.目前的去重算法可以去除相似和相同的文本数据,但存在运算效率较低的问题,难以用于处理大规模文本数据... 详细信息

预训练语言模型的发展激发对网络数据的大规模需求,而网络数据往往具有较高的重复性和相似性,需要经过去重才能更好地被用于模型训练.目前的去重算法可以去除相似和相同的文本数据,但存在运算效率较低的问题,难以用于处理大规模文本数据.本研究提出一种面向大规模文本数据的去重算法,采用先局部后整体的去重策略,极大提高了去重的运算效率.实验结果表明,算法在50 h内完成371 GB数据的去重处理,较已有算法极大地提高了去重效率.

关键词：文本去重最小哈希局部敏感哈希

一种从多表达谱数据挖掘基因共表达团的新方法

在线全文

学校读者我要写书评

暂无评论

生物化学与生物物理进展 2008年第8期35卷 914-920页

作者：陈兰王世敏陈润生中国科学院计算技术研究所

随着近年来高通量基因表达谱数据的涌现,集成多个不同实验条件的表达谱数据,并挖掘在多数据源都保守的基因共表达团,成为预测基因功能或者调控关系的方法之一.但是,常用的方法通常仅简单地集成不同表达谱数据并推导保守基因共表达团,这... 详细信息

随着近年来高通量基因表达谱数据的涌现,集成多个不同实验条件的表达谱数据,并挖掘在多数据源都保守的基因共表达团,成为预测基因功能或者调控关系的方法之一.但是,常用的方法通常仅简单地集成不同表达谱数据并推导保守基因共表达团,这样可能会导致结果中出现并非真正在多数据源保守的共表达团.提出一种结合最小哈希与局部敏感哈希的新方法,可以高效地寻找在多表达谱数据源中真正保守的基因共表达团.结果分析证明,相比过去的方法,现提出的方法可以获得更加功能相关和调控相关的基因共表达团.

关键词：表达谱共表达网络最小哈希局部敏感哈希

在线全文

学校读者我要写书评

暂无评论

哈希方法在生物信息学研究中的应用探讨

中国管理信息化 2018年第12期21卷 142-143页

作者：耿彧白涛锦州医科大学公共基础学院辽宁锦州121000 辽阳职业技术学院成教分院信息管理系辽宁辽阳111000

哈希表由于能够实现高效的数据存储和查找,操作时间可达到O(1)级,所以其被广泛应用于信息安全、操作系统、数据挖掘和生物信息等领域。本文对哈希方法在生物信息中的应用进行了探讨,同时介绍了其他特殊的哈希方法在生物信息相关问题中... 详细信息

哈希表由于能够实现高效的数据存储和查找,操作时间可达到O(1)级,所以其被广泛应用于信息安全、操作系统、数据挖掘和生物信息等领域。本文对哈希方法在生物信息中的应用进行了探讨,同时介绍了其他特殊的哈希方法在生物信息相关问题中的解决策略。哈希方法的引入能更好地提高生物信息大数据的存储与检索性能。

关键词：生物信息计算哈希方法最小哈希相似哈希

在线全文

学校读者我要写书评

暂无评论

融合结构与属性相似性的加权图聚集算法

计算机工程与科学 2019年第10期41卷 1777-1784页

作者：邴睿马慧芳刘宇航余丽西北师范大学计算机科学与工程学院甘肃兰州730070 桂林电子科技大学广西可信软件重点实验室广西桂林541004 广西师范大学广西多源信息挖掘与安全重点实验室广西桂林541004

图聚集技术是将一个大规模图用简洁的小规模图来表示,同时保留原始图的结构和属性信息的技术。现有算法未同时考虑节点的属性信息与边的权重信息,导致图聚集后与原始图存在较大差异。因此,提出一种同时考虑节点属性信息与边权重信息的... 详细信息

图聚集技术是将一个大规模图用简洁的小规模图来表示,同时保留原始图的结构和属性信息的技术。现有算法未同时考虑节点的属性信息与边的权重信息,导致图聚集后与原始图存在较大差异。因此,提出一种同时考虑节点属性信息与边权重信息的图聚集算法,使得聚集图既保留了节点属性相似度又保留了边权重信息。该算法首先定义了闭邻域结构相似度,通过一种剪枝策略来计算节点之间的结构相似度;其次使用最小哈希(MinHash)技术计算节点之间的属性相似度,并调节结构相似与属性相似所占的比例;最后,根据2方面相似度的大小对加权图进行聚集。实验表明了该算法可行且有效。

关键词：图聚集结构相似度属性相似度加权图最小哈希

在线全文

学校读者我要写书评

暂无评论

面向查询保护的图聚集算法研究

面向查询保护的图聚集算法研究

作者：邴睿西北师范大学

学位级别：硕士

图数据经常在现实生活中用来描述实体之间的关系。节点表示实体,边表示实体与实体之间的特定关系,如网络中用户之间的关系、交通网络中道路之间的关系、WEB图中网页之间的关系等。随着图数据规模不断增大,无法直接通过肉眼视觉来处理和... 详细信息

图数据经常在现实生活中用来描述实体之间的关系。节点表示实体,边表示实体与实体之间的特定关系,如网络中用户之间的关系、交通网络中道路之间的关系、WEB图中网页之间的关系等。随着图数据规模不断增大,无法直接通过肉眼视觉来处理和分析这些图数据。为了节省存储空间和便于对图数据进行分析和查询,需要将大规模图进行压缩,以便于可视化和分析图数据。因此,图聚集技术成为了研究热点。面向查询的图聚集的主要目的是保持原始图中的查询信息,如可达性关系,邻域关系,节点距离等,以此为目标对节点进行聚集。通过对现有图聚集技术现状总结分析,本文主要在面向距离查询的图聚集和可达性保护的图聚集两个方面展开了深入的研究,并取得了如下研究成果:1.提出了融合结构与属性相似性的加权图聚集算法:针对现有算法未考虑图数据同时带有节点属性与边权重的情况,提出一种融合结构与属性相似性的加权图聚集算法,本方法首先使用一种剪枝策略来快速判断节点之间的闭邻域结构相似度,去除掉结构不相似的节点对,并计算剩余节点对精确的结构相似度;其次使用最小哈希技术,计算结构相似的节点对之间的属性相似度;再次,结合节点对之间的结构相似度和属性相似度,得到节点对之间的联合相似度;最后选择联合相似度高的节点进行合并,并计算聚集后新的节点之间的边权重值。2.提出了面向距离查询的属性加权图聚集算法:针对在聚集图上执行节点间距离查询的任务,提出了面向距离查询的属性加权图聚集算法,可用于查询和存储加权图和无权图,且使用此算法进行聚集对节点间的距离影响最小。具体来说,当合并两个节点成一个超点,引入方程组使合并导致的距离差异最小化,基本原理就是使误差的平均值等于零。算法首先使用剪枝策略过滤掉结构不相似的节点对,并计算剩余节点对间的精确结构相似度;其次,使用属性熵来衡量形成的超点内部属性的一致性;然后,根据已得到的结构相似度值和属性熵值,来计算节点对之间的质量分数,决定该节点对是否合并;最后,通过联立方程组并解方程来赋予新边的权重值,使新边权重对节点间距离的影响最小。3.提出了面向可达性保护的图聚集算法:针对在聚集图上执行可达性查询的任务,提出了一种高度紧凑且带有修正表的可达性保护图聚集算法。该算法首先通过原始图中的可达性等价关系将原始图中的节点划分为等价类。然后根据其前驱和后继节点的相似性进一步压缩每对等价类。此外,使用了一组修正来保持原始图中节点的可达性关系。该方法生成规模很小的聚集图,只保留了与可达性查询相关的信息,而不保留整个原始图,从而获得更好的压缩率。任何用于评估可达性查询的算法都可以在该方法产生的聚集图上直接执行,而无需解压聚集图。此外,为了处理原始图的动态变化,本章还提出了一种动态可达性保持压缩算法,对压缩后的图和修正表进行更新,在压缩一次后不需要解压缩就可以执行更新来保持原始图的可达性。

关键词：图聚集图查询相似度计算信息熵最小哈希