检索结果-南通市图书馆

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式平台下minhash算法研究与实现

智能计算机与应用 2014年第6期4卷 44-46页

作者：王洪亚吴西送任建军赵银龙东华大学计算机科学与技术学院上海201620

minhash作为位置敏感哈希(LSH)算法中的一种,可以用来快速估算两个集合的相似度,查找网络上的重复网页或者相似新闻网页,minhash算法使用Jaccard相似度来度量对象的相似程度。本文针对minhash算法在分布式平台上的实现和性能表现进行分... 详细信息

minhash作为位置敏感哈希(LSH)算法中的一种,可以用来快速估算两个集合的相似度,查找网络上的重复网页或者相似新闻网页,minhash算法使用Jaccard相似度来度量对象的相似程度。本文针对minhash算法在分布式平台上的实现和性能表现进行分析和研究,给出了minhash的分布式算法。最后通过具体的实验,验证了提出的minhash算法在处理实际问题上的正确性和准确性。

关键词： minhash 分布式算法实现

一种基于minhash的改进新闻文本聚类算法

在线全文

学校读者我要写书评

暂无评论

计算机技术与发展 2019年第2期29卷 39-42页

作者：王安瑾东华大学计算机科学与技术学院上海200000

信息技术的不断发展,带来的是网络上新闻文本的快速增长,面对大量的新闻文本,对其进行有效聚类就显得十分重要。基于上述需求,提出一种基于minhash的DBSCAN聚类算法。针对传统向量空间模型文本聚类存在的数据维度高、计算复杂度大、资... 详细信息

信息技术的不断发展,带来的是网络上新闻文本的快速增长,面对大量的新闻文本,对其进行有效聚类就显得十分重要。基于上述需求,提出一种基于minhash的DBSCAN聚类算法。针对传统向量空间模型文本聚类存在的数据维度高、计算复杂度大、资源消耗多的问题,该算法使用Min Hash对所有文本的文本特征词集合进行降维,从而有效减少了资源的浪费。对新得到的特征矩阵中的数据任意两两计算Jaccard系数,将每一个结果与DBSCAN聚类中给定的邻域半径Eps进行比较并计算所有距离大于邻域半径Eps的点的周围节点数目是否大于等于形成一个簇所需要的最小点数MinPts,由此可以判断该文本是否为核心点,是否可以形成簇。实验结果表明,该方法对于新闻文本聚类有着很好的效果,可以对网络上错综复杂的新闻文本进行有效的聚类。

关键词： minhash Jaccard系数 DBSCAN 文本聚类

基于minhash的协同过滤技术在推荐系统中的应用

在线全文

学校读者我要写书评

暂无评论

微型电脑应用 2017年第10期33卷 67-70页

作者：刘艾侠刘丹丹宝鸡职业技术学院宝鸡721013 中国科学院大学北京100039 中国科学院国家授时中心西安710600

传统协同过滤的推荐机制应用在大规模数据上时,如果在要保证推荐质量会导致占用运行时间和存储空间的增加。研究分析了minhash在大规模数据上的降维原理,论证了将minhash应用到协同过滤,设计并实现基于minhash算法的协同过滤模型。实验... 详细信息

传统协同过滤的推荐机制应用在大规模数据上时,如果在要保证推荐质量会导致占用运行时间和存储空间的增加。研究分析了minhash在大规模数据上的降维原理,论证了将minhash应用到协同过滤,设计并实现基于minhash算法的协同过滤模型。实验结果表明minhash能在保证推荐质量的前提下很大程度上缩短计算时间和存储空间,能有效地扩展到大规模数据集。

关键词：协同过滤大规模数据集 minhash

Practical and privacy-preserving geo-social-based POI recommendation

在线全文

学校读者我要写书评

暂无评论

Journal of Information and Intelligence 2024年第2期2卷 148-166页

作者： Qi Xu Hui Zhu Yandong Zheng Fengwei Wang Le Gao School of Cyber Engineering Xidian UniversityXi'an 710126China Science and Technology on Communication Networks Laboratory Shijiazhuang 050081China Faculty of Intelligent Manufacturing Wuyi UniversityJiangmen 529020China

With the rapid development of location-based services and online social networks,POI recommendation services considering geographic and social factors have received extensive ***,the vigorous development of cloud computing has prompted service providers to outsource data to the cloud to provide POI recommendation ***,there is a degree of distrust of the cloud by service *** protect digital assets,service providers encrypt data before outsourcing ***,encryption reduces data availability,making it more challenging to provide POI recommendation services in outsourcing *** privacy-preserving schemes for geo-social-based POI recommendation have been presented,but they have some limitations in supporting group query,considering both geographic and social factors,and query accuracy,making these schemes *** solve this issue,we propose two practical and privacy-preserving geo-social-based POI recommendation schemes for single user and group users,which are named GSPR-S and ***,we first utilize the quad tree to organize geographic data and the minhash method to index social ***,we apply BGV fully homomorphic encryption to design some private algorithms,including a private max/min operation algorithm,a private rectangular set operation algorithm,and a private rectangular overlapping detection *** that,we use these algorithms as building blocks in our schemes for efficiency *** to security analysis,our schemes are proven to be secure against the honest-but-curious cloud servers,and experimental results show that our schemes have good performance.

关键词： Cloud computing Geo-social-based data minhash POI recommendation Privacy preservation

基于资源签名的Android应用相似性快速检测方法

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

电子学报 2019年第9期47卷 1913-1918页

作者：张鹏牛少彰黄如强北京邮电大学智能通信软件与多媒体北京市重点实验室北京100876 宁夏大学信息工程学院宁夏银川750021

由于盗版Android应用(Android Application,简称APP)通常保持着与正版APP相似的用户体验,因此本文提出一种基于资源签名的APP相似性快速检测方法.该方法将APP的资源签名视为字符串集合,利用计算任意一对APP资源签名集合的Jaccard系数判... 详细信息

由于盗版Android应用(Android Application,简称APP)通常保持着与正版APP相似的用户体验,因此本文提出一种基于资源签名的APP相似性快速检测方法.该方法将APP的资源签名视为字符串集合,利用计算任意一对APP资源签名集合的Jaccard系数判断两者的相似性.为了避免遍历全部的APP对,该方法将minhash和LSH(Locality Sensitive Hashing)[JP2]算法的思路引入其中,通过从APP集合中挑选候选对并对候选对进行检验的方式获得最终的检测结果.由于挑选候选对的方式将大量相似性较低的APP对排除在外,因此该方法可以明显地提高APP相似性的检测速度.实验结果表明,该方法的检测速度比现有方法FSquaDRA提高了大约30倍,而检测结果与FSquaDRA几乎完全相同.

关键词： APP相似性资源签名 minhash LSH Jaccard系数

面向Top-k快速查询的层次化LSH索引方法

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2015年第S1期52卷 56-63页

作者：罗雄才高军北京大学信息科学技术学院北京100871 高可信软件技术教育部重点实验室(北京大学) 北京100871

局部敏感哈希(locality sensitive hashing,LSH)用于在海量高维数据中检索相似的数据项,它能高效地返回相似度大于用户给定阈值的数据对.但是,由于需要设置固定阈值,LSH无法直接处理Top-k相似查询.传统LSH索引算法需要设置一系列阈值,... 详细信息

局部敏感哈希(locality sensitive hashing,LSH)用于在海量高维数据中检索相似的数据项,它能高效地返回相似度大于用户给定阈值的数据对.但是,由于需要设置固定阈值,LSH无法直接处理Top-k相似查询.传统LSH索引算法需要设置一系列阈值,分别建立索引,时间和空间代价较大.提出了一种层次化的LSH索引算法,通过动态构建层次化相似度图,充分利用三角不等式,减少不必要的索引构建代价.具体来讲,首先通过高阈值构建相似度图,将高度相似的数据点抽象成"超点",再在"超点"上构建低阈值的相似度图.查询时,首先查询高阈值相似度图;数量不足时再查询低阈值相似度图.实验表明,相比传统LSH算法,本文方法在构建索引的时间和空间代价上减小一个数量级,查询更加高效.

关键词：层次化局部敏感哈希 minhash Top-k查询相似度图三角不等式

MR-GSpar:一种基于MapReduce的大图稀疏化算法

在线全文

学校读者我要写书评

暂无评论

计算机科学 2013年第10期40卷 190-193,212页

作者：陈德华周蒙孙延青郑亮亮东华大学计算机科学与技术学院上海201620 上海市浦东新区电子政务管理中心上海200135

图的稀疏化是图聚类分析中数据预处理的关键操作,已得到广泛的关注。针对图数据日益普及、规模不断增大的现状,提出了一种基于MapReduce的面向大规模图的稀疏化算法,即MR-GSpar算法。该算法在MapReduce并行计算框架的基础上,通过对传统... 详细信息

图的稀疏化是图聚类分析中数据预处理的关键操作,已得到广泛的关注。针对图数据日益普及、规模不断增大的现状,提出了一种基于MapReduce的面向大规模图的稀疏化算法,即MR-GSpar算法。该算法在MapReduce并行计算框架的基础上,通过对传统的最小哈希(minhash)算法的并行化改造,使其可在分布式的集群环境中实现对大规模图数据的高效稀疏化处理。真实数据集上的实验表明了该算法的可行性与有效性。

关键词：图稀疏化 minhash MapReduce框架 MR-GSpar算法

一种基于Hadoop的文本相似度仿真检测模型

在线全文

学校读者我要写书评

暂无评论

新疆大学学报（自然科学版） 2017年第3期34卷 308-315页

作者：吴云许抗震黄瑞章贵州大学计算机科学与技术学院贵州贵阳550025

随着信息时代数据量成倍的增长,传统的文本相似度检测方法已经无法处理大规模的文本数据.为此,提出了一种基于Hadoop集群技术的文本相似度仿真检测模型.该检测模型分为三步:第一步,利用Hadoop工具搭建实验平台,并针对该平台进行硬件和... 详细信息

随着信息时代数据量成倍的增长,传统的文本相似度检测方法已经无法处理大规模的文本数据.为此,提出了一种基于Hadoop集群技术的文本相似度仿真检测模型.该检测模型分为三步:第一步,利用Hadoop工具搭建实验平台,并针对该平台进行硬件和软件的优化;第二步,把文档转化为集合,使用改进的基于Map Reduce编程模型的Shingling算法;第三步,提出一种分布式的New minhash算法求签名矩阵,然后利用Jaccard系数计算出相似度,选出相似的文档.实验证明:对于相同操作,优化后的性能耗时减少了近5.65%.该仿真模型不仅能够更加精确的求出文本相似度,而且能够更好的适应分布式平台处理大规模的文本数据,同时拥有良好的扩展性.

关键词：文本相似 minhash Shingling Hadoop

在线全文

学校读者我要写书评

暂无评论

第三代DNA测序数据压缩方法研究

第三代DNA测序数据压缩方法研究

作者：崔浩翔深圳大学

学位级别：硕士

第三代测序技术自问世以来在临床分子诊断中扮演着越来越重要的角色,尤其在基因组测序、甲基化研究、突变鉴定（SNP检测）等方面。测序技术的不断发展使得测序成本逐年下降,测序数据量急剧增加,如何存储和传输庞大的测序数据是当前亟需... 详细信息

第三代测序技术自问世以来在临床分子诊断中扮演着越来越重要的角色,尤其在基因组测序、甲基化研究、突变鉴定（SNP检测）等方面。测序技术的不断发展使得测序成本逐年下降,测序数据量急剧增加,如何存储和传输庞大的测序数据是当前亟需解决的问题。数据压缩技术可以有效减少测序数据的存储空间并减少传输时间。通用压缩工具未能很好的利用DNA测序数据的数据特性,对测序数据的压缩比存在一定的局限。而目前DNA测序数据的专用压缩工具大多是针对第二代测序数据开发,在面对第三代测序数据的长读长、不固定读长、错误率高等特点时,绝大多数压缩工具均无法正常工作。所以设计专门针对第三代DNA测序数据的压缩工具变得十分重要。本文介绍了当前DNA测序数据压缩的研究背景及现状,并提出两个针对第三代DNA测序数据的压缩方法,主要工作内容如下:（1）提出基于最小哈希和局部敏感哈希技术的第三代DNA测序碱基数据压缩算法min Base Zip,算法使用杰卡德系数评估序列之间的相似性,对整个碱基序列建立特征矩阵,通过最小哈希和局部敏感哈希快速筛选出相似序列并分组,最后对各个组内序列使用基于上下文特性的gzip工具进行压缩。在来自多个测序平台的开源数据集上进行实验,和多个测序数据专用压缩工具及通用压缩工具进行对比,结果表明min Base Zip能够利用类内部的数据冗余性,提升压缩比。（2）在上述碱基数据聚类的基础上,进一步提出基于组装的fastq完整数据压缩方法min Compress,算法将fastq文件分为三个部分进行压缩,碱基部分使用wtdbg2组装工具对每个分类文件进行组装获得基因组,并将每个分类文件和获得的基因组使用基于参考基因组压缩方法LWFQzip2进行压缩;元数据和质量分数分别采用增量编码和游程限制编码进行压缩。在来自多个测序平台的长读测序数据上进行实验,和多种针对fastq文件的压缩工具进行对比,实验结果表明min Compress能在合理的时间和空间成本下获得更好的压缩比。本研究针对第三代DNA测序数据提出的压缩方法,能够帮助缓解第三代DNA测序数据所带来的存储和传输压力,并为后续相关研究提供了一定的借鉴。

关键词：单分子测序技术局部敏感哈希参考基因组数据压缩 minhash