检索结果-南通市图书馆

Probabilistic, Statistical and Algorithmic Aspects of the Similarity of Texts and Application to Gospels Comparison

在线全文

学校读者我要写书评

暂无评论

Journal of Data Analysis and Information Processing 2015年第4期3卷 112-127页

作者： Soumaila Dembele Gane Samb Lo LSTA Université Pierre et Marie Curie Paris France LERSTAD Université Gaston Berger de Saint-Louis Saint-Louis Sénégal Université des Sciences de Gestion de Bamako Bamako Mali

The fundamental problem of similarity studies, in the frame of data-mining, is to examine and detect similar items in articles, papers, and books with huge sizes. In this paper, we are interested in the probabilistic, and the statistical and the algorithmic aspects in studies of texts. We will be using the approach of k-shinglings, a k-shingling being defined as a sequence of k consecutive characters that are extracted from a text (k ≥ 1). The main stake in this field is to find accurate and quick algorithms to compute the similarity in short times. This will be achieved in using approximation methods. The first approximation method is statistical and, is based on the theorem of Glivenko-Cantelli. The second is the banding technique. And the third concerns a modification of the algorithm proposed by Rajaraman et al. ([1]), denoted here as (RUM). The Jaccard index is the one being used in this paper. We finally illustrate these results of the paper on the four Gospels. The results are very conclusive.

关键词： Similarity Web Mining Jaccard Similarity RU Algorithm Minhashing Data Mining shingling Bible’s Gospels Glivenko-Cantelli Expected Similarity Statistical Estimation

一种基于Hadoop的文本相似度仿真检测模型

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

新疆大学学报（自然科学版） 2017年第3期34卷 308-315页

作者：吴云许抗震黄瑞章贵州大学计算机科学与技术学院贵州贵阳550025

随着信息时代数据量成倍的增长,传统的文本相似度检测方法已经无法处理大规模的文本数据.为此,提出了一种基于Hadoop集群技术的文本相似度仿真检测模型.该检测模型分为三步:第一步,利用Hadoop工具搭建实验平台,并针对该平台进行硬件和... 详细信息

随着信息时代数据量成倍的增长,传统的文本相似度检测方法已经无法处理大规模的文本数据.为此,提出了一种基于Hadoop集群技术的文本相似度仿真检测模型.该检测模型分为三步:第一步,利用Hadoop工具搭建实验平台,并针对该平台进行硬件和软件的优化;第二步,把文档转化为集合,使用改进的基于Map Reduce编程模型的shingling算法;第三步,提出一种分布式的New Minhash算法求签名矩阵,然后利用Jaccard系数计算出相似度,选出相似的文档.实验证明:对于相同操作,优化后的性能耗时减少了近5.65%.该仿真模型不仅能够更加精确的求出文本相似度,而且能够更好的适应分布式平台处理大规模的文本数据,同时拥有良好的扩展性.

关键词：文本相似 Minhash shingling Hadoop

在线全文

学校读者我要写书评

暂无评论

网页查重算法研究

网页查重算法研究

作者：毛许光武汉理工大学

学位级别：硕士

Internet的迅速普及和飞速发展,使人们面临着一个信息的海洋,快速从中获得真正重要的信息变得至关重要。搜索引擎(主要指全文搜索系统)即是提供这种功能的一种工具。然而在搜索引擎返回的检索结果中,存在大量的重复网页,它们主要来自网... 详细信息

Internet的迅速普及和飞速发展,使人们面临着一个信息的海洋,快速从中获得真正重要的信息变得至关重要。搜索引擎(主要指全文搜索系统)即是提供这种功能的一种工具。然而在搜索引擎返回的检索结果中,存在大量的重复网页,它们主要来自网站之间的转载。这些内容重复的网页既占用了网络带宽,又浪费存储资源,用户不希望看到一堆内容相同或近似的检索结果,真正有用的结果往往淹没在这些重复信息之中而不易被发现。如果能够有效消除这些重复网页,不但会提高检索的准确率,节省用户的时间和精力,而且对搜索系统本身而言可以节省网络带宽,降低存储成本,提高搜索引擎的性能。本文主要研究搜索引擎中网页查重的问题。首先简要介绍了搜索引擎的原理,发展现状,存在的不足和发展趋势,以及本课题研究的背景和意义。其次对当前国际和国内相关领域的研究动态进行了深入的分析,详尽介绍了网页查重算法的起源和研究历史,网页查重算法的分类及各个分类的代表性算法,这些算法对原有算法的改进、性能和优缺点。其中着重介绍了非常优秀和经典的算法shingling和simhash,许多算法都是基于这两种算法的思想进行的改进。Google正是利用simhash来实现网页查重。Charikar的simhash算法对检测数万亿的存储级别的相似网页是非常实用的。作为指纹技术的simhash具有相似文档的指纹只存在很小位数的不同的特性。Simhash是一种降维技术,可以将高维向量映射为位数较小的指纹。它在网页中的应用过程如下:首先将文档转化为特征码的集合,每个特征码附有一个权值。特征码的生成采用IR技术,比如分词、大小写转换、停止词去除。一个附有权值的特征码的集合构成一个高维向量,通过simhash可以将这个高维向量转化为f位的指纹,f的值很小,比如64。最后详尽介绍了在很多重要的项目中广泛应用并取得一致好评的开源项目Clucene,以及如何利用Clucene建立自己的搜索引擎系统,进行索引和检索查询。Clucene提供了丰富的API函数,利用这些API函数可以方便的建立自己的搜索引擎系统。详细介绍了主要的类,数据结构,系统结构及如何实现索引,搜索和分析。

关键词：搜索引擎网页查重 shingling Simhash

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种高效的分布式相似短文本聚类算法

计算机与数字工程 2016年第5期44卷 895-900,943页

作者：原默晗唐晋韬王挺国防科学技术大学计算机学院长沙410073

近似重复在微博等网络短文本中十分常见,查找和消除近似重复对于网络信息的有效处理具有非常重要的意义。论文针对相似短文本聚类的特点,在改进shingling、最小哈希和局部敏感哈希算法相结合的文件相似检测方法的基础上,设计了一个高效... 详细信息

近似重复在微博等网络短文本中十分常见,查找和消除近似重复对于网络信息的有效处理具有非常重要的意义。论文针对相似短文本聚类的特点,在改进shingling、最小哈希和局部敏感哈希算法相结合的文件相似检测方法的基础上,设计了一个高效的短文本聚类方法。该方法通过将文本表示成连续短字符串集合,并应用最小哈希将集合简化成一组由数字组成的文本签名,通过局部敏感哈希算法得到符合相似度条件的文本聚类。为了适应网络信息规模大的特点,论文进一步利用Apache Spark集群计算框架对聚类算法进行了并行化,提高了数据处理的效率,并分析了影响算法性能的因素。

关键词：文本聚类最小哈希局部敏感哈希 shingling Spark

在线全文

学校读者我要写书评

暂无评论

一种双层网页去重方法研究

电脑编程技巧与维护 2010年第20期 66-67,84页

作者：毛晓蛟南京师范大学强化培养学院南京210046

利用Bloom Filter数据结构、shingling算法和MD5编码,构造双层网页去重模型。通过Bloom Filter结构,在网络蜘蛛程序下载网页时,去除重复的网址,并讨论了Bloom Filter出错概率。对已下载的网页用shingling算法去重,阐述了相似网页的判断... 详细信息

利用Bloom Filter数据结构、shingling算法和MD5编码,构造双层网页去重模型。通过Bloom Filter结构,在网络蜘蛛程序下载网页时,去除重复的网址,并讨论了Bloom Filter出错概率。对已下载的网页用shingling算法去重,阐述了相似网页的判断方法。通过实验,得到了最后的结果,并指出了模型存在的缺点和该方法的后续研究方向。

关键词： Bloom Filter 错误率 shingling MD5 相似网页