检索结果-南通市图书馆

网页消重和聚类算法在高校搜索引擎中的研究与应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

网页消重和聚类算法在高校搜索引擎中的研究与应用

作者：党春辉东华大学

学位级别：硕士

当前大部分搜索引擎都存在搜索结果有大量重复网页或者转载网页的问题,同时中文搜索引擎的网页聚类也处于刚刚起步阶段,很多技术都还不能应用到实际应用中去。随着中国高校的数目和规模逐年增加,高校搜索引擎技术的落后产生的弊端也浮... 详细信息

当前大部分搜索引擎都存在搜索结果有大量重复网页或者转载网页的问题,同时中文搜索引擎的网页聚类也处于刚刚起步阶段,很多技术都还不能应用到实际应用中去。随着中国高校的数目和规模逐年增加,高校搜索引擎技术的落后产生的弊端也浮出水面。针对这些问题,该文着重对搜索引擎的基本工作原理、现有的网页消重技术和网页聚类技术进行了深入的研究和探讨,设计了高校搜索引擎系统。该文着重从以下几个方面做了研究和应用:第一,对网页预处理过程中的网页表示模型进行了研究和改进:为了后续的聚类工作研究了向量空间模型,并在现有向量空间模型基础上进行了加权改进,解决了原来模型不能反映特征项的位置不同所占权重也不同和语义等问题;为了得到网页表示模型,对基于分块的网页正文提取进行了研究,给出网页分块算法的具体过程。第二,对网页消重算法进行了研究和改进:针对Internet上大量重复和转载网页的问题,研究了基于距离的网页消重算法和全文分段签名算法,其中前者通过引入向量空间模型,通过计算网页相似度,大大的提高了网页消重的质量;对于后者则在原有的全文分段签名算法的基础上进行了改进,大大地缩小了数据集,解决了原有方法速度慢的问题。第三,研究并改进了现有聚类算法:研究并比较了包括K均值聚类算法、EMClustering算法、基于容错粗糙集的聚类算法、最小-最大超盒聚类算法在内的聚类算法;在原有算法基础上提出了旋转最小-最大超盒聚类算法、基于容错粗糙集的旋转最小-最大超盒聚类算法,其中:前者利用模糊理论中的超盒理论来对聚类定义,解决了原有聚类算法对簇的形状识别和处理的局限;后者利用容错粗糙集的理论解决了大多数聚类算法只侧重于类内尽量相似,类间差异尽量大而导致的没考虑交叉语义存在的情况,使聚类结果更加可理解。第四,在现有搜索引擎的基础上提出了高校搜索引擎系统并给出了网页消重和聚类算法在高校搜索引擎中的应用:其中,前者给出了高校搜索引擎的系统结构、工作原理和工作流程:后者给出各种算法在高校搜索引擎中的应用过程:包括网页预处理过程的网页正文提取、网页消重算法、以及网页聚类过程中K均值聚类算法,K-mediods算法,...,最小-最大超盒聚类算法等在高校搜索引擎中的应用。最后给出了各种算法的评价和比较。经实验验证,本文提出的算法能够解决当前高校搜索引擎面临的基本问题,并优于大部分现有算法。

关键词：聚类网页消重向量空间模型搜索引擎

基于Map/Reduce的网页消重并行算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

广西师范大学学报（自然科学版） 2007年第2期25卷 153-156页

作者：张元丰董守斌张凌陈晓志华南理工大学广东省计算机网络重点实验室广东广州510640

网页消重模块是搜索引擎系统的重要组成部分,其作用是对搜索引擎的爬虫系统下载的网页进行过滤,去除重复内容的网页,从而提高搜索引擎爬虫系统的性能和检索的质量。提出了一种网页消重的并行算法以及基于Map/Reduce的实现机制,并通过实... 详细信息

网页消重模块是搜索引擎系统的重要组成部分,其作用是对搜索引擎的爬虫系统下载的网页进行过滤,去除重复内容的网页,从而提高搜索引擎爬虫系统的性能和检索的质量。提出了一种网页消重的并行算法以及基于Map/Reduce的实现机制,并通过实际网站的实验验证了该消重算法的稳定性和处理大量网页时的并行性能。

关键词：搜索引擎网页消重 Map/Reduce

在线全文

学校读者我要写书评

暂无评论

基于字集特征向量的网页消重改进算法

计算机工程与应用 2017年第2期53卷 53-57页

作者：李洪奇冯海波张伟杨中国宋伟城中国石油大学(北京)计算机系北京102200

基于MD5算法计算数字指纹的网页消重算法简单而高效,在网页消重领域应用比较广泛。但是由于MD5算法是一种严格的信息加密算法,在文章内容变动很少的情况下得出的指纹结果完全不同,导致基于这种算法的网页消重技术召回率不是很高。提出... 详细信息

基于MD5算法计算数字指纹的网页消重算法简单而高效,在网页消重领域应用比较广泛。但是由于MD5算法是一种严格的信息加密算法,在文章内容变动很少的情况下得出的指纹结果完全不同,导致基于这种算法的网页消重技术召回率不是很高。提出了两种基于字集特征向量的网页消重改进算法,把文章内容映射到字集空间中去,计算字集空间距离来判断文章是否相似。提出的算法具有良好的泛化能力,段落中存在的调整语序和增删改个别字不会影响到对相似段落的识别,大大提高了网页消重算法的召回率。实验结果表明,算法的时间复杂度为O(n),空间复杂度为O(1),适合应用于大规模网页消重。

关键词：字集向量机器码向量网页消重数字指纹 MD5

在线全文

学校读者我要写书评

暂无评论

搜索引擎系统中网页消重的研究与实现

搜索引擎系统中网页消重的研究与实现

作者：牛娟娟河南大学

学位级别：硕士

随着计算机硬件软件和互联网技术的飞速发展,网络上的各种信息急剧增长,已经成为人类有史以来信息资源数量最多、信息资源种类最全、信息资源规模最大的一个综合信息资源库。然而,用户在互联网上查找需要信息的时候,只知道搜索的关键词... 详细信息

随着计算机硬件软件和互联网技术的飞速发展,网络上的各种信息急剧增长,已经成为人类有史以来信息资源数量最多、信息资源种类最全、信息资源规模最大的一个综合信息资源库。然而,用户在互联网上查找需要信息的时候,只知道搜索的关键词,并不知道具体的URL,因此就需要借助搜索引擎帮助用户查找需要的信息。搜索引擎可以方便用户从互联网上查找信息,节约用户时间,受到大家普遍欢迎。互联网上出现很多功能强大的搜索引擎,针对汉语的Baidu和针对多种语言的Google等。然而,有些网站因为商业利益,为了提高其网站的点击率,大量转载别的文章。好的文章也会在博客和论坛之间转载。而且出现热门事件和大众感兴趣的焦点话题后,会有很多网站竟相报道和转载,使得用户从搜索引擎返回的结果会有很多链接不同但内容相同,降低了用户体验。用户不得不在大批相同的结果集中寻找自己需要的信息,而且重复网页的存在也增加了索引数据库的存储容量。去除重复的网页是提高搜索引擎实用性和效率的一个途径。本文首先在基于HTML标签的最大正文块算法基础上实现了网页主题内容的提取,并在此基础上,提出了基于关键词和特征码的页面去重算法,并开发了实验系统,对该算法进行了验证,通过对实验结果的分析讨论证明了算法的有效性。本文的主要工作有以下几点:1.理论研究:分析了搜索引擎运行原理与关键技术,从文本的相似检测到网页相似检测领域中几个经典的去重算法。2.网页去重与文本去重并不完全相同,需要先提取出去除导航、广告、版权等网页噪声的网页主题内容,在基于HTML标签的最大正文块算法基础上,综合考虑各种类型的网页,设计算法实现了网页主题内容提取。3.算法改进:在提取出的网页主题内容基础上,综合考虑了三种经典的网页去重算法:基于特征码,特征句和KCC算法,借鉴其优势,提出了基于关键词和特征码的网页去重算法。该算法简单高效,可以有效识别转载过程中有微小改动的网页,提高了网页去重的准确性。4.设计实现:在开源框架lucene基础上实现了一个简单的单机版搜索引擎系统,将基于关键词和特征码算法内嵌到去重模块。该系统可以根据需要抓取网页、对网页进行去重处理、对去重后的网页建立索引并进行搜索,根据用户查询关键词返回相关结果。5.实验分析:将本文去重算法内嵌到搜索引擎系统中,对抓取的900个含重复网页的数据集进行去重处理,并分析实验结果,证明改进算法的有效性。

关键词：搜索引擎网页消重网页去噪最大正文块

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于文本聚类的网页消重算法研究

基于文本聚类的网页消重算法研究

作者：姚漫北京交通大学

学位级别：硕士

随着网络技术的迅速发展和互联网规模的不断扩大,互联网已经成为了全球最大、最广泛使用的信息库,人们能够获得的信息资源也日益丰富。网络信息的指数级膨胀给信息检索带来了巨大的困难,并且网络信息的易复制性使得网络中存在大量的重... 详细信息

随着网络技术的迅速发展和互联网规模的不断扩大,互联网已经成为了全球最大、最广泛使用的信息库,人们能够获得的信息资源也日益丰富。网络信息的指数级膨胀给信息检索带来了巨大的困难,并且网络信息的易复制性使得网络中存在大量的重复信息,因此,发现并消除重复信息的研究工作具有重要意义。本文首先对传统的文本聚类方法和网页消重方法进行了研究,总结了它们各自的优缺点。并结合两种聚类算法的优点,提出Bisecting Kmeans++聚类算法,通过UCI数据集的测试评估,验证了它在聚类的最大凝聚度,正确率以及时间开销方面都比较理想。然后,本文通过Tidy将Web文档转换为格式良好的HTML文档,并利用DOM解析成树状结构。由于网页数据存在噪音的特点,文中提出最大正文块算法用于特定网页集合的噪声去除和正文块发现,并验证了它的可行性。并在经过最大正文块去噪后的网页集合对Bisecting Kmeans++算法和前N项高频词MD5值算法进行比对实验,发现它在查准率和查全率上有优势,但在时间开销上略逊一筹。在B2B门户网站信息抽取项目的公司信息整合模块中,以前的基于关键词和向量空间模型的消重算法已经无法胜任。面对实际应用中遇到的问题,文中提出了把实体识别方法应用到重复公司信息发现中,通过公司信息的整合,一方面消除了重复数据,节省了存储空间,提高了搜索引擎的用户体验;另一方面挖掘出了公司的详细信息,并为用于产品检索的质量排名算法提供了评分依据。

关键词：文本聚类向量空间模型网页消重 DOM树最大正文块实体识别

基于布隆过滤器算法的网页消重技术的实现与应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于布隆过滤器算法的网页消重技术的实现与应用

作者：王征北京交通大学

学位级别：硕士

随着Internet的不断发展,网络信息呈指数级不断膨胀,这也给信息检索带来了很大的困难,因此对于重复网页的消重操作也是十分有意义的。本文从理论和应用两方面对网页消重技术进行了研究,达到了以下目标：首先,针对特定的需求,设计与实现... 详细信息

随着Internet的不断发展,网络信息呈指数级不断膨胀,这也给信息检索带来了很大的困难,因此对于重复网页的消重操作也是十分有意义的。本文从理论和应用两方面对网页消重技术进行了研究,达到了以下目标：首先,针对特定的需求,设计与实现了基于问答平台网站的爬虫,给出了详细的实现过程,并实现了基于布隆过滤器算法(Bloom Filter)的重复URL的过滤;其次,采用XPath路径表达式定位目标节点,对于目标网页的网页正文内容进行提取操作;最后,对抽取出来的网页正文内容进行了消重操作。对网页正文内容进行了变长分块操作,对分块后的文档进行了Bloom Filter编码,并通过对文档间的Bloom Filter进行逻辑按位与操作来判断文档间的相似程度。论文实现的消重方法已经应用于实际,实际应用结果表明,该方法取得了显著的去重效果,大大提高了信息检索系统性能与用户体验性。

关键词： Bloom Filter 网络爬虫 URL消重网页消重

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

搜索引擎系统网页消重的研究与实现

搜索引擎系统网页消重的研究与实现

作者：范小源中南民族大学

学位级别：硕士

Internet的迅速普及和飞速发展,使人们面临着一个信息的海洋,快速从中获得真正重要的信息变得至关重要。搜索引擎(主要指全文搜索系统)即是提供这种功能的一种工具。然而在搜索引擎返回的检索结果中,存在大量的重复网页,它们主要来自网... 详细信息

Internet的迅速普及和飞速发展,使人们面临着一个信息的海洋,快速从中获得真正重要的信息变得至关重要。搜索引擎(主要指全文搜索系统)即是提供这种功能的一种工具。然而在搜索引擎返回的检索结果中,存在大量的重复网页,它们主要来自网站之间的转载。这些内容重复的网页既占用了网络带宽,又浪费存储资源,用户不希望看到一堆内容相同或近似的检索结果,真正有用的结果往往淹没在这些重复信息之中而不易被发现。如果能够有效消除这些重复网页,不但会提高检索的准确率,节省用户的时间和精力,而且对搜索系统本身而言可以节省大量的存储资源,提高工作效率。本文主要研究搜索引擎中的网页消重问题。目前有效的网页消重方法还比较少,主要都在服务器端实现,即在搜索系统的采集器进行网页采集的过程中消除重复的网页。目前使用的方法主要有基于相同URL的方法、基于聚类的方法、基于特征码的方法和基于签名的方法。其中聚类的方法是先将文本基于向量空问模型表示为一个向量,然后再应用各种方法来实现聚类或分类。这种方法的向量夹角计算具有很高的计算复杂度因而占用较多的处理时间。此后提出的基于特征码的方法具有较高的消重效率,但仍然难以抵抗网页转载时产生的噪声。与以往消重工作不同的是,本文将消重工作分为服务器端和客户端两部分进行。在研究了大量重复网页的基础上,将重复网页的概念进一步细分,分成内容完全相同的网页和经过适当编辑、裁剪等工作后形成的基本相同或相似网页,并分别在搜索系统的服务器端和客户端进行这两种不同类型网页的消重工作。在以上研究工作的基础上提出了一种基于网页内容特征串的新方法来解决服务器端的网页消重问题。该方法充分利用了网页的结构特征,采取主码和辅码相结合的方式来标识网页文本。主码用来标识网页文本的段落结构信息,辅码用来标识网页文本的内容信息。本文采用对主码进行聚类,对相应类别的辅码进行匹配的策略,提高了消重的准确率和效率。实验证明该方法具有比较理想的消重效果。为了实现搜索系统的智能化和个性化定制功能,本文在服务器端消重的基础上,又在客户端提出了智能代理模型。在此基础上,分析了新闻类网页的重复特点,提出了适用于客户端的基于关键词上下文匹配的网页消重新算法。该算法利用新闻类网页转载率高、重复率高的特征,考虑到用户搜索关键词一般可以表征其所希望获得的网页,使用用户提交关键词的上下文来构成匹配串,对各匹配串进行比较来实现网页消重。该算法采用模糊匹配的思想来抵抗网页噪声,引入可以根据需要进行调整的模糊因子和重叠因子等参数,得到了满意的消重效果。本文为了验证所提出算法的有效性并比较其消重效果,在Windows平台上基于Java语言以及Lucene工具包开发了一个搜索引擎实验原型系统,完成了该系统的总体设计和各个模块的设计工作,并在该系统上实现了本文的算法。实验结果表明,本文提出的两种消重算法均具有较高的重复网页召回率、消重准确率和较低的漏删率及误删率,进一步改进、完善后,可望获得实际应用。最后进行了全文总结并提出了进一步研究工作的设想。

关键词：搜索引擎网页消重客户代理 Lucene

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

布隆过滤器在网页消重中的应用

软件 2015年第12期36卷 166-170页

作者：潘昊鄂海红宋美娜北京邮电大学计算机学院北京100876

随着互联网的发展,网络信息呈爆炸性的增长。大量的信息一方面给人们带来了更多的消息来源,而另一方面也给人们搜索有用的信息带来巨大的负担。根据2015年11月的最新数据,互联网上活动网站的数量达到了902,997,800个。因此如何更有效的... 详细信息

随着互联网的发展,网络信息呈爆炸性的增长。大量的信息一方面给人们带来了更多的消息来源,而另一方面也给人们搜索有用的信息带来巨大的负担。根据2015年11月的最新数据,互联网上活动网站的数量达到了902,997,800个。因此如何更有效的消除互联网中的重复信息,让人们便捷的找到所求,已经成为现代互联网的一个重要的问题。布隆过滤器(Bloom Filter)是1970年提出的一种去重算法,它实际上是由一个很长的二进制向量和一系列随机映射函数组成的,拥有查询速度快和占用空间低的优点,然而其存在一定的误识别率。针对这个问题,本文设计了一种多维布隆过滤器算法,有效降低了传统布隆过滤器误识别率,并且通过实验,测试对比误称率和查询速度。

关键词：算法理论多维布隆过滤器布隆过滤器网页消重

在线全文

学校读者我要写书评

暂无评论

基于网页内容的网页消重高效检测算法研究

佳木斯大学学报（自然科学版） 2010年第1期28卷 22-24页

作者：王祖析湖南化工职业技术学院湖南株洲412004

在对现有主流网页消重技术分析的基础上,提出一种基于网页内容的改进的网页消重高效检测算法.该算法通过利用网页的标签树结构选取最大的多个文本块,将这些文本块连接在一起生成一个代表该网页的MD5指纹,对指纹进行比较,确认近似网页实... 详细信息

在对现有主流网页消重技术分析的基础上,提出一种基于网页内容的改进的网页消重高效检测算法.该算法通过利用网页的标签树结构选取最大的多个文本块,将这些文本块连接在一起生成一个代表该网页的MD5指纹,对指纹进行比较,确认近似网页实现消重,实验证明该方法对近似网页能进行准确的检测.

关键词：搜索引擎网页消重 MD5指纹算法分析