检索结果-南通市图书馆

作者：孙轩武汉理工大学

学位级别：硕士

随着网络上信息量的极速增长,Web上出现了大量的重复信息和垃圾信息,用户感觉很难快速找到自己真正需要的信息,通用搜索引擎面临着信息采集规模、更新速度和专业化需求等多方面的挑战。面对这些挑战,针对特定主题和个性化信息检索的主... 详细信息

随着网络上信息量的极速增长,Web上出现了大量的重复信息和垃圾信息,用户感觉很难快速找到自己真正需要的信息,通用搜索引擎面临着信息采集规模、更新速度和专业化需求等多方面的挑战。面对这些挑战,针对特定主题和个性化信息检索的主题搜索引擎（vertical search engine or topical search engine）应运而生。基于主题网络爬虫的搜索引擎（即第四代搜索引擎）已经成为当前搜索引擎和Web信息挖掘中的一个研究热点和难点,本论文的研究就是以这一热点和难点技术而展开的。本文首先对通用搜索引擎的组成部分作了简单介绍,并细述了其工作原理。进而对主题搜索引擎的一些关键技术如主题网络爬虫、信息抽取、文本分类、网页排序等进行了详细的阐述。在探讨几种文本分类算法中,本文对贝叶斯分类算法进行了改进,鉴于网页中的一些HTML标记中的关键词能更好的反映一个页面的主题,在改进的算法中对这些词赋予了较大的权重系数,并通过实验与数据分析本文改进的贝叶斯分类算法在分类准确度上有了较大的提高。本文重点讨论了主题网络爬虫的搜索策略,分别论述了基于内容和基于链接的搜索策略。考虑到web页面上存在的主题孤岛问题,提出了一种新的基于内容和链接分析的URL搜索算法,可以使网络蜘蛛穿越隧道爬取更多的相关主题页面来解决主题孤岛问题,提高搜索引擎的主题资源覆盖率,同时可以较好的避免主题漂移现象。最后对本文提出的URL搜索算法进行了实验分析,以ODP分类目录索引作为实验环境,对广度优先搜索策略、最好优先搜索策略和本文提出的基于内容和链接分析的URL搜索策略进行了测评比较,结果表明本文提出的URL搜索算法在目标召回率标准方面得到了提高,使主题搜索引擎在保证查准率的基础上返回更多主题相关的页面。

关键词：主题搜索引擎网络爬虫 URL搜索策略主题孤岛贝叶斯分类器

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向房产领域的垂直搜索引擎研究与实现

面向房产领域的垂直搜索引擎研究与实现

引用

作者：王俊南昌大学

学位级别：硕士

伴随着互联网的高速发展,网络信息呈指数级增长。在如此海量的信息当中需要搜索引擎定位所需的信息。虽然通用搜索引擎在一定程度上能解决资源定位问题,但是其效果并不理想,对于专业领域的信息检索,很难达到用户的搜索需求。垂直搜索引... 详细信息

伴随着互联网的高速发展,网络信息呈指数级增长。在如此海量的信息当中需要搜索引擎定位所需的信息。虽然通用搜索引擎在一定程度上能解决资源定位问题,但是其效果并不理想,对于专业领域的信息检索,很难达到用户的搜索需求。垂直搜索引擎的出现就是为了解决通用搜索引擎在专业领域的不足,其对特定领域信息的深度挖掘弥补了通用搜索引擎信息泛而不精的缺点。论文从理论和实践两个方面对垂直搜索引擎中关键技术做了深入研究。本文首先介绍了研究背景及意义、搜索引擎的分类和垂直搜索引擎在国内外的发展现状。其次介绍了垂直搜索引擎的基本工作原理、系统构成和关键技术。接下来,详细介绍了网页的主题表示,构造了本文的主题特征向量,分析了主题网页的分布特征。深入研究了基于内容的主题相关度判定和基于链接结构的主题相关度判定,分析了各自的缺点和不足。在基于内容的主题相关度判定的基础上引入网页重要度,设计了一个基于网页内容和基于网页链接结构的主题爬虫算法。对于主题爬虫中的主题孤岛问题,设计了一个基于动态调整最大深度的隧道穿越算法,该算法一定程度上缓解了网络孤岛问题。随后,设计了一个基于房产领域的垂直搜索引擎,对本系统进行了系统分析,设计了本系统的总体框架,详细介绍了各个子功能模块的设计与实现,并对本系统做了性能分析和功能测试。最后,对论文所做的工作进行相应的总结,并且提出需要进一步研究的工作。

关键词：垂直搜索引擎主题爬虫主题孤岛隧道穿越

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

主题搜索引擎中的爬取技术研究

主题搜索引擎中的爬取技术研究

引用

作者：姜琨国防科学技术大学

学位级别：硕士

随着互联网的迅速发展，网络资源的信息量也急剧增长。人们发现使用普通搜索引擎搜索主题信息的及时性和准确性越来越不理想。主题搜索引擎由于只采集与某一特定领域相关的信息，以构筑某一主题的Web信息资源库为目标，因而具有很高的... 详细信息

随着互联网的迅速发展，网络资源的信息量也急剧增长。人们发现使用普通搜索引擎搜索主题信息的及时性和准确性越来越不理想。主题搜索引擎由于只采集与某一特定领域相关的信息，以构筑某一主题的Web信息资源库为目标，因而具有很高的实用价值和广阔的应用领域。本文主要对主题搜索引擎中占有重要地位的主题爬虫进行深入分析和研究。本文首先介绍了一些搜索引擎相关的基本理论，包括普通爬虫与主题爬虫的结构、工作原理以及Web信息的分布特征等内容。为了提高主题搜索引擎的查准率，就需要对爬取的网页进行噪声去除，提取出网页的正文信息。本文在介绍文本表示模型的相关理论和深入分析现有各种网页去噪算法的优缺点之后，以降低爬虫系统的计算复杂度和提高搜索引擎的查准率为目标，提出了一种基于标签属性的网页去噪算法。针对现有爬行算法不能很好解决“主题漂移”和“主题孤岛”两类问题，本文提出了一种基于动态隧道技术的爬行算法。该爬行算法在基于内容分析的爬行算法中加入以Page Rank为主的链接分析思想，可以比较好的解决基于链接分析爬行算法中出现的主题漂移问题。另外，通过在链接预测过程中对不相关的链接进行深入处理，并动态调整在不相关链接方向上的爬行深度，使得新的爬行算法能够在一定程度上解决主题孤岛问题，从而提高主题搜索引擎的查全率。最后本文以开源软件Nutch为基础，对所提出的算法进行了设计与实现，并对基于标签属性的网页去噪算法和基于动态隧道技术的爬行算法进行了测试。测试结果表明，在采用了新的网页去噪算法和基于动态隧道技术的爬行算法之后，本文基于Internet上实现的军事主题搜索引擎的查准率和查全率都得到了明显的提高。

关键词：主题爬虫网页去噪主题漂移主题孤岛隧道技术

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于动态隧道技术的主题爬行策略

引用

计算机系统应用 2020年第3期29卷 253-260页

作者：姜琨朱磊王一川西安理工大学计算机科学与工程学院西安710048

互联网网页所形成的主题孤岛严重影响了搜索引擎系统的主题爬虫性能,通过人工增加大量的初始种子链接来发现新主题的方法无法保证主题网页的全面性.在分析传统基于内容分析、基于链接分析和基于语境图的主题爬行策略的基础上,提出了一... 详细信息

互联网网页所形成的主题孤岛严重影响了搜索引擎系统的主题爬虫性能,通过人工增加大量的初始种子链接来发现新主题的方法无法保证主题网页的全面性.在分析传统基于内容分析、基于链接分析和基于语境图的主题爬行策略的基础上,提出了一种基于动态隧道技术的主题爬虫爬行策略.该策略结合页面主题相关度计算和URL链接相关度预测的方法确定主题孤岛之间的网页页面主题相关性,并构建层次化的主题判断模型来解决主题孤岛之间的弱链接问题.同时,该策略能有效防止主题爬虫因采集过多的主题无关页面而导致的主题漂移现象,从而可以实现在保持主题语义信息的爬行方向上的动态隧道控制.实验过程利用主题网页层次结构检测页面主题相关性并抽取“体育”主题关键词,然后以此对采集的主题网页进行索引查询测试.结果表明,基于动态隧道技术的爬行策略能够较好的解决主题孤岛问题,明显提升了“体育”主题搜索引擎的准确率和召回率.

关键词：网络爬虫主题孤岛动态隧道爬行策略

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：