检索结果-南通市图书馆

crawler for Nodes in the Internet of Things

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

ZTE Communications 2015年第3期13卷 46-50页

作者： Xuemeng Li Yongyi Wang Fan Shi Wenchao Jia Department of Computer Science Electronic Engineering Institute

Determining the application and version of nodes in the Internet of Things （IoT） is very important for warning about and managing vulnerabilities in the IoT. This article defines the attributes for determining the application and version of nodes in the roT. By improving the structure of the Internet web crawler, which obtains raw data from nodes, we can obtain data from nodes in the IoT. We improve on the existing strategy, in which only determinations are stored, by also storing downloaded raw data locally in MongoDB. This stored raw data can be conveniently used to determine application type and node version when a new determination method emerges or when there is a new application type or node version. In such instances, the crawler does not have to scan the Internet again. We show through experimentation that our crawler can crawl the loT and obtain data necessary for determining the application type and node version.

关键词： crawler local storage nodes Internet of Things

维普期刊数据库

聚焦式Web crawler工具的设计与开发

在线全文

学校读者我要写书评

暂无评论

情报杂志 2005年第4期24卷 58-60页

作者：唐详南京大学信息管理系南京210093

进行了一种面向特定领域主题搜索的实践——聚焦式Webcrawler。分析了搜索引擎和聚类算法的一般工作原理,并指出其不足。在此基础上,综合两者的优点形成了聚焦式Webcrawler工具,介绍了该工具的主要技术及实现方式。

关键词：主题挖掘搜索引擎 Web crawler 自动分类聚类算法

维普期刊数据库

crlib:可交互异构crawler框架的设计与实现

在线全文

学校读者我要写书评

暂无评论

crlib:可交互异构Crawler框架的设计与实现

基于神经网络的增量式crawler重访频率研究

第二十届全国数据库学术会议

作者：刘宝良李建中哈尔滨工业大学计算机学院数据库技术研究中心

1概述在Web上采集信息是一项重要工作。这项工作通常由crawler(也称为robot,spider等)完成。由于Web上信息量庞大,设计与实现一个可扩展、易维护的高效crawler十分复杂。虽然目前已有一些商用crawler在Web上工作,但是由于商业机密的原因... 详细信息

1概述在Web上采集信息是一项重要工作。这项工作通常由crawler(也称为robot,spider等)完成。由于Web上信息量庞大,设计与实现一个可扩展、易维护的高效crawler十分复杂。虽然目前已有一些商用crawler在Web上工作,但是由于商业机密的原因,很少有关于如何实现crawler的细节的文

关键词： crawler crawler framework Crlib MyCrawl

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

华中科技大学学报（自然科学版） 2004年第12期32卷 32-33,45页

作者：周英飚王军华中科技大学计算机科学与技术学院湖北武汉430074

crawler是搜索引擎必备的核心组件 ,以何种频率对变化的Web页面进行重访是增量式crawler要解决的主要问题 .结合人工神经网络建立页面变化模型 ,由模型确定增量式crawler重访时间 ,同时分析模型在实践中的应用 ,提出一种应用方案 ,具有... 详细信息

crawler是搜索引擎必备的核心组件 ,以何种频率对变化的Web页面进行重访是增量式crawler要解决的主要问题 .结合人工神经网络建立页面变化模型 ,由模型确定增量式crawler重访时间 ,同时分析模型在实践中的应用 ,提出一种应用方案 ,具有较好的自适应性 .

关键词：搜索引擎 crawler 增量式crawler 神经网络

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于crawler的Web服务搜索研究

基于Crawler的Web服务搜索研究

作者：徐东丽大连海事大学

学位级别：硕士

随着Web服务技术的不断发展,企业,组织或个人都可以根据Web服务规范将某个商业应用或实现某个功能的应用程序发布为Web服务,并可选择发布方式,规定允许被调用的用户范围等,从而被互联网中的用户发现并使用。但是随着目前几个公用的UDDI... 详细信息

随着Web服务技术的不断发展,企业,组织或个人都可以根据Web服务规范将某个商业应用或实现某个功能的应用程序发布为Web服务,并可选择发布方式,规定允许被调用的用户范围等,从而被互联网中的用户发现并使用。但是随着目前几个公用的UDDI注册中心的关闭,最常用的基于UDDI注册中心的Web服务发现方式的弊端越来越明显。用户想要找到提供某个功能的Web服务经常要查找多个UDDI或代理中心,这些UDDI或代理中心通常是提供分类浏览的查找方式,因此查找过程需要花费大量的时间,甚至找不到需要的Web服务,具有较低的查全率。基于通用搜索引擎的Web服务搜索虽然查全率高,但是往往搜索到大量无用的信息,查准率比较低。因此Web服务搜索和发现成为Web服务发展的一个瓶颈。本文借助搜索引擎技术在Web资源搜索上强大的优势,设计了一个基于crawler的Web服务搜索模型,该模型利用专用的网络爬虫来搜索互联网上的Web服务描述文档(WSDL),通过筛选,从而提供一个Web服务信息库,供用户进行二次检索和匹配。在设计专用搜索引擎时,首先设计网络爬虫,并对网页抓取和WSDL文档提取过程遇到的关键问题进行分析和设计;其次对Web服务信息库的二次检索和匹配的策略进行分析和设计;最后主要实现专用搜索引擎模块来搜索互联网上的Web服务。通过对搜索引擎中关键问题的分析和设计如基于二叉树存储的URL消重策略的设计,基于十六叉树存储和遍历的DNS缓存策略的设计等提高了网络爬虫抓取网页的速度和效率;通过设计基于网页重要度的信息库更新策略保证了WSDL文档抓取的覆盖率和成功率,通过设计基于WordNet语义网和最小生成树的Web服务聚类和匹配策略使用户检索Web服务时更方便,更准确。通过对模型实现部分的Web服务抓取结果进行分析,表明该模型中设计的专用搜索引擎在搜索Web服务时是有效的,并且具有较高的覆盖率。

关键词： Web服务发现 crawler WSDL 网页重要度

基于Nutch的科技主题搜索引擎crawler的研究与实现

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Nutch的科技主题搜索引擎Crawler的研究与实现

作者：任妤内蒙古科技大学

学位级别：硕士

随着人们日益增长的个性化需求，通用搜索引擎显然已经不能满足用户的各方面需求，由于主题式搜索引擎具有效率高、专业化、目标化、准确性高、及时性、个性化等优势，能够得到越来越多用户的认可。因此，主题式搜索引擎成为当今研究的... 详细信息

随着人们日益增长的个性化需求，通用搜索引擎显然已经不能满足用户的各方面需求，由于主题式搜索引擎具有效率高、专业化、目标化、准确性高、及时性、个性化等优势，能够得到越来越多用户的认可。因此，主题式搜索引擎成为当今研究的热点。另外，由于Nutch具有高透明度，任何单位或个人都可以查看搜索引擎的工作原理并且程序设置灵活，用户可以根据自己需求定制，通过长时间的实际应用，结果表明Nutch运行非常稳定，因此选择Nutch为爱好搜索引擎的人们提供了一个很好的研究平台。本课题的主要内容是基于Nutch的科技主题搜索引擎crawler的研究与应用。之所以选择科技作为主题，是因为它不仅能丰富人们的精神生活，对更新人们的思想观念以及破除迷信也具有相当重要的意义。在此背景下，本课题设计并实现了一个科技主题搜索引擎。本课题中作者以Nutch作为开发平台，对Nutch进行二次开发，并在Nutch的基础上设计实现一个以科技为主题的主题搜索引擎，详细说明了科技主题搜索引擎搜索系统开发过程和方法。作者首先在阅读了大量的参考文献的基础上，了解了主题式搜索引擎的工作原理、主题式crawler的抓取策略，分析比较了各种搜索策略之后，鉴于遗传算法在搜索引擎中的各种优势，将遗传算法的思想运用到crawler的抓取策略中。在设计系统时，系统主要分为抓取模块、预处理模块和查询服务模块。另外，由于Nutch仅仅提供搜索平台，它具有很高的扩展性及插件机制，而Nutch本身的分词效果很差，本课题中使用了庖丁解牛分词器改善Nutch中文分词的效果。最后通过项目部署在Tomcat服务器上对系统进行了实验测试，以验证了此种方法的可行性和预期的结果是否相符，改进后提高了搜索结果的精确度。

关键词：遗传算法主题搜索引擎 Nutch crawler 主题相关度