检索结果-南通市图书馆

基于分布式爬虫的微博舆情监督与情感分析系统设计

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

现代信息科技 2024年第5期8卷 111-114,119页

作者：何西远张岳张秉文山东青年政治学院信息工程学院山东济南250103

互联网的兴起使微博等自媒体平台成为网民表达意见的主要途径。同时,网络舆情的迅速传播使得网民舆论管理成为一个难题。针对传统方法在微博舆情管理上的局限性,文章设计一种基于分布式爬虫的微博舆情监测与情感分析系统,并借助情感分析... 详细信息

互联网的兴起使微博等自媒体平台成为网民表达意见的主要途径。同时,网络舆情的迅速传播使得网民舆论管理成为一个难题。针对传统方法在微博舆情管理上的局限性,文章设计一种基于分布式爬虫的微博舆情监测与情感分析系统,并借助情感分析和LDA主题提取技术,对热点事件进行分析,帮助政府和企业更好地把握舆情发展动态,捍卫其社会公信力。

关键词：网络舆情分布式爬虫情感分析 LDA主题提取

在线全文

学校读者我要写书评

暂无评论

分布式爬虫任务调度策略的优化

黑龙江大学自然科学学报 2016年第5期33卷 671-675,701页

作者：王霓虹张露露东北林业大学信息与计算机工程学院

针对当前分布式爬虫任务调度策略存在的节点任务分配不均、发生异常后引起的负载均衡问题,提出了一种基于SP-cycle算法的节点地址空间分配策略。通过该策略构造环形序列取代传统散列函数的节点地址空间映射方法,可使所有抓取服务器分配... 详细信息

针对当前分布式爬虫任务调度策略存在的节点任务分配不均、发生异常后引起的负载均衡问题,提出了一种基于SP-cycle算法的节点地址空间分配策略。通过该策略构造环形序列取代传统散列函数的节点地址空间映射方法,可使所有抓取服务器分配的地址空间达到动态均等,从而实现可调度节点的负载均衡。实验结果表明,相对于传统一致性哈希方法,改进的任务调度策略具有更好的负载均衡效果,并且发生异常时具有较好的健壮性,有效地提升了分布式爬虫整体性能。

关键词：分布式爬虫任务调度策略 SP—cycle算法负载均衡

基于双缓冲的分布式爬虫调度策略的设计与研究

在线全文

学校读者我要写书评

暂无评论

计算机与数字工程 2022年第8期50卷 1686-1690页

作者：卢照师军张耀午王琦运城学院数学与信息技术学院运城044000 陕西师范大学计算机科学学院西安710100

互联网的高速发展使得大数据的应用越来越广泛,使得分布式爬虫处于愈来愈重要的地位。目前主流开源爬虫框架在网络通信开销上优化甚少,缺乏一个有效的方案来减少网络开销问题。论文利用对等式架构的爬行器既是任务的消费者又是任务的生... 详细信息

互联网的高速发展使得大数据的应用越来越广泛,使得分布式爬虫处于愈来愈重要的地位。目前主流开源爬虫框架在网络通信开销上优化甚少,缺乏一个有效的方案来减少网络开销问题。论文利用对等式架构的爬行器既是任务的消费者又是任务的生产者,提出了任务尽量在本地执行的优化方向。基于双缓冲技术实现的大粒度任务动态负载均衡策略,能有效地降低通信频次,基于高速缓存原理的URL判重方案,以“空间换时间”的方式,有效地提升爬虫URL判重性能。实验结果表明,该策略具有良好的扩展性、鲁棒性,能使分布式系统的性能优势得到更为充分的发挥。

关键词：分布式爬虫动态负载均衡 Scrapy-Redis 双缓冲机制

在线全文

学校读者我要写书评

暂无评论

分布式爬虫下基于用户评论的商品标签提取

分布式爬虫下基于用户评论的商品标签提取

作者：周伟鹏南京邮电大学

学位级别：硕士

随着网络新时代的到来,各种智能终端的不断普及,网上购物正越来越成为现代人们主流的购物方式。在消费者进行网络购物的同时,也产生了海量的评论数据,而这些评论数据中蕴含着巨大的挖掘价值:对商品厂家来说,评论数据能够直观地反应出用... 详细信息

随着网络新时代的到来,各种智能终端的不断普及,网上购物正越来越成为现代人们主流的购物方式。在消费者进行网络购物的同时,也产生了海量的评论数据,而这些评论数据中蕴含着巨大的挖掘价值:对商品厂家来说,评论数据能够直观地反应出用户对商品特性的评价,能够根据用户的喜好调整产品特性,从而更好地发展自身商品;对电商平台来说,可以根据评论数据提取商品标签,提高用户的购物体验,还可以根据用户兴趣进行相关推荐;对用户自身来说,评论数据是用户了解商品特征的主要信息,用户可以参考评论数据选择自己想要的商品。对用户评论数据进行挖掘,提取出商品标签,可以广泛应用于商品推荐、个性化搜索等场景,有利于商品厂家分析产品数据,有利于提高用户的购物体验,有利于增加平台用户流量。因此,对用户评论数据挖掘进行研究,可以更加有效地提高商品标签的准确性和全面性,在现实生活中,具有十分巨大的价值和深远的意义。据此,本文提出了分布式爬虫下基于用户评论的商品标签提取系统。本文首先,针对海量的用户评论数据,搭建基于改进的布隆过滤器的分布式爬虫系统,对用户评论数据进行高效地抓取和存储。然后结合改进的TF-IDF算法和依存语法对用户评论数据进行特征词提取,提取出商品(对象词,评价词)的特征词对。最后对提取出的特征词对进行聚类和情感划分处理,最终形成商品属性标签和用户情感标签的综合标签。本文的主要创新如下:1、设计出基于改进的布隆过滤器的URL去重算法的分布式爬虫框架。通过增加布隆过滤器维度的方法来有效地降低误判率,提高分布式爬虫系统的效率。2、采用改进的TD-IDF算法+依存语法分析的方法对海量的用户评论进行特征词对提取。通过对IDF权重进行缓冲并加入离散度的方法对TF-IDF算法进行改进,并结合依存语法分析,提出一种对用户评论数据进行特征词提取的方法,该方法更适用于对评论数据的特征词提取。3、将筛选出的特征词向量化为计算机能够处理的表达形式,确定距离计算函数,设计出一种K-means+AP的层次化聚类模型,对特征词进行标签化处理。

关键词：分布式爬虫 URL去重词向量 TF-IDF 依存语法标签提取情感分析

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式爬虫的动态负载均衡方法研究

分布式爬虫的动态负载均衡方法研究

作者：付志辉哈尔滨工业大学

学位级别：硕士

随着互联网的高速发展,搜索引擎成为互联网用户查找信息的第一入口,作为搜索引擎核心组件的网络爬虫用于在互联网上采集数据。现在网络信息正以指数级的速度不断膨胀,网页采集的完整性和实时性的难度越来越大,这给爬虫系统带来了巨大的... 详细信息

随着互联网的高速发展,搜索引擎成为互联网用户查找信息的第一入口,作为搜索引擎核心组件的网络爬虫用于在互联网上采集数据。现在网络信息正以指数级的速度不断膨胀,网页采集的完整性和实时性的难度越来越大,这给爬虫系统带来了巨大的挑战。如何充分地利用计算机的硬件资源和网络带宽高效地采集页面,同时减少由URL判重所带来的大量通信开销,是分布式爬虫系统研究的核心问题。针对这个问题,本文以提高分布式爬虫系统的性能为核心,进行了以下研究:深入研究了分布式系统优缺点、分布式系统的任务调度、网络爬虫工作原理和爬行策略的基础上,结合网络爬虫自身特点、互联网结构特点和站点页面间的相似性,提出了基于在线反馈的站点规模动态预测算法。站点规模动态预测算法首先对站点规模进行分类,然后根据互联网结构的疏密性和爬虫的爬行原理,提出了站点增长比的概念,在爬虫爬行的过程中,在线采集计算增长比的信息,通过计算出的增长比的反馈,对站点规模进行逐步预测,并基于采集的数据进行了算法模型的训练和验证;将基于在线反馈的站点规模动态预测算法融入到分布式爬虫系统中,可根据预测出的站点规模,减少URL判重所带来的大量通信开销。针对站点规模计算出爬行器所承载的任务负荷量,通过监视器定时收集爬行器自身负荷当量,基于以上两点计算爬行器间的负载系数,并以此为依据进行任务调度,以达到负载均衡的效果;结合以上理论基础和研究成果,本文设计并开发了基于站点规模的动态任务分割算法的分布式爬虫系统,该分布式爬虫系统能很好地处理新增爬行器时的负载均衡情况和爬行器出现故障时的任务快速恢复情况,具有很好的动态负载均衡效果、鲁棒性和扩展性。

关键词：分布式爬虫动态负载均衡站点规模预测减少通信开销任务调度

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种高效的分布式爬虫系统负载均衡策略

计算机工程 2019年第11期45卷 62-67页

作者：张树涛谭海波陈良锋吕波中国科学院合肥物质科学研究院合肥230039 中国科学技术大学研究生院合肥230039

传统分布式爬虫系统负载均衡方法仅考虑少量的负载影响因素,未对各爬虫节点负载情况进行全面有效的评估,使得任务量的分配不合理。针对该问题,提出一种面向分布式爬虫系统的高效负载均衡策略。分析影响爬虫节点运行时间的因素,采用BP神... 详细信息

传统分布式爬虫系统负载均衡方法仅考虑少量的负载影响因素,未对各爬虫节点负载情况进行全面有效的评估,使得任务量的分配不合理。针对该问题,提出一种面向分布式爬虫系统的高效负载均衡策略。分析影响爬虫节点运行时间的因素,采用BP神经网络构建基于多影响因素的非线性分布式爬虫节点运行时间模型。以该模型预测的各子节点运行时间的最小方差为负载均衡策略的目标函数,并利用带约束条件的改进粒子群优化算法求解目标函数,确定负载均衡的任务分配方案。实验结果表明,该负载均衡策略在满足爬虫节点高性能要求的前提下,能有效缩短分布式爬虫系统的运行时间。

关键词：分布式爬虫负载均衡预测模型粒子群优化算法约束条件

在线全文

学校读者我要写书评

暂无评论

分布式爬虫任务调度与AJAX页面抓取研究

分布式爬虫任务调度与AJAX页面抓取研究

作者：李婷电子科技大学

学位级别：硕士

随着互联网的迅速发展,数据呈现爆炸性增长,同时人们对数据的采集需求也与日俱增。网络爬虫作为数据获取的有效手段被广泛应用于各类系统中,诸如搜索引擎、舆情监控系统等。然而,面向中小规模系统的网络爬虫面临着两大难题:其一,单机爬... 详细信息

随着互联网的迅速发展,数据呈现爆炸性增长,同时人们对数据的采集需求也与日俱增。网络爬虫作为数据获取的有效手段被广泛应用于各类系统中,诸如搜索引擎、舆情监控系统等。然而,面向中小规模系统的网络爬虫面临着两大难题:其一,单机爬虫程序抓取速度慢,已有的开源分布式爬虫框架实现复杂,灵活性不强;其二,虽然Ajax技术以异步加载的方式与服务器交换必要的数据能够提高用户界面响应速度,带来良好的用户体验,但是传统的网页抓取方式无法完整的获取应用了这项技术的页面所包含的信息。这些缺失的信息通常具有重要的研究价值。在面向中小规模系统的分布式爬虫中,任务调度算法的优劣将直接影响系统的抓取效率。因此,本文重点对分布式爬虫的任务调度策略和Ajax页面抓取算法进行了研究。在分布式爬虫的任务调度方面,本文重点研究了主从式架构下的任务调度算法。为了保证各个爬行节点的负载均衡以及系统的可扩展性,本文提出了一种基于一致性哈希的均分负载空间算法。该算法采用了不同于机器节点复制的虚拟节点添加方法,以解决在机器数量较少的情况下系统负载不均衡问题。中心节点在把握系统整体运行状态的基础上采用该算法进行任务调度,并在爬行节点发生变化后进行相应的任务调整。通过实验比较,验证了该算法在负载均衡效率方面获得了提高。在Ajax页面抓取方面,由于单个Ajax页面中包含了许多状态,本文首先采用了经典的状态流图对Ajax页面进行建模,然后提出了基于网页主体内容变化的重复状态检测算法,并利用该算法进行有效元素的XPath特征训练,最后将训练后的结果应用到Ajax页面抓取中。通过实验比较,验证了该方法在保证获取所有数据的情况下能够进一步地减少事件触发总数,缩短页面抓取所消耗的时间,提高了Ajax页面抓取效率。最后,本文提出了支持Ajax页面抓取的分布式爬虫系统总体设计方案,并详细介绍了中心节点和爬行节点各模块的实现细节。通过将分布式爬虫系统成功的应用到网络舆情监控项目中,验证了本文所提出技术的有效性。

关键词：分布式爬虫任务调度一致性哈希 Ajax爬虫状态流图模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式爬虫技术研究与实现

分布式爬虫技术研究与实现

作者：马蕾辽宁石油化工大学

学位级别：硕士

网络中的数据蕴藏着大量有价值信息,在实际的项目需求中,为了实现能够自动地对网页上大量数据信息的收集、解析、格式化存储,提出了基于分布式的网络爬虫技术,探讨网络大数据的爬取和采集的实现方法和技术细节。通过分布式集群的搭建,将... 详细信息

网络中的数据蕴藏着大量有价值信息,在实际的项目需求中,为了实现能够自动地对网页上大量数据信息的收集、解析、格式化存储,提出了基于分布式的网络爬虫技术,探讨网络大数据的爬取和采集的实现方法和技术细节。通过分布式集群的搭建,将Nutch爬虫框架搭建在Hadoop分布式集群上,并且利用Zookeeper对集群进行协调调度服务,采用Redis高性能的Key-Value数据库对数据进行存储。在框架中结合Solr引擎,将抓取信息清晰地索引,展示。通过提取页面信息算法优化提取页面信息流程,关键词匹配优化算法获取指标相关数据,完成对数据采集和页面解析,进而实现分布式、精准化和模块化爬取网页数据的目的。通过对Hadoop集群的搭建,Nutch项目的实现,及大量数据的采集,验证了基于Nutch的分布式网络爬虫的架构和运行流程的技术可行性。通过实验对比数据表明,提取页面信息算法,关键词匹配优化算法很大程度的优化了爬虫的爬取过程,使抓取流程更严谨和精准。将基于Nutch的分布式爬虫与其他同类爬虫做多组实验数据对比分析,印证了分布式爬虫技术在性能和准确度方面上都优于传统其他爬虫,其更适用于对海量数据的爬取,其速度和容量方面表现出良好的性能。

关键词：分布式爬虫 Nutch Solr 获取页面信息

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于GNP算法的分布式爬虫调度策略

计算机应用研究 2010年第2期27卷 446-449页

作者：刘爽姜春祥张伟哲李东张鸿哈尔滨工业大学计算机科学与技术学院哈尔滨150001 国家计算机网络应急技术处理协调中心黑龙江分中心哈尔滨150001 国家计算机网络应急技术处理协调中心北京100029

针对分布式搜索引擎的任务调度及负载均衡问题,提出了基于GNP算法的分布式爬虫调度策略和负载均衡的方法。利用网络距离预估取代大规模的网络距离测量,不仅提高了系统的响应速度,还减少了系统对广域网造成的压力。通过在广域网上部署爬... 详细信息

针对分布式搜索引擎的任务调度及负载均衡问题,提出了基于GNP算法的分布式爬虫调度策略和负载均衡的方法。利用网络距离预估取代大规模的网络距离测量,不仅提高了系统的响应速度,还减少了系统对广域网造成的压力。通过在广域网上部署爬虫节点,构建分布式搜索引擎,应用该调度策略进行实验,验证了系统性能有较大提高。

关键词：分布式爬虫任务调度负载均衡网络测量全局网络定位