检索结果-南通市图书馆

基于分布式爬虫的社交媒体灾害信息挖掘系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于分布式爬虫的社交媒体灾害信息挖掘系统的设计与实现

作者：单欣刚华中科技大学

学位级别：硕士

近些年来我国社交媒体发展迅猛,社交媒体如新浪微博等每天都会产生大量的数据,如何提高社交媒体数据采集效率,并从中挖掘出灾害相关信息,尤其是时间和空间信息,对于灾害的信息管理和救灾防灾决策支持具有重要意义。基于分布式爬虫的社... 详细信息

近些年来我国社交媒体发展迅猛,社交媒体如新浪微博等每天都会产生大量的数据,如何提高社交媒体数据采集效率,并从中挖掘出灾害相关信息,尤其是时间和空间信息,对于灾害的信息管理和救灾防灾决策支持具有重要意义。基于分布式爬虫的社交媒体灾害信息挖掘系统,通过多节点分布式模式高效采集数据,并提取出其中的时间特征分布和空间特征分布信息,为灾害治理提供数据支撑。灾害信息挖掘系统,使用B/S模式,采用了数据采集、数据存储、数据挖掘和数据展示的四层架构设计。数据采集层以Scrapy-Redis框架为基础,以阿里云服务器上部署的4个Cent OS服务器为爬虫子节点,以新浪微博平台为数据源,以反爬虫技术为辅助手段进行数据抓取。数据存储层包括两个步骤,对原始微博数据进行清洗,将数据存入My SQL数据库。数据挖掘层是对微博数据进行灾害信息挖掘,主要是对时间特征信息和空间特征信息的提取,时间特征信息利用数据库查询技术进行提取,微博文本地名识别采用地名库匹配以及地名前后缀算法同时进行,并借助高德地图开发接口进行逆编码转换成经纬度坐标。数据展示层是将采集的微博信息和分析处理后的数据信息,以图表等形式进行可视化,Django框架搭建的网页是进行数据展示的基础,微博文本信息、微博用户信息和处理分析后的时间特征信息是采用ECharts库以图表形式展示,空间特征信息则采用高德地图展示位置分布。通过四层架构设计完成对社交媒体数据的高效抓取和灾害信息挖掘以及可视化。灾害信息挖掘系统使用发生时间不同并且影响范围也不相同的利奇马台风、白鹿台风灾害作为案例,抓取新浪微博相关数据,挖掘时空特征后,分别进行时间分布分析和空间分布分析。实验结果表明,每次灾害的数据采集时间均能保持在30分钟以内,并且时空分布均能反映台风灾害的演变情况。灾害信息挖掘系统能高效抓取社交媒体数据,并从中挖掘出灾害信息,可应用于包括台风在内的多种灾害场景,为灾害信息管理提供了新的思路。

关键词：分布式爬虫新浪微博地名识别时空特征分析

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于NLP与分布式爬虫的故事化资讯系统

基于NLP与分布式爬虫的故事化资讯系统

作者：关翰笙华中科技大学

学位级别：硕士

在当前这个互联网大数据时代,各种网络新闻资讯的获取也越来越容易,新闻资讯的更新速度也越来越迅速。基于新闻的时效性,很多新闻资讯都以时间序列为主要的叙事方式,因此在展示新闻内容和新闻线索的时候,时间线就成为了用户与新闻交互... 详细信息

在当前这个互联网大数据时代,各种网络新闻资讯的获取也越来越容易,新闻资讯的更新速度也越来越迅速。基于新闻的时效性,很多新闻资讯都以时间序列为主要的叙事方式,因此在展示新闻内容和新闻线索的时候,时间线就成为了用户与新闻交互中很重要的一环。每当有重大新闻事件发生时,相关的跟踪报导的时间跨度很长,在同一时间下又有多家媒体会对此新闻进行报导,最后导致新闻信息重叠,造成信息获取过多和时间的浪费。因此对于用户来说,如何能快速获取到自己关注新闻的全部进展就成为了一个比较难解决的问题。所以为了解决这一问题,开发一款以时间线为线索的资讯系统就很有必要。基于NLP与分布式爬虫的故事化资讯系统可以整理出一个连续报导事件的发展脉络,并将整个新闻的动态按照时间线或者故事化的方式呈现给用户。故事化资讯系统主要分为分布式爬虫、自然语言处理算法、系统管理端和展示端四个模块。采用Scrapy-Redis分布式爬虫技术来实现新闻资讯的实时获取,通过pyltp工具和Text Rank算法来实现对新闻文本的时间提取和摘要生成,然后由基于Spring Boot框架实现的管理端将数据传递给展示端,最后将整理好的新闻资讯呈现在展示端。本文将对系统各个模块的设计工作与功能实现进行详细的介绍。该系统的使用能满足用户对新闻资讯的实时获取,在大大缩短用户搜集新闻信息时间的同时也能满足用户对新闻资讯发展动向全面了解的需求。本人主要负责该项目的前端部分工作以及NLP模块时间提取和摘要生成的设计与实现。

关键词：新闻资讯自然语言处理分布式爬虫时间线摘要生成

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于分布式爬虫的云健康资讯平台设计与实现

基于分布式爬虫的云健康资讯平台设计与实现

作者：向中希中国科学院研究生院(沈阳计算技术研究所)

学位级别：硕士

借助移动互联网的迅速普及与云计算技术的迅猛发展,云健康理念于2009年被提出。它指的是在医疗专家、机构、厂商的协助下,以物联网和移动互联网为载体,利用云计算、云存储、云服务等手段,为医疗患者和健康需求用户提供健康管理和疾病诊... 详细信息

借助移动互联网的迅速普及与云计算技术的迅猛发展,云健康理念于2009年被提出。它指的是在医疗专家、机构、厂商的协助下,以物联网和移动互联网为载体,利用云计算、云存储、云服务等手段,为医疗患者和健康需求用户提供健康管理和疾病诊疗等服务和设备上的支持。本文依托已有的中科慧康云健康平台,通过分布式爬虫采集互联网上的健康资讯,给该平台的2万多用户提供最新的健康资讯信息服务。本文实现的基于分布式爬虫的健康资讯平台主要分为两个部分,一部分是分布式爬虫采集信息,通过调研主要的分布式爬虫的架构,借鉴对等网络(Peer 2 Peer)的思想,改进Kademlia协议,最终设计并实现了一种去中心化的全分布式架构的爬虫;另一部分是将分布式爬虫采集到的信息通过提供统一的API接口的方式实现在Web端和移动端的健康资讯的浏览。经过实际实验检验,本文提出的分布式爬虫架构能够有效的避免以往的主从式架构局部负载高、扩展相对困难、广域网成本高等问题,具备较好的扩展能力和较高的容错能力,能够为别的分布式系统提供新的思路。

关键词：云健康分布式爬虫去中心化 Kademlia 协议

“天眼查”分布式爬虫系统中验证码识别模块的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

“天眼查”分布式爬虫系统中验证码识别模块的设计与实现

作者：张泽阳北京交通大学

学位级别：硕士

"天眼查"是一款提供了全面的企业信息查询、专业的企业关系挖掘的工具平台,可查询企业工商信息、法律诉讼、商标专利、对外投资、招投标、失信、经营异常、企业年报、招聘及新闻动态等,覆盖全国超8000万家企业信息,与工商局网站同步更新... 详细信息

"天眼查"是一款提供了全面的企业信息查询、专业的企业关系挖掘的工具平台,可查询企业工商信息、法律诉讼、商标专利、对外投资、招投标、失信、经营异常、企业年报、招聘及新闻动态等,覆盖全国超8000万家企业信息,与工商局网站同步更新。"天眼查"平台通过抓取互联网公开信息,将主体间的关系以可视化的方式直观呈现,为用户提供全面可靠的企业数据分析,帮助用户发现更多隐藏的商业利益关系,适合金融、投资、律师、记者、商务人士及时了解企业经营状况、洞察企业经营信息。然而,在抓取互联网公开信息的时候,会遇到各种类型的验证码,如填写成语、汉语拼音、算术题、英文数字字母等等,人工识别或传统技术识别无法适应大量数据爬取的需求。因此需要设计一套高效的验证码识别系统以有效提高信息的获取速度,并为将来的数据挖掘获取提供保障。论文选题来源于公司实际应用项目,在分析"天眼查"产品的验证码识别需求的基础上,设计和实现了基于深度学习的验证码识别系统。论文完成的具体工作包括:完成了验证码识别系统的需求分析;设计了技术架构;将系统功能分解为基于深度学习的验证码训练子系统、验证码识别服务子系统和爬虫应用子系统三个相对独立的部分,并分别完成了三个部分的概要设计、详细设计和实现;完成了对原有Spring、Redis技术架构进行相匹配的架构升级设计;完成了系统功能测试。本文的成果最终已经成功应用到"天眼查"平台的实际生产环节中,验证码识别率高,大大提高了爬虫的爬取效率。论文涉及的软件成果也已成功申请到了软件著作权。本文成果的成功应用,证实了机器学习,特别是深度学习,在验证码识别的领域具有很大应用前景,值得进一步探究。

关键词：深度学习验证码识别分布式爬虫 Caffe 深度神经网络

基于分布式爬虫的顶尖学者人才库系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于分布式爬虫的顶尖学者人才库系统的设计与实现

作者：刘佳雯厦门大学

学位级别：硕士

在这个信息大数据时代,新知识是影响社会发展的主要推动因子,而学者是学术知识研究的主体,在国内和国外众多高校中,尤其是一流院校和一流学科,有着一大批具有相当学术影响力的学者。汇集、保存、统计、展示他们的学术成果,建立完整准确... 详细信息

在这个信息大数据时代,新知识是影响社会发展的主要推动因子,而学者是学术知识研究的主体,在国内和国外众多高校中,尤其是一流院校和一流学科,有着一大批具有相当学术影响力的学者。汇集、保存、统计、展示他们的学术成果,建立完整准确的顶尖学者人才库,能够让用户更全面客观地分析他们的科研学术能力,全面把握追踪他们的学术产出和学术综合影响力,对各大高校的专注人才引进和培养都有着现实需求和重要意义。本文设计的顶尖学者人才库系统,是针对厦门大学人事处的人才引进需求而设计的,根据国内外高校机构和学科统计名单,从互联网中爬取搜集尽可能准确和完整的学者信息,把握追踪分散在全球各大高校的学者信息,收入库中,对其进行遴选和合理的加权排序,最后汇总展示给用户。本文首先介绍了项目的背景,详细阐述了在分布式爬虫方面的研究,包括消息队列Kafka技术,缓存内存数据库技术,去重技术,分布式存储等等,然后论述了整个系统的设计实现方法。本系统的创新之处在于,在业务方面,相比于传统搜索引擎的全网抓取学者信息,本系统通过圈定高校名单和学科关键字的文献检索来锁定第一作者的名字信息,再根据姓名和机构进行进一步的数据收集工作,有效的缩小了爬取范围,提升了爬取的效率。另外,在技术方面,本系统结合自身业务需求,优化了传统的布隆过滤器算法,并且利用Kafka的分区机制来实现多线程爬虫任务的调度工作,通过不同抓取排序方式来缩小抓取范围,实现了一套能够高效抓取大量互联网学者信息的分布式系统。最后本文针对不同去重策略的内存优化方面、最优爬取排序方式等问题进行了实验的设计,并给出了实验结果的分析。

关键词：学者人才库分布式爬虫去重策略

基于分布式爬虫的游戏舆情监测系统设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于分布式爬虫的游戏舆情监测系统设计与实现

作者：冯曦蒙华南理工大学

学位级别：硕士

随着游戏市场的崛起,游戏相关从业人员亟需了解玩家对游戏的实际体验,以便有针对性地指导游戏运营与开发。与此同时,在舆情信息监测的实际业务中,也存在着手动收集评论信息范围过窄、信息处理效率过低以及分析结果过为主观等问题。因此... 详细信息

随着游戏市场的崛起,游戏相关从业人员亟需了解玩家对游戏的实际体验,以便有针对性地指导游戏运营与开发。与此同时,在舆情信息监测的实际业务中,也存在着手动收集评论信息范围过窄、信息处理效率过低以及分析结果过为主观等问题。因此,为了满足业务需求,本文设计并实现了一个基于分布式爬虫的游戏舆情监测系统。该舆情监测系统将高效分布式爬虫与舆情分析系统结合,可以实时高效地进行游戏评论数据获取和分析并通过可视化图表直观地进行展示。文本主要工作如下:1.分布式游戏主题增量爬虫。为解决游戏评价数量大、更新快、分布散的问题,本文设计了一个基于Master-Slave架构的分布式网络增量数据获取系统,以实时、高效地收集信息,同时设计了一个进行信息抽取的通用论坛信息抽取算法。此外,利用redis实现了一个高效的分布式Bloom Filter,极大提升了分布式环境下URL去重的效率。2.游戏评论数据分析。本文设计了包含网络新词发现、游戏热点追踪和游戏情感分析的游戏评论数据分析系统。针对游戏评论数据中新词、专有名词多的问题,使用左右熵和互信息结合游戏知识库实现了Tire树加速的游戏专有新词发现算法;针对从业人员自动探测游戏热点话题的需求,采用修正热度指标方法进行热点词的挖掘;设计了一种基于表情图标拓展语义的Skip-Gram词向量模型,且结合双向LSTM分类器实现了游戏评论数据情感倾向分类器。3.系统整体设计与实现。本文采用了Angular+Flask前后端框架以及***数据可视化框架基于前后端分离的思想,设计了整套评论分析系统。整体设计模式采用MVC模式,任务处理上采用API模式结合异步处理,整体系统性能良好,易用性和可拓展性优秀。依照本文思路构建的系统具有适应场景多、用户体验好等优点,已经在游戏公司内部进行试点使用,极大提高了相关工作人员的工作效率。为游戏从业者提供了一个更加方便、客观、专业的游戏舆情监测平台,帮助我国游戏产业取得更加长足的发展。

关键词：游戏评论舆情分布式爬虫文本分析

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式爬虫系统的设计与实现

中国科技信息 2014年第15期 116-117页

作者：李小正成功赵全军北京网博视界科技有限公司

网络信息时代所要面对的是急剧膨胀的信息量,当前的互联网信息规模已经是集中式爬虫无法适应的,单机爬虫逐步开始被分布式爬虫所取代,在信息的采集中,高性能的爬虫系统才是研究的重点。文章则对分布式爬虫系统进行了介绍,针对其设计以... 详细信息

网络信息时代所要面对的是急剧膨胀的信息量,当前的互联网信息规模已经是集中式爬虫无法适应的,单机爬虫逐步开始被分布式爬虫所取代,在信息的采集中,高性能的爬虫系统才是研究的重点。文章则对分布式爬虫系统进行了介绍,针对其设计以及实现进行了分析论述。

关键词：网络爬虫分布式爬虫搜索引擎技术

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

一种分布式爬虫系统的设计与应用

数据与计算发展前沿 2019年第1期 79-87页

作者：周逸李新陈远平中国科学院计算机网络信息中心中国科学院大学

文献计量学是一种把握学科发展态势的定量分析方法。传统基于文献计量学的研究步骤需手动操作且流程繁琐,针对这一问题,设计并实现了一种基于scrapy-redis分布式爬虫的学科发展态势分析系统。该系统包含了1.负责爬取并解析web of scienc... 详细信息

文献计量学是一种把握学科发展态势的定量分析方法。传统基于文献计量学的研究步骤需手动操作且流程繁琐,针对这一问题,设计并实现了一种基于scrapy-redis分布式爬虫的学科发展态势分析系统。该系统包含了1.负责爬取并解析web of science文献数据的数据预处理层。解决了由于网速不稳定造成的爬虫丢失网页问题,保障数据完整性。设计了一种动态计算参考文献所属学科分布情况的算法2.基于Django搭建的结果展示层,通过web服务向用户展示学科态势分析结果。用户只需输入初始待爬取页面的URL即可通过web服务获得学科态势分析结果。该系统为文献计量学提供了一种更便捷、更快速、扩展性高的分析手段。

关键词： scrapy-redis 分布式爬虫文献计量学学科发展态势 Django

基于Scrapy技术的分布式爬虫的设计与优化

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

信息技术与信息化 2018年第2期 121-126页

作者：刘泽华赵文琦张楠北京邮电大学北京100876 不详

随着全球信息技术的发展,互联网中的信息量呈爆炸式增长,人们对信息的需求量也与日俱增,而传统的单机平台的爬虫技术已经无法实现现如今互联网中大量数据的获取。本文旨在设计一个基于Redis的主从模式分布式爬虫系统来突破传统单机爬虫... 详细信息

随着全球信息技术的发展,互联网中的信息量呈爆炸式增长,人们对信息的需求量也与日俱增,而传统的单机平台的爬虫技术已经无法实现现如今互联网中大量数据的获取。本文旨在设计一个基于Redis的主从模式分布式爬虫系统来突破传统单机爬虫的限制。本文中的爬虫系统基于python语言的Scrapy框架具体实现。此外,为了实现分布式,该系统还使用了Redis数据库进行url存储与调度分配,最终使用Mongo Db数据库储存解析后的网页信息。本文也对该系统进行了一定优化,首先,本文采用半分布式拓扑结构优化了整体主从架构;同时本文也采用二级哈希映射算法优化URL的分配,解决了系统内节点动态加入或退出对系统的影响;初次之外,本文还采用去重与增量爬取优化了服务器的资源效率并使用代理ip的方式来应对部分网站的防爬虫屏蔽现象。

关键词： Scrapy 分布式爬虫哈希映射算法设计与优化防爬虫屏蔽