基于分布式爬虫的云健康资讯平台设计与实现

作     者：向中希 

作者单位：中国科学院研究生院(沈阳计算技术研究所) 

学位级别：硕士

导师姓名：陶耀东

授予年度：2016年

学科分类：081203[工学-计算机应用技术] 08[工学] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：云健康 分布式爬虫 去中心化 Kademlia 协议 

摘      要：借助移动互联网的迅速普及与云计算技术的迅猛发展,云健康理念于2009年被提出。它指的是在医疗专家、机构、厂商的协助下,以物联网和移动互联网为载体,利用云计算、云存储、云服务等手段,为医疗患者和健康需求用户提供健康管理和疾病诊疗等服务和设备上的支持。本文依托已有的中科慧康云健康平台,通过分布式爬虫采集互联网上的健康资讯,给该平台的2万多用户提供最新的健康资讯信息服务。本文实现的基于分布式爬虫的健康资讯平台主要分为两个部分,一部分是分布式爬虫采集信息,通过调研主要的分布式爬虫的架构,借鉴对等网络(Peer 2 Peer)的思想,改进Kademlia协议,最终设计并实现了一种去中心化的全分布式架构的爬虫;另一部分是将分布式爬虫采集到的信息通过提供统一的API接口的方式实现在Web端和移动端的健康资讯的浏览。经过实际实验检验,本文提出的分布式爬虫架构能够有效的避免以往的主从式架构局部负载高、扩展相对困难、广域网成本高等问题,具备较好的扩展能力和较高的容错能力,能够为别的分布式系统提供新的思路。