基于Hadoop数据处理研究及应用

作     者：罗树兰 

作者单位：云南大学 

学位级别：硕士

导师姓名：周曙白

授予年度：2016年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

主      题：Hadoop MapReduce HDFS 数据处理 

摘      要：随着计算机技术的发展,特别是互联网的快速发展,使得各领域从需求的数据到正在生成的数据呈现爆炸式地增长。面对更多基于数据处理和分析的实际要求,传统存储、管理和应用数据的能力都越来越难以为继。应运而生的云计算技术是当前处理海量数据的主流技术。Hadoop平台作为云计算技术的典型代表,采用分布式文件系统HDFS (Hadoop Distributed File System, HDFS)和映射归约编程模型(MapReduce),实现了海量数据的存储和计算。同时,由于Hadoop平台的开源、集群构成成本低等特点使其得到广泛应用和快速发展。近年来,国内旅游的迅速发展引发了对旅游推荐服务的需求。尽管个人可以通过互联网搜集到大量信息,但信息质量无法保证,信息采集和分析也相当地耗时费力,服务受众有限且不实时。对于旅游景点、线路、食宿等的优良推荐既需要超大量的实时网络数据采集,同时需要基于推荐模型的大数据运算。因此,需要借助高效、可靠的数据存储和处理系统来改进或实现,Hadoop平台就是一个可供选择的平台。本文系统分析和比较了当前各种数据处理技术,对Hadoop核心技术HDFS和MapReduce进行深入的学习研究,通过搭建的Hadoop平台,及对集群进行的相关优化,对模拟的旅游数据进行了处理测试,结果表明,优化集群的Hadoop系统较未优化时在数据处理性能上具有很大优势,为相同条件下普通技术的3.5倍以上。依照测试结果,本文还提出了利用Hadoop平台构建旅游服务平台推荐模型的设计思路。