MapReduce的工作机理及其应用研究

作     者：陈坚钊 

作者单位：华侨大学 

学位级别：硕士

导师姓名：谢维波

授予年度：2013年

学科分类：08[工学] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 

主      题：大数据 云计算 Hadoop HDFS MapReduce 

摘      要：半个世纪以来，社会生活无处不包含计算机技术应用，随之而来的信息爆炸经过量变阶段的积累，已经发展到了质变阶段。如今，信息泡沫越来越严重，而且增长速度越来越快，其相关学科如天文学和基因学，创造出“大数据这个概念，已应用到了所有人类智力发展得领域中。现代社会的信息量增长速度极快，这些信息里又蕴含着大量的数据，预计到2020年，每年产生的数字信息将会有过1/3的内容驻留在云平台中或通过云平台处理。我们需要对这些数据充分进行数据挖掘，以获取其他重要信息，而MapReduce是现今处理“大数据的一种编程模型。 本文首先对Hadoop的背景和目前国内外的研究现状进行了介绍，并对Hadoop的项目结构进行了介绍。接着，对HDFS的体系结构进行了分析描述，并介绍了其存取策略与安全模式。然后，重点分析MapReduce编程模型，针对MapReduce的若干种算法，对MapReduce的工作机理进行了深入研究。在以上过程中，本文主要介绍了关系代数中的各种运算，如选择、投影、并、交、差、自然连接、分组和聚合，并针对他们设计了运算过程中的Map函数和Reduce函数。除此之外，本文还介绍了MapReduce在Hadoop中的应用，包括其任务的主要执行流和错误处理机制等。文章最后还利用三台PC搭建了一个Hadoop集群，利用MapReduce编程模型实现了词频统计与文件搜索的例子。