Map-Reduce在媒资系统数据收集中的应用

作     者：彭四伟 许伟静 PENG Siwei;XU Weijing

作者机构：北京化工大学信息科学与技术学院网络数据库组北京100029 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2014年第50卷第20期

页      面：119-123页

核心收录：

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：媒资管理系统 Map-Reduce 数据收集 hadoop单线程模式 hadoop伪分布模式 hadoop全分布模式 

摘      要：在传统媒体资源管理系统中,数据收集工作通常是基于C/S或B/S架构设计的,这对服务器的要求比较高。为了提高服务器的性能,传统的模式就是购买更高性能的服务器,然而,近几年出现的云计算也是一个很好解决办法。采用Apache公司的Hadoop Map-Reduce框架来实现数据收集功能,并通过实验,将数据收集工作在传统的单线程模式(传统实现模式)、Hadoop伪分布模式和全分布模式下所需时间进行比较,并对执行结果进行了分析。研究表明:使用Map-Reduce的这种云模式,确实可以缩短执行时间,以达到提高服务器端性能的目的。