数据密集型计算中负载均衡的数据布局方法

作     者：宋杰 李甜甜 闫振兴 朱志良 

作者机构：东北大学软件学院沈阳110819 

出 版 物：《北京邮电大学学报》 (Journal of Beijing University of Posts and Telecommunications)

年 卷 期：2013年第36卷第4期

页      面：76-80页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(61202088) 辽宁省自然科学基金项目(200102059) 中央高校基本科研业务费专项资金项目(N110417002) 

主　　题：数据密集型计算 数据布局 负载均衡 MapRedcue 云计算 

摘      要：广泛用于数据密集型计算的MapReduce模型将计算部署到数据端并行执行,数据布局将不再只影响存储本身,还影响计算效率;节点上存储数据的特征决定该节点上任务的执行效率,负载均衡从传统的服务器管理或任务调度研究转变成为以提高并行性为目的的数据布局研究,为此,分析了数据密集型计算和MapReduce环境中数据布局的特点,提出了负载均衡的数据布局目标,并提出在特定环境下实现负载均衡的数据布局方法,最后通过实验证明了数据布局目标和数据布局方法的有效性.理论和实验结果证明,新提出的布局方法能有效地提高MapReduce应用的并行性,优化其执行效率.