异构Hadoop集群中数据副本放置策略优化

作     者：刘艳 蔡燕冬 谢晓东 张庆磊 Liu Yan;Cai Yong;Xie Xiaodong;Zhang Qinglei

作者机构：华侨大学计算机科学与技术学院福建厦门361021 

出 版 物：《华中科技大学学报（自然科学版）》 (Journal of Huazhong University of Science and Technology(Natural Science Edition))

年 卷 期：2016年第44卷第7期

页      面：63-68页

核心收录：

学科分类：0810[工学-信息与通信工程] 0808[工学-电气工程] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 081202[工学-计算机软件与理论] 

基　　金：国家自然科学青年基金资助项目(61202106 61572206) 福建省自然科学基金资助项目(2013J01238) 

主　　题：分布式文件系统 Hadoop 数据放置 异构 数据热度 

摘      要：针对默认的Hadoop数据副本策略未考虑集群节点硬件配置的异构、文件访问特点、实时负载等信息,导致异构环境中集群计算任务本地化比例下降、影响计算性能,提出计算型数据的副本放置优化策略.量化数据访问特征以及节点实时性能和负载,以节点数据访问负载与其计算性能相匹配为原则为副本选择存储节点.实验结果表明:与默认策略相比,优化的副本放置策略能更有效地为副本选择合适的存储节点,提高计算任务本地化比例和计算性能,并使集群对节点的变动具有更好的适应性.