检索结果-南通市图书馆

检索条件"主题词=节点映射策略"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

面向Hadoop存储系统的节能优化技术研究

面向Hadoop存储系统的节能优化技术研究

引用

作者：刘晨光华中科技大学

学位级别：硕士

近年来，基于云计算的互联网服务不断涌现，其中MapReduce计算范式和HDFS分布式文件系统已逐渐成为开发大型数据密集型应用的首选模型。从硬件供应商的角度，这类应用部署的规模如此巨大，降低服务集群的功率消耗既可以显著降低运营成... 详细信息

近年来，基于云计算的互联网服务不断涌现，其中MapReduce计算范式和HDFS分布式文件系统已逐渐成为开发大型数据密集型应用的首选模型。从硬件供应商的角度，这类应用部署的规模如此巨大，降低服务集群的功率消耗既可以显著降低运营成本，又能降低碳排放量，从而提高整体能效。在传统服务器节能策略的基础上，针对提供MapReduce作业服务的集群，提出一种节能优化算法。该算法能根据集群当前整体和局部的工作负载动态地重构节点或节点上的数据;同时，控制数据放置策略很好的支持上述操作。该节能优化算法具备了节能效果明显、实时性高以及负载均衡开销小等特性，可应用于数据密集型计算集群和企业数据中心等环境中。具体地，实现节能优化的能耗控制系统由数据分发模块、节点失效模块和能耗调节模块三个组件组成。数据分发模块通过对HDFS数据块分发和对应副本放置流程进行修改，实现人为控制数据块号到DataNode节点映射;节点失效模块使得HDFS具备容忍节点增加/缺失的功能;能耗调节器是提高能效的核心，包含两个线程，分别对应两种算法：dilution和enrichment。在集群的某个机架利用率高于管理员预定的阈值时，能耗调节模块会根据dilution算法适时地添加新节点，并将附近节点上的数据迁移到新节点上;当集群出现某个机架的利用率偏低时，能耗调节器可依据enrichment算法移除目标节点，并其上的数据迁移到附近节点上。从而，实现系统当前工作负载与系统性能的动态匹配。在最终测试方面，利用GridSim Toolkit对节能优化算法从功能和节能效果两个方面进行了测试和评估，前者主要验证了enrichment和dilution算法是否能在集群负载变化时重构节点或者数据;后者着重测试了在平均负载和低负载条件下节能的效果，并与传统Covering Set技术进行了比较。实验结果表明提出的节能优化算法在MapReduce计算中高负载情况下能达到30.32%的节能效果，在低负载情况下能达到69.77%的节能效果。

关键词：节能存储 Hadoop系统数据布局节点映射策略

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：