检索结果-南通市图书馆

检索条件"主题词=纠删码机制"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

HDFS纠删码机制的优化研究

HDFS纠删码机制的优化研究

引用

作者：李大江哈尔滨工业大学

学位级别：硕士

随着数据量的不断增长,存储成本也成倍增加,对存储系统的经济性提出了更高的要求,尤其是大型分布式存储系统。作为最为广泛使用的分布式存储系统之一,HDFS在最新的3.0版本中开始支持纠删码机制,这极大地降低了存储成本,但是受限于纠删... 详细信息

随着数据量的不断增长,存储成本也成倍增加,对存储系统的经济性提出了更高的要求,尤其是大型分布式存储系统。作为最为广泛使用的分布式存储系统之一,HDFS在最新的3.0版本中开始支持纠删码机制,这极大地降低了存储成本,但是受限于纠删码本身的特性,与传统的三副本技术相比,纠删码机制在进行故障恢复时需要占用更多的计算机资源,恢复时间更长,这在大型分布式系统中表现的尤为明显。HDFS应用的纠删码技术,主要采用的是里德-所罗门码(RS),该编码在进行数据恢复时,需要从其他节点读取大量数据块。与此同时,HDFS在选择恢复所需的数据块时主要使用随机算法,这导致了纠删码在读取等量的数据时将浪费更多的时间。本文将从减少所需要读取的数据块的数量和优化其块选择算法两个角度,对HDFS的纠删码机制进行一定优化,降低恢复时间,提高恢复效率。本文首先对HDFS中现有的纠删码机制进行了深入的分析,通过对比实验的方式,从资源开销、恢复时间等多个角度,对纠删码机制与传统的三副本机制进行对比研究。接着,本文基于Piggybacking编码框架对HDFS采用的RS编码进行了优化设计和实现,用更细粒度的条带组代替原先恢复时的单条带,通过附加信息,有效地减少故障恢复所需的数据块数量,从而减少读取时间,降低恢复的时间成本。然后,本文提出了基于距离的块选择算法和基于负载均衡的块选择算法。对于基于距离的块选择算法,通过对机架间带宽和节点间距离关系的分析,将减少机架间带宽占用问题转化为选取距离最近点问题,提出按照节点距离远近选取辅助节点的算法,有效减少了机架间带宽传输,提高了传输的平均带宽;对于基于负载均衡的块选择算法,通过对数据节点运行状态的分析,建立了一个节点运行状态权重模型,根据各节点的权重值选择辅助节点,确保选到的节点负载相对较轻,降低由于节点状态变化导致数据请求无法及时得到响应的情况发生的概率,提高恢复成功率。所以,可以根据自身需求选择其中一种使用。最后,将修改完成的Hadoop程序与未进行修改的Hadoop程序分别部署到集群上。结合各种负载和基准测试用例,通过改变文件大小、节点配置等方式,进行对比实验。实验结果表明本文提出的优化算法确实能够提高HDFS纠删码机制的性能,减少故障恢复时间。

关键词： HDFS 纠删码机制编码优化块选择负载均衡

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：