检索结果-南通市图书馆

作者：韩佩西北大学

学位级别：硕士

随着信息化技术的快速发展,云计算成为了大家研究的热点之一。大数据和分布式处理成为趋势,Hadoop是一个开源的云计算软件框架,能够用于当前大数据的处理和存储。由于Hadoop采用了主从式的分布式系统构架,它并不支持系统的高可用性。HDF... 详细信息

随着信息化技术的快速发展,云计算成为了大家研究的热点之一。大数据和分布式处理成为趋势,Hadoop是一个开源的云计算软件框架,能够用于当前大数据的处理和存储。由于Hadoop采用了主从式的分布式系统构架,它并不支持系统的高可用性。HDFS系统中的NameNode节点只有一个,会产生分布式系统中的单点问题。本文通过对Hadoop分布式系统的研究,归纳整理了当前现有的HDFS高可用性问题的解决方法,提出了一种多NameNode的HDFS高可用性解决方案。具体工作如下： 1)介绍了云计算的相关理论,详细分析了当前云环境下主要的分布式文件系统;重点对HDFS分布式文件系统进行了分析,包括系统体系结构,数据读写流程。 2)分析出NameNode会产生HDFS系统中的单点问题,研究了当前HDFS的高可用性解决方案,分析了当前Backup Node方案的不足,引出了本文改进的高可用性方案,并对各种方案的优缺点进行了分析。 3)设计了一种多NameNode的HDFS高可用性方案。NameNode有两种类型,主NameNode和从NameNode,利用znode的监控机制对多个NameNode节点的运行状态进行监控;同时,设计了NameNode元数据及数据块位置信息的实时同步方式,以提高元数据的一致性和故障恢复时间;当主NameNode节点发生故障时,备用NameNode节日点可以快速启动,用于接管当前系统的工作,能够有效的避免NameNode单点故障问题。 4)通过实验,对本文的高可用性方案进行了测试。实验结果表明,当发生单点故障时,备用NameNode节点能够快速接管当前系统的工作。

关键词： Hadoop HDFS分布式文件系统 znode 单点故障

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

Apache ZooKeeper设计理念和数据结构的研究

引用

现代计算机 2022年第21期28卷 63-68页

作者：陈涛索海燕毕马威信息技术服务(南京)有限公司南京210003 南京医科大学第一附属医院(江苏省人民医院)信息处南京210096

早期互联网信息系统业务相对简单,服务通常为单节点架构。随着用户数量增多,系统逐渐发展为分布式架构。在分布式领域,围绕着中心化协同工作机制,产生了一批优秀的分布式开源框架。分布式中心化集群框架Apache ZooKeeper是其中的典型代... 详细信息

早期互联网信息系统业务相对简单,服务通常为单节点架构。随着用户数量增多,系统逐渐发展为分布式架构。在分布式领域,围绕着中心化协同工作机制,产生了一批优秀的分布式开源框架。分布式中心化集群框架Apache ZooKeeper是其中的典型代表。ZooKeeper实现了中心化的管理方式,提供了注册中心和配置中心,解决了分布式系统需要从一个中心地址获取配置的问题。研究ZooKeeper应用场景和设计理念,包括数据结构、监视点与通知、ACL权限控制等方面对研究ZooKeeper内核原理具有重要的意义。

关键词： ZooKeeper 数据结构分布式架构 ACL权限 znode

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：