检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

分布式文件系统元数据服务的负载均衡框架

软件学报 2016年第12期27卷 3192-3207页

作者：孙耀刘杰叶丹钟华中国科学院软件研究所北京100190 中国科学院大学北京100190

请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,... 详细信息

请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,这种两层的负载均衡架构灵活度更高,对负载的感知能力更强,并且避免了热点元数据重新分布、迁移引起的元数据命名空间结构被破坏的情况.经观察分析,元数据尺寸小、数量大,预取错误元数据带来的代价远远小于预取错误数据带来的代价.针对元数据的以上鲜明特点,提出一种元数据预取策略和基于预取机制的元数据缓存替换算法,加强了上述分布式缓存层的性能,这种两层的元数据负载均衡框架同时考虑了缓存一致性的问题.最后,在一个真实的分布式文件系统中验证了框架及方法的有效性.

关键词：元数据服务器分布式文件系统负载均衡预取缓存

在线全文

学校读者我要写书评

暂无评论

一种基于混合索引的HDFS小文件存储策略

重庆邮电大学学报（自然科学版） 2015年第1期27卷 97-102页

作者：熊安萍黄容邹洋重庆邮电大学计算机科学与技术学院重庆400065

Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用。针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于... 详细信息

Hadoop分布式文件系统(hadoop distributed file system,HDFS)因其稳定高效、低成本等优势,已被很多大型企业广泛使用。针对HDFS海量小文件存储时元数据服务器节点内存开销过大,合并文件中小文件访问效率不高的问题,提出一种改进的基于混合索引的小文件存储策略,应用分类器分类标记小文件,并在元数据服务器建立H-B+树索引,在存储节点根据小文件大小建立不同的块内索引,达到提高小文件访问效率的目标。实现中采用缓存结构,以提高客户端访问的响应速度,同时也有利于元数据服务器节点的内存负载。实验结果表明,基于混合索引的小文件存储策略能有效提高小文件访问效率,并显著降低元数据节点内存开销。

关键词： Hadoop分布式文件系统(HDFS) 小文件元数据服务器缓存混合索引

在线全文

学校读者我要写书评

暂无评论

基于可变长分块的分布式文件系统设计与实现

计算机工程 2016年第5期42卷 80-84,101页

作者：许艳艳雷迎春龚奕利武汉大学计算机学院武汉430072 中国科学院计算技术研究所北京100080

分布式文件系统受传统磁盘文件系统影响，大多使用固定大小的对象或者块来组织和管理文件。定长的分块不适合随机写或插入写，开销大且性能差，但典型的用户约有25％的文件操作是随机写。针对上述现状，提出一种基于内容的可变长文件分... 详细信息

分布式文件系统受传统磁盘文件系统影响，大多使用固定大小的对象或者块来组织和管理文件。定长的分块不适合随机写或插入写，开销大且性能差，但典型的用户约有25％的文件操作是随机写。针对上述现状，提出一种基于内容的可变长文件分块方法，使用拉宾指纹算法对文件进行分块，并根据文件的内容标识文件块。为更准确地指定写类型，提高写性能，给出与POSIX语义兼容的写接口。通过修改Ceph实现一种新的分布式文件系统VarFS，提供文件的可变长分块并支持新的写接口。实验结果表明，由于减少网络数据传输量，VarFS在随机写延迟和带宽消耗量上比Ceph减少了1个～2个数量级。

关键词：固定长分块可变长分块分布式文件系统随机写元数据服务器

在线全文

学校读者我要写书评

暂无评论

蓝鲸元数据服务器集群的细粒度负载迁移

计算机研究与发展 2014年第S1期51卷 210-222页

作者：刘健张军伟张浩邵冰清杨洪章刘振军中国科学院计算技术研究所北京100190 中国科学院大学北京100049

大数据应用对信息系统的底层存储提出了极大挑战,其首选方案为元数据服务器(metadata server,MDS)集群架构.MDS集群系统为了实现负载均衡,采用的基本机制为元数据服务的负载迁移.当前主流方案存在迁移时间长,迁移中写相关元数据访问需... 详细信息

大数据应用对信息系统的底层存储提出了极大挑战,其首选方案为元数据服务器(metadata server,MDS)集群架构.MDS集群系统为了实现负载均衡,采用的基本机制为元数据服务的负载迁移.当前主流方案存在迁移时间长,迁移中写相关元数据访问需要阻塞的问题.提出细粒度的元数据服务负载迁移方案,由迁出端恢复迁移机制和细粒度控制迁移机制2部分组成.在迁移过程中,以文件为粒度在迁入端重建迁出端的元数据相关状态结构,并根据被访问状态的类型选择在迁出端或迁入端进行立即响应,而非阻塞操作直到迁移完成.在蓝鲸MDS集群系统上实现了此方案,测试和分析表明,在10 000规模的迁移场景中,迁移时间控制在800ms以下,元数据或状态写入延迟最高为215ms.与系统原方案中90s的固有延时相比,此方案有效解决了MDS集群中负载迁移时间过长的问题,并且极大地降低了迁移过程对正常元数据访问的影响.

关键词：元数据服务器 MDS集群负载均衡负载迁移细粒度

在线全文

学校读者我要写书评

暂无评论

一种集群多媒体存储系统的研究与设计

计算机研究与发展 2006年第8期43卷 1311-1316页

作者：万继光谢长生华中科技大学信息存储系统教育部重点实验室武汉430074

随着网络上多媒体数据的爆炸性增长和集群技术的快速发展,设计并实现了一个基于PC集群的高性能集群多媒体存储系统(clustermultimediastoragesystem,CMSS)·CMSS系统采用高自治、自维护的集群策略,提高了系统的并行性和可扩展性;采用逻... 详细信息

随着网络上多媒体数据的爆炸性增长和集群技术的快速发展,设计并实现了一个基于PC集群的高性能集群多媒体存储系统(clustermultimediastoragesystem,CMSS)·CMSS系统采用高自治、自维护的集群策略,提高了系统的并行性和可扩展性;采用逻辑元数据管理技术,即实现了单一名字空间,又避免了单点失效;采用服务器数据备份技术,即提高了系统的数据安全性,也解决了服务器之间的负载平衡·在详细介绍了CMSS系统设计方案的同时,进行了相应的实验测试和性能分析·

关键词：多媒体集群存储系统元数据服务器

在线全文

学校读者我要写书评

暂无评论

两级存储虚拟化模型

计算机应用与软件 2012年第4期29卷 180-182页

作者：廖莹寒朱敏华东师范大学计算中心上海200026

通过分析比较带内和带外存储虚拟化的优缺点,提出融合两种方式的新的存储虚拟化模型。该模型分别在块级和文件系统级两层都实现存储虚拟化。

关键词：网络存储虚拟化智能交换机元数据服务器带内虚拟化带外虚拟化

在线全文

学校读者我要写书评

暂无评论

对象存储系统中元数据管理策略的研究

小型微型计算机系统 2012年第9期33卷 1908-1912页

作者：姚念民单颖田亚坤哈尔滨工程大学计算机科学与技术系哈尔滨150001

基于对象存储系统的快速发展,对元数据服务器性能提出更高的要求.在分析基于最大权值的元数据服务器选择策略基础上,提出一种基于全局权重选择的元数据管理策略即RMG策略,该策略将MDS自身权重和可用带宽两个性能指标作为服务器的总权重... 详细信息

基于对象存储系统的快速发展,对元数据服务器性能提出更高的要求.在分析基于最大权值的元数据服务器选择策略基础上,提出一种基于全局权重选择的元数据管理策略即RMG策略,该策略将MDS自身权重和可用带宽两个性能指标作为服务器的总权重来选择元数据服务器,并采用将总权重与选择概率相结合的方式选择元数据服务器.对RMG策略测试结果表明,RMG策略在选择元数据服务器方面与其他基于权重选择MDS的元数据服务器选择策略相比,在保证元数据服务器整体性能的稳定性与服务效率方面有明显优势.

关键词：关基于对象存储系统元数据服务器总权重选择概率可用带宽

GridDaEn数据网格中的元数据预取与缓存策略

在线全文

学校读者我要写书评

暂无评论

计算机工程与科学 2009年第A01期31卷 335-339页

作者：洪高旗刘芳刘波肖侬国防科技大学计算机学院湖南长沙410073

因数据网格系统部署在广域网环境,所以网络传输延时将成为影响其服务质量(QoS)的主要因素之一。在对预取技术进行了深入细致的探讨之后,本文利用空间换取时间的思想提出了一种元数据的预取与缓存策略。考虑到Grid-DaEn系统中元数据自身... 详细信息

因数据网格系统部署在广域网环境,所以网络传输延时将成为影响其服务质量(QoS)的主要因素之一。在对预取技术进行了深入细致的探讨之后,本文利用空间换取时间的思想提出了一种元数据的预取与缓存策略。考虑到Grid-DaEn系统中元数据自身的特点,还提出了一种新颖的元数据预取算法DHMP。

关键词：数据网格元数据预取算法元数据服务器

在线全文

学校读者我要写书评

暂无评论

Hadoop元数据服务器读负载迁移研究

Hadoop元数据服务器读负载迁移研究

作者：金锐华中科技大学

学位级别：硕士

随着信息化的提高,数据量也越来越大,人们对存储资源的需求越来越大。本地文件系统已经不能满足人们的需求,为了解决人们对性能、容量以及伸缩性的需求,分布式文件系统应运而生。HDFS是一个典型的分布式文件系统,通过分析HDFS的特点,得... 详细信息

随着信息化的提高,数据量也越来越大,人们对存储资源的需求越来越大。本地文件系统已经不能满足人们的需求,为了解决人们对性能、容量以及伸缩性的需求,分布式文件系统应运而生。HDFS是一个典型的分布式文件系统,通过分析HDFS的特点,得出在大量小文件读写时,Namenode将面临巨大的负载,成为制约系统性能的瓶颈。结合Namenode主备服务器元数据结构几乎一致的特点,减轻主服务器负载。采用动态哈希算法来分布元数据,将相同哈希值的文件聚集在同一条目中,作为一个迁移单位,细粒度的进行管理。结合历史负载和当前负载,采用动态均衡算法,来确定迁移的条目,保证主备节点负载相对均衡。利用客户端进行被动更新哈希表条目,来保证哈希表的同步。测试结果表明,采用了读负载迁移的设计后,Namenode性能有了明显提升,随着并发访问数量的增加,系统性能有了明显优势,对于1000客户端以上的并发读访问,Namenode性能提高15%。在高并发下,对于小文件访问,性能提高1倍。相对于静态子树分割和静态哈希分割,有更好的负载均衡。对于备份节点的水平增加,系统表现了良好的扩展性。

关键词：元数据服务器负载迁移分布式文件系统元数据管理