检索结果-南通市图书馆

电子学报 2013年第7期41卷 1406-1411页

作者：孙勇林菲王宝军浙江交通职业技术学院信息学院浙江杭州311112 杭州电子科技大学软件工程学院浙江杭州310018

对于数据密集型的云计算应用,基于磁盘的存储系统很难同时满足它们对性能与可用性的需求.本文提出了一种以内存为主设备、以磁盘为辅助设备的键值型分布式存储系统M-Cloud,能提供大数据读写、备份及恢复等存储服务功能.M-Cloud通过将数... 详细信息

对于数据密集型的云计算应用,基于磁盘的存储系统很难同时满足它们对性能与可用性的需求.本文提出了一种以内存为主设备、以磁盘为辅助设备的键值型分布式存储系统M-Cloud,能提供大数据读写、备份及恢复等存储服务功能.M-Cloud通过将数据全部装入服务器集群内存中的方式提高系统整体性能,并设计了分区线性哈希算法以实现负载均衡和高扩展性,设计了相应的数据备份与故障快速恢复策略以保证系统可靠性.仿真实验结果表明,M-Cloud具有较高的性能与可用性,对系统进一步改进和优化后具有应用于实际生产环境中的潜力,可为用户提供高质量的存储服务.

关键词：云计算键值分布式存储系统线性哈希故障恢复

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

大规模键值分布式存储系统的设计与实现

大规模键值分布式存储系统的设计与实现

引用

作者：邢屹电子科技大学

学位级别：硕士

随着互联网的不断发展，全球网络化的不断普及，海量信息的不断聚合，数据量保持指数级增长。面对当前的海量数据，传统的单机文件存储系统并不能提供其所需要的存储能力和高性能读、写需求，同时，传统文件系统的扩展性不佳也使得当数... 详细信息

随着互联网的不断发展，全球网络化的不断普及，海量信息的不断聚合，数据量保持指数级增长。面对当前的海量数据，传统的单机文件存储系统并不能提供其所需要的存储能力和高性能读、写需求，同时，传统文件系统的扩展性不佳也使得当数据业务需求发生变化时服务能力不足。鉴于此，本文中提出了一种新型的分布式键值存储系统的架构模型，该模型通过结合散列算法和一致性哈希算法，不仅解决了已有分布式系统中存在的扩展性问题和节点负载均衡问题，同时有效的避免了当机器数目发生改变时，数据移动代价过高的问题。本文的主要工作有：第一，介绍了当前管理海量数据的主要问题，以及本文的研究动机。第二，详细分析了已有的分布式存储系统，包括NFS系统，HDFS系统，DYNAMO系统等当前比较主流的分布式文件存储系统，这些系统的相关核心技术对于本文中设计的分布式存储系统具有良好的借鉴性和参考性。第三，在相关技术准备完成后，本文设计了一种新的大规模键值分布式存储系统的架构方式，该系统使用三层的架构模式，同时在三层中都设计了良好的灾备方案，从前端服务器层，到最底层的数据节点层，都尽可能的在保证高效性的前提下设计了良好的灾备机制，虽然数据备份牺牲了一定的数据一致性，但仍可以很好的满足应用需求。第四，完成系统设计后，本文中使用python语言对系统进行了仿真，将三层架构分解为三个实现模块，并将每一个模块再次详细拆分为不同功能的子模块，使得整个系统的耦合性降到最低。第五，为了保证系统的功能完备性和可靠性，本文对该系统做了细致的测试，包括功能测试和性能测试，测试结果完全符合预期的设计目标。第六，在论文的结束部分分析了一些可以优化本系统的技术和实现方式，并展望了分布式存储系统良好的发展前景。本文中成功的设计并实现了一个新型的大规模分布式存储系统，对分布式存储系统的发展具有良好的探索和实践意义。

关键词：分布式存储系统散列一致性哈希键值

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

混合式键值大数据存储系统的研究

混合式键值大数据存储系统的研究

引用

作者：朱王兵华南理工大学

学位级别：硕士

互联网技术的快速发展导致了全球数据量的爆炸性增长,已经出现了各种结构类型的海量数据,也就是我们现在常说的大数据。由于大数据信息量巨大而且变化速度快的特性,所以要求大数据存储系统能快速的对数据进行存取;否则由于时效性的原因... 详细信息

互联网技术的快速发展导致了全球数据量的爆炸性增长,已经出现了各种结构类型的海量数据,也就是我们现在常说的大数据。由于大数据信息量巨大而且变化速度快的特性,所以要求大数据存储系统能快速的对数据进行存取;否则由于时效性的原因,很可能会丢失有价值的大数据信息。因为传统的存储策略很难适应于大数据的存储需求,所以需要研究新的针对大数据变化速度快特性的大数据“高效”快速分布式存储与访问策略。目前流行的基于key-value数据模型的分布式存储系统在单机节点上都采用磁盘对数据进行持久化存储,由于磁盘的低速I/O会成为整个系统的瓶颈,很难满足大数据要求的快速存储与访问,而新型的存储设备固态硬盘(Solid State Disk,SSD)读写性能比传统磁盘高很多,同时固态硬盘也有着价格越来越低和容量越来越大的趋势,所以将固态硬盘与磁盘结合起来组成混合式存储系统结构来进行单机节点持久化存储的研究已经成为当前大数据技术领域中的一个重要研究课题。本文对现有基于固态硬盘的混合式存储系统结构进行了较深入的分析和研究,提出了新的基于固态硬盘的混合式键值大数据存储系统结构和混合式键值数据存储引擎的实现方法;本文提出的研究方法能够为大数据存储系统提供快速的数据读/写、备份和恢复等存储服务功能。本文所做的主要研究工作有如下几个方面:1、研究并提出了一种新型的基于固态硬盘的快速混合式键值大数据存储系统(HKV-BDSS,Hybrid Key-Value Big Data Storage System)结构,并根据固态硬盘和磁盘的特点开发了一套混合式键值数据存储引擎。本文提出的单机节点上的混合式键值存储引擎使用固态硬盘作为磁盘的辅助存储,同时也作为内存与磁盘之间的缓存。由于目前固态硬盘的容量大越来越大,所以大量键值数据都能缓存在本系统中的固态硬盘上,极大地提高了单机节点的吞吐率和降低了服务延迟,进而提高了整个系统的访问速度。2、研究并设计了一个分布式键值存取系统。因为大数据最终要保存到很多的机器上,所以为了方便对这些集群机器进行管理,本文在集群环境下开发了分布式键值存取系统。本文提出的分布式键值存取系统采用Master/Slave结构与P2P环形结构结合的方式进行架构。它既利用了前者含有中心节点的优点,能对集群节点进行方便、简单的管理;同时也结合了后者的优点,使用改进的一致性哈希算法对数据进行方便的存取,可以在增加减少节点时有较少的数据迁移。该架构能很好的解决分布式系统的可扩展性、高可用性、数据一致性以及负载均衡等一系列问题。3、设计并实现了混合式键值大数据存储系统的大部分功能。并且通过部署实验环境,测试了单机存储引擎的读写性能和分布式键值存取系统的核心功能。实验结果表明该设计已经达到了预定的目标。本文提出的设计思想对大数据存储系统的进一步研究有较好的参考价值。

关键词：大数据固态硬盘键值分布式混合式存储

来源：

同方学位论文库评论