大规模键值分布式存储系统的设计与实现
作者单位：电子科技大学
学位级别：硕士
导师姓名：鲁珂
授予年度：2013年
学科分类：08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）]
摘 要：随着互联网的不断发展，全球网络化的不断普及，海量信息的不断聚合，数据量保持指数级增长。面对当前的海量数据，传统的单机文件存储系统并不能提供其所需要的存储能力和高性能读、写需求，同时，传统文件系统的扩展性不佳也使得当数据业务需求发生变化时服务能力不足。鉴于此，本文中提出了一种新型的分布式键值存储系统的架构模型，该模型通过结合散列算法和一致性哈希算法，不仅解决了已有分布式系统中存在的扩展性问题和节点负载均衡问题，同时有效的避免了当机器数目发生改变时，数据移动代价过高的问题。本文的主要工作有： 第一，介绍了当前管理海量数据的主要问题，以及本文的研究动机。 第二，详细分析了已有的分布式存储系统，包括NFS系统，HDFS系统，DYNAMO系统等当前比较主流的分布式文件存储系统，这些系统的相关核心技术对于本文中设计的分布式存储系统具有良好的借鉴性和参考性。 第三，在相关技术准备完成后，本文设计了一种新的大规模键值分布式存储系统的架构方式，该系统使用三层的架构模式，同时在三层中都设计了良好的灾备方案，从前端服务器层，到最底层的数据节点层，都尽可能的在保证高效性的前提下设计了良好的灾备机制，虽然数据备份牺牲了一定的数据一致性，但仍可以很好的满足应用需求。 第四，完成系统设计后，本文中使用python语言对系统进行了仿真，将三层架构分解为三个实现模块，并将每一个模块再次详细拆分为不同功能的子模块，使得整个系统的耦合性降到最低。 第五，为了保证系统的功能完备性和可靠性，本文对该系统做了细致的测试，包括功能测试和性能测试，测试结果完全符合预期的设计目标。 第六，在论文的结束部分分析了一些可以优化本系统的技术和实现方式，并展望了分布式存储系统良好的发展前景。 本文中成功的设计并实现了一个新型的大规模分布式存储系统，对分布式存储系统的发展具有良好的探索和实践意义。
同方学位论文库
