分布式存储中的低带宽可扩展折叠码

作     者：杜从军 

作者单位：西安电子科技大学 

学位级别：硕士

导师姓名：孙蓉

授予年度：2022年

学科分类：07[理学] 08[工学] 070104[理学-应用数学] 081101[工学-控制理论与控制工程] 081201[工学-计算机系统结构] 0701[理学-数学] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：分布式存储 折叠码 piggybacking框架 修复带宽 扩展带宽 

摘      要：基于纠删码的分布式存储系统以其高可靠性、易扩展性及巨大的存储潜力等优点成为大数据存储的关键系统。随着数据的爆发式增长以及用户需求的提高,存储系统需要采用一定的扩容机制进行扩展,以提高系统的存储能力、优化扩容期间的带宽开销。理想情况下存储系统的编码参数应该是可以根据应用需求进行动态调整的。传统的编码方案由于扩展前后的码在编码结构上不具有相关性,其在进行扩展时需要获取全部的信息数据然后根据新的编码结构进行重新编码才能完成系统的扩展过程,这会造成大量的带宽资源消耗,对集群的操作产生不利影响。本文对基于纠删码的分布式存储系统的扩展问题进行分析,提出一种子码结构具备相关性、可以有效降低扩展期间带宽资源消耗、能够进行多次扩展的折叠码,其相比传统纠删码的扩展方法可以减少至少一半的信息数据传输量。另外,本文以折叠码为基本码通过结合piggybacking框架构造了一种可同时降低修复带宽和扩展带宽的低修复带宽piggybacking折叠码,低修复带宽piggybacking折叠码具有更优的综合性能,能够为分布式存储系统提供更高的可靠性和可扩展性。首先,本文简要概述了现有存储系统存在的问题,介绍了部分现有的关于分布式存储系统修复和扩展的研究。其次,本文对基于MDS码的存储系统的基本原理及其扩展问题进行了概述,并给出了一种根据MDS长码的生成矩阵构造具备MDS性质的短码的方法;另外,对可有效降低系统修复带宽的piggybacking框架的基本原理进行了介绍。再次,本文针对传统MDS码扩展带宽高的问题,提出一种可有效降低扩展带宽、支持系统进行多次扩展的折叠码。基于折叠码的存储系统在进行扩展时能够利用被迁移的数据完成校验符号的更新,不必读取全部的信息数据,这减少了一半的信息数据读取量。另外本文对折叠码的可收缩性进行了讨论,经分析得出折叠码在从长码向短码进行转换时依旧具备不错的表现,其收缩带宽要低于传统MDS码的收缩带宽。然后,在折叠码的基础上通过融入piggybacking框架,提出一种低修复带宽piggybacking折叠码,其保留了折叠码扩展带宽低的特性,同时达到了降低失效节点修复带宽的目的。经分析得出,随着初始系统校验节点数量的增大,该方案的修复带宽比可以趋近于0.5。该方案对于将折叠码作为扩展框架进行编码方案的设计具有一定的参考意义。最后,本文对提出的两种编码方案与现有的几种方案进行了对比。