基于异构去中心存储的低修复带宽纠删码研究

作     者：胡金平 

作者单位：四川师范大学 

学位级别：硕士

导师姓名：郭涛

授予年度：2020年

学科分类：08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：去中心化存储 Reed-Solomon码 局部可修复编码（LRC） Piggybacking设计架构 Hitchhiker码 混合编码 可信度 

摘      要：随着数据的爆炸式增长,迫切需要一种同时满足大存储容量和低存储代价的存储系统。近年来,基于区块链技术的去中心化存储系统在提供目前所需的同时,又保证了数据高可用性和安全性,已成为数据备份的存储趋势。去中心化存储中节点的异构性和不稳定性,导致其必须采用高可靠性和低存储开销的纠删码（Erasure Codes）来保证数据的可靠性。然而,目前去中心化存储中应用的相同参数的低码率RS（Reed-Solomon codes）码存在三个问题:一是RS码自身的修复带宽高;二是修复所需访问的k倍帮助节点导致磁盘I/O开销大;三是相同参数的编码应用在节点参差不齐的环境中导致部分稳定节点资源浪费。对此,本文提出了三种去中心化存储中基于可信度的编码。（1）首先根据去中心化异构的环境,多方面衡量节点,形成将节点分为高可信节点和低可信节点的分类模型。其次基于该模型,提出了LRC-RS混合编码,该编码通过让高可信节点使用LRC（Locally Repairable Codes）,低可信节点使用低码率的RS编码,从而达到减少磁盘I/O、降低修复带宽和减少稳定节点存储开销的目的。然后,分析了在不断波动的异构场景中,LRC-RS混合编码的适用范围。最后,理论与实验结果表明,在同等的冗余度和规定的可靠性下,混合编码LRCRS能有效地减少磁盘I/O和降低修复带宽。（2）虽然Hitchhiker码是Piggybacking架构下易于实现的双条带低修复带宽的MDS（Maximum Distance Separable）码,但因去中心化环境的特殊性导致Hitchhiker码难以运用到其中。因此,提出了异构去中心化存储中基于可信度的Hitchhiker码,该方法是将Hitchhiker码的第一子条带中的数据节点和部分校验节点以piggyback函数的形式捎带在第二个子条带中余下的校验节点之上,达到降低数据节点和部分校验节点的修复带宽的目的;接着让高可信节点存储余下的校验节点,低可信节点存储数据节点和部分校验节点,同时让不同类型的节点采用不同的修复策略,从而进一步降低修复带宽。最后理论与实验结果表明,未分类的Hitchhiker码能降低约0.5%的修复带宽,而基于可信度的Hitchhiker码能降低约1%的修复带宽。（3）结合LRC和Hitchhiker码的优势,提出了去中心化存储中LRC-Hitchhiker码。该方法首先将LRC按照Hitchhiker码的方式将每个节点分为2个子条带;其次对每一个分组按照Hitchhiker码进行编码,让第一个子条带的数据以piggyback函数的形式捎带在该组中局部校验的第二个子条带之上;接着让全局校验采用同样的方式捎带piggyback函数;然后让校验节点存储在高可信的节点之上,让数据节点存储在低可信的节点之上,同时采用不同的修复策略;最后理论与实验结果表明,LRC-Hitchhiker码在与LRC具有相同磁盘I/O的情况下,可够降低约10%的修复带宽。