分布式存储系统中故障节点修复及数据更新方法研究

作     者：魏若愚 

作者单位：桂林电子科技大学 

学位级别：硕士

导师姓名：叶苗

授予年度：2022年

学科分类：08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：分布式存储系统 纠删码 软件定义网络 多属性决策 遗传算法 

摘      要：大数据时代分布式存储系统凭借优良的存储性能及低廉的构建成本逐渐代替传统存储系统。分布式存储系统一般将存储数据分别储存于不同节点中,同时使用冗余策略保证数据的安全性,当数据出错时采用容错机制恢复失效的数据;当数据更新时通过冗余策略将数据转发至不同的存储节点。目前主流的冗余策略有多副本和纠删码。与多副本冗余相比,纠删码冗余以其更高的空间利用率而受到关注。但纠删码冗余存储复杂度较高,所以在遇到节点修复或者数据更新时也有着庞大的计算开销和传输开销,虽然其计算开销随着计算机技术的发展在飞速降低,但网络传输所带来的传输开销依然十分庞大。面对纠删码冗余传输开销大的问题,目前主流的研究方向为针对修复过程和更新过程分别构建更优秀的传输拓扑,但研究仍然存在一些缺陷:首先,大多数研究忽略了节点性能对传输效率的影响,没有针对分布式存储的异构网络选择更加优秀的节点参与传输及计算;其次,大多数研究针对传输时延及传输流量的研究为相互独立的,并未考虑两者的trade-off;最后,现有文献及工作大多针对该问题设计局部最优传输拓扑的方式进行解决,其性能并未达到全局最优。针对以上问题,本文针对应用纠删码冗余的故障修复过程及数据更新过程展开研究,主要工作及创新如下:（1）针对应用纠删码冗余的单节点故障修复场景,设计了一种新的单节点失效数据重构方法。该方法通过软件定义网络（SDN,Software Defined Networking）采集网络链路状态,将单故障节点数据恢复问题建模为以修复流量和修复时延为优化目标的最优修复树的优化问题,并设计了一种具有k最优路径预处理的混合遗传算法寻找该问题的近似全局最优解并实现两个优化目标的trade-off。实验结果表明,相较于传统树型修复拓扑和星型拓扑,设计的单节点修复方法的修复效率得到显著提高。（2）针对应用纠删码冗余中采用delta-based更新方式的多节点数据更新场景,设计了一种新的多节点数据更新方法,该方法通过SDN采集网络状态及节点性能信息,对数据更新节点集构建多属性决策模型并通过理想点法求解确定中继节点,之后以中继节点为中心将多节点更新问题构建为以更新流量和更新时延为优化目标最优更新拓扑图模型,并对（1）中设计的基于k-shortest-path预处理的遗传算法进行扩展来求解该问题得到近似全局最优解。实验结果表明,本文所设计更新方法相较于经典更新方案有效降低了更新开销。