纠删码系统中基于异或网络计算的数据修复及更新优化研究

作     者：唐英杰 

作者单位：华中科技大学 

学位级别：硕士

导师姓名：王芳

授予年度：2019年

学科分类：08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：分布式存储系统 纠删码 网络计算 修复 更新 跨机架流量 

摘      要：纠删码技术由于其低存储开销的优势,正逐渐取代多副本技术被广泛应用到分布式存储系统中来提供数据可靠性。但它会引入大量的跨机架流量:修复一个丢失的数据块需通过网络从其他节点上读取多个可用块;更新一个数据块会触发对所有校验块的校验更新。过多的跨机架流量会导致系统中包括纠删码在内的多种应用性能下降。为了提升纠删码的性能,许多新的编码方案被提出,试图从根本上减少网络流量,但其缺点是会牺牲其他性能。另一种优化途径是不改变纠删码的编码结构,而是通过优化数据传输路径提升纠删码系统的修复和更新性能。这种优化方式可以应用在多种新型纠删码上,通过结合两种优化策略进一步提升性能。但是目前提出的数据传输方案,只关注于解决纠删码性能问题,并没有实际减少纠删码引入的跨机架流量。随着可编程网络设备的兴起,网络计算的概念被提出,其主要思想是将原来位于终端节点上的计算操作移动到网络设备中。受该想法启发,针对纠删码修复和更新操作,分别提出基于异或网络计算的数据传输方案:两种方案的核心思想均是由网络设备执行异或运算,其中在修复操作中,来自不同节点的数据在网络中汇聚,通过利用可编程网络设备对来自不同节点的数据流执行异或运算,然后将计算结果继续转发,从而避免大量端到端的网络传输;在更新操作中,网络设备代替存储节点计算增量,然后通过不同链路发送增量,既缩短了传输路径也消除了网络瓶颈。基于HDFS-RAID和SDN(Software Defined Networking),模拟实现了一个网络计算框架,在该模拟环境下的测试结果显示,基于异或网络计算的传输方案可以使得修复和更新操作达到最优性能。对于修复操作,修复一个块的时间几乎接近于正常读取一个块的时间,并且相比于repair pipelining,可以减少高达41%的网络流量。另外对于更新操作,相比于基于增量的更新方案,可以减少高达74%的更新时间和30%的网络流量。