检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

去中心化存储下分布式低带宽多节点修复方法

小型微型计算机系统 2020年第7期41卷 1553-1558页

作者：李慧李贵洋周悦江小玉韩鸿宇四川师范大学计算机科学学院成都610101

为扩展纠删码在区块链中的应用,研究了去中心化存储系统中的修复机制,发现系统中RS码存在多节点修复成本高、效率低的问题.针对这个问题,本文提出一种更契合去中心化网络环境下的多节点修复传输模型DSMR,充分利用RS码在修复多节点时的... 详细信息

为扩展纠删码在区块链中的应用,研究了去中心化存储系统中的修复机制,发现系统中RS码存在多节点修复成本高、效率低的问题.针对这个问题,本文提出一种更契合去中心化网络环境下的多节点修复传输模型DSMR,充分利用RS码在修复多节点时的数据冗余性和计算冗余性.通过节点稳定性和网络跳数来选择节点、构造数据传输并行结构、分组修复计算和节点数据交互四个步骤,以最大化数据传输效率、较低带宽开销和较短修复时间完成了去中心下分布式低带宽多节点修复工作.理论及实验结果表明,在任意(n,k)参数下,分布式多节点修复传输机制在保持较低存储空间地同时进一步降低修复带宽、减少修复时间.

关键词：去中心化存储纠删码多节点修复数据传输网络带宽

在线全文

学校读者我要写书评

暂无评论

具有健康节点协作的高效多节点修复方案

北京邮电大学学报 2014年第1期37卷 52-56页

作者：谢显中王柳苏黄倩马彬重庆邮电大学宽带接入网络研究所重庆400065

针对分布式存储中多节点再生修复的修复带宽和可靠性问题,提出了一种具有健康节点协作的多节点修复方案.该方案在修复模型上做出了相应改进,通过健康节点间的协作把上述问题做了折中.给出了具体的多节点修复过程和相应再生码的构造,用... 详细信息

针对分布式存储中多节点再生修复的修复带宽和可靠性问题,提出了一种具有健康节点协作的多节点修复方案.该方案在修复模型上做出了相应改进,通过健康节点间的协作把上述问题做了折中.给出了具体的多节点修复过程和相应再生码的构造,用信息流图求得最大流最小割集来说明其最小边界.结果表明,在确保修复带宽最低的条件下使修复时间同步,修复过程更简便,最重要的是所需传输信道更少,保证了修复的可靠性.

关键词：分布式存储多节点修复修复带宽修复可靠性健康节点的协作

在线全文

学校读者我要写书评

暂无评论

新多节点修复模型下的再生码

计算机应用研究 2018年第2期35卷 527-531页

作者：王丽莎唐小虎湖北大学数学与统计学学院应用数学湖北省重点实验室武汉430062 西南交通大学信息科学与技术学院成都611756

关于单节点修复模型,Dimakis已通过信息流图分析出节点存储与修复带宽的理论界。对于多节点的修复,Shum和Hu提出了新节点之间相互合作的模型,并给出此模型下存储与带宽的理论界;Zhang等人介绍的新节点之间不再传输数据的模型,比合作修... 详细信息

关于单节点修复模型,Dimakis已通过信息流图分析出节点存储与修复带宽的理论界。对于多节点的修复,Shum和Hu提出了新节点之间相互合作的模型,并给出此模型下存储与带宽的理论界;Zhang等人介绍的新节点之间不再传输数据的模型,比合作修复减少了设计和运算的复杂性,更符合系统的需要。针对这种新模型,利用割型找出其最小容量割,并用线性规划的方法给出存储—带宽的理论界,过程更为简单。最后给出一些特殊参数下的编码构造。

关键词：分布式存储多节点修复修复模型再生码

在线全文

学校读者我要写书评

暂无评论

面向多节点失效的纠删码及数据修复技术研究

面向多节点失效的纠删码及数据修复技术研究

作者：林轩国防科学技术大学

学位级别：硕士

在分布式存储系统中,基于纠删码的容错机制相比于基于副本的容错机制能够极大地节省数据存储开销。然而,纠删码修复所产生的大量数据传输影响了系统性能,阻碍了纠删码在实际分布式存储系统中的广泛应用。纠删码的修复方式分为立即修复... 详细信息

在分布式存储系统中,基于纠删码的容错机制相比于基于副本的容错机制能够极大地节省数据存储开销。然而,纠删码修复所产生的大量数据传输影响了系统性能,阻碍了纠删码在实际分布式存储系统中的广泛应用。纠删码的修复方式分为立即修复和延迟修复两种,延迟修复相比于立即修复能够节省系统资源,因此成为目前主流的修复方式。然而,延迟修复将导致多节点失效更为常见。现有的纠删码和修复策略主要针对于单节点失效修复,在多节点失效修复时数据传输量大、速度慢。为降低多节点数据传输量、加快修复速度,对面向多节点失效的纠删码以及数据修复技术进行了深入研究。取得的主要研究进展如下:首先,针对已有纠删码在多节点修复时存在数据传输量大的问题,本文提出了一种面向多节点失效的分组修复码GRC。GRC码利用分组思想将整个条带分成若干组并在组内计算出多个局部编码块,来减少多节点修复时的数据传输量。在计算局部编码块时,通过控制生成矩阵,使得各组中序号相同的局部编码块能够合成全局编码块,合成的全局编码块和已有全局编码块共同维持纠删码容错度。根据GRC码的编码特征,本文提出针对GRC码的基于多阶段选择策略的解码算法GMCD以减少解码过程的数据传输量,优化系统性能。实验结果表明,与已有的典型纠删码RS码相比,GRC码将修复时数据传输量降低50%以上;与分组结构型纠删码BPC码相比,GRC码将修复时数据传输量降低15%-25%。其次,针对已有修复技术在多节点修复时速度慢的问题,本文提出了一种分组数据互换修复技术GDER。不同于传统集中式同时修复技术中将所有块发送到一个新生节点上进行解码,GDER将修复所用到的块平均分成两组,并各自发送到两个新生节点。两个新生节点分别计算得出中间数据,然后交换部分中间数据,使得新生节点本身计算得到的中间数据和从另一个新生节点接收得到的中间数据合成失效块。由于修复过程中两个节点并行地接收数据和进行解码计算,因此GDER的修复速度相比于传统集中式同时修复技术有近一倍的提高。此外,本文提出了一种以最小数据传输代价为目标的节点选择算法MDTNS以优化多节点修复性能。实验结果表明,与传统集中式同时修复技术相比,GDER在保持修复数据传输量较低的情况下,修复速度提高70%以上。最后,基于上述研究成果,设计并实现了一个基于分组修复码的分布容错存储原型系统Group CR。Group CR基于开源的分布式容错存储系统HDFS-RAID设计实现,含有丰富的纠删码编码算法,包括已有的GRC码、BPC码、RS码和XOR码,也能较容易地扩展支持其他的编码算法。此外,Group CR支持分组数据互换修复技术GDER,也能较容易地扩展支持其他的修复技术。大量真实环境下的实验表明,在采用星型修复技术时,分组修复码相比于RS码在修复过程中传输的数据量减少50%-60%,相比于BPC码在修复过程中传输的数据量减少15%-25%;在采用RS码和GRC码时,分组数据互换修复技术GDER比传统集中式同时修复技术在修复速度上均提高70%-80%,进一步验证了理论分析和模拟实验的结果。

关键词：分布式存储系统纠删码延迟修复多节点修复

集群层次架构下局部修复码中节点的最优放置策略研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

集群层次架构下局部修复码中节点的最优放置策略研究

作者：钟露广东工业大学

学位级别：硕士

分布式集群存储系统可以分担由数据爆发式增长给数据中心带来的压力,并且分布式集群存储系统具有较高的可靠性、可用性以及易扩展性等优点,在高性能计算,大数据分析和大数据视频云等应用场景中得到广泛应用。分布式集群存储系统将存储... 详细信息

分布式集群存储系统可以分担由数据爆发式增长给数据中心带来的压力,并且分布式集群存储系统具有较高的可靠性、可用性以及易扩展性等优点,在高性能计算,大数据分析和大数据视频云等应用场景中得到广泛应用。分布式集群存储系统将存储节点放置在不同的集群中,然而集群内和集群间的带宽资源分布极其不均,通常集群内部的带宽是集群间带宽的20倍,在某些极端情况下甚至达到了240倍。随着数据规模的逐渐增大以及节点数量的逐渐增加,分布式集群存储系统中逐渐出现了节点失效问题。局部修复码因其具有局部修复的能力,已被广泛应用于分布式存储系统,用来提升分布式存储系统的容错能力,提高数据存储的可靠性。但因为受到分布式集群存储系统中带宽资源分布不均的影响,因此结合集群的层次架构设计局部修复码的节点在分布式集群存储系统中的放置策略成为当前研究的一个热点。本文基于集群的层次架构提出了两类局部修复码的节点在分布式集群存储系统中的放置策略,该放置策略可以减少修复单节点故障和多节点故障的跨集群传输的编码块数量,即可以减少资源紧缺的集群间带宽资源的开销,最后在MATLAB上进行了仿真测试,本文的主要贡献如下:（1）优化了一种可用性t=1的规则（k,l,g）LRC码节点在集群中的放置策略。在保证热数据变成冷数据时的最小跨集群带宽开销情况下,为减少修复故障节点的跨集群带宽的开销,将全局校验节点放在特定的数据节点所在的集群中,而不是单独将其放在一个集群中。同时分析了在优化放置策略下修复两节点故障的跨集群带宽开销。根据仿真结果显示,在优化后的放置策略下,随着数据块数量的增加,优化前后的跨集群带宽开销差距逐渐减小,最高可以减少51.4%的跨集群修复带宽开销。（2）得出适合存储热数据的局部性为2,可用性不均的（n,k,r,t,d）New BLRCs码校验矩阵的通用表达式,并根据表达式提出了一种将New BLRCs码所有节点放在k个集群中的放置策略。分析了在该放置策略下修复单节点故障的跨集群带宽开销和多节点故障的跨集群带宽开销,并将其与平面放置策略,随机放置策略和顺序放置策略下的修复开销进行了比较。根据仿真结果显示,在本文提出的放置策略下,无论是单节点故障的修复开销还是两节点故障的修复开销都远少于其他放置策略下的修复开销。相较于平面放置策略,本文提出的放置策略下的单节点故障的修复开销可减少91.7%以上,两节点故障的修复开销可减少90.8%以上。

关键词：局部修复码集群热数据多节点修复

基于分布式计算的数字化校园云存储网络安全策略研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

自动化与仪器仪表 2023年第9期 31-35页

作者：陈荣荣西安外国语大学西安710119

针对传统校园云存储网络存在存储系统扩展性差,数据安全性低,节点读写压力大的问题,提出一种基于分布式计算的数字化校园云存储网络安全策略。首先,基于最小存储再生码(MSR)的多失效节点修复场景,推广单失效节点修复拓扑方案;然后在其... 详细信息

针对传统校园云存储网络存在存储系统扩展性差,数据安全性低,节点读写压力大的问题,提出一种基于分布式计算的数字化校园云存储网络安全策略。首先,基于最小存储再生码(MSR)的多失效节点修复场景,推广单失效节点修复拓扑方案;然后在其基础上引入允许对集群中高可用带宽链路进行复用的原理,设计一种新的多失效节点修复拓扑方案;最后将多节点修复问题抽象为一个以修复时延和修复流量为目标函数的带约束优化问题,采用混合遗传算法进行最优求解。结果表明,在相同的存储规模下,相较于传统的采用再生码的星型修复方案,提出的多节点修复方案的修复时延明显降低了10%~30%;本方案的修复流量仅为传统边不相交树型修复方案的30%~40%。由此说明,提出的方案可有效增强存储系统扩展性和安全性,降低多节点读写压力,具有一定的可行性。

关键词：分布式计算存储系统再生码(MSR) 混合遗传算法多节点修复

在线全文

学校读者我要写书评

暂无评论

分布式存储中纠删码流水线修复技术的研究

分布式存储中纠删码流水线修复技术的研究

作者：江小玉四川师范大学

学位级别：硕士

随着区块链、机器学习、人工智能等前沿科技的发展,每天都会产生海量的数据,如何存储及处理这些数据成为大数据研究领域的热点。分布式存储可以实现大规模的存储需求,但系统中的节点时常出现故障而导致存储数据丢失。为了保证数据的安... 详细信息

随着区块链、机器学习、人工智能等前沿科技的发展,每天都会产生海量的数据,如何存储及处理这些数据成为大数据研究领域的热点。分布式存储可以实现大规模的存储需求,但系统中的节点时常出现故障而导致存储数据丢失。为了保证数据的安全性和可靠性,选用纠删码作为数据容错机制,在节点发生故障之后对失效数据进行有效地修复。不过,纠删码修复过程中必须从其他可用于解码计算的节点上下载数据,占用的网络带宽较多、修复时间较长,致使数据读取性能下降。如果修复速度较慢,甚至不如节点发生故障的速度,系统的可靠性将无法维持。流水线是目前效率最高的数据传输网络结构,流水线修复方法（Repair Pipelining,RP）可显著缩短修复时间,提高修复效率,但仍然存在一些缺陷（例如,负载不均衡）。基于此,本课题重点研究分布式存储中纠删码流水线修复技术的若干相关问题。首先,提出基于负载均衡的流水线修复方法（Repair Pipelining based on Node Load Balancing,NLB-RP）,处理RP修复过程中节点负载不平衡的问题。RP中改善了节点负载不均衡的情况,但仍有改进空间。NLB-RP中通过添加不同构造的数据传输路径来平衡节点负载,并选取更多节点加入修复,进一步减少节点负载。综合理论分析及实验数据,可以证明NLB-RP从局部上平衡、从整体上减轻了节点负载,并且没有引入新的修复代价。与RP相比,NLB-RP的节点负载方差计算结果为0,这说明各个节点具有相同的负载。因此,NLB-RP是一种具有最优负载均衡性的修复方法。其次,设计部分并行的流水线修复方法（Partially Parallel Repair Pipelining for Multiple Failures,PPRP）以提高多节点修复效率。构建基于流水线路径的多节点修复模型,将修复操作划分为多个并行的部分以此提高流水线的并行度,降低了总的修复时间。与此同时,部分节点传输计算中间数据以此避免冗余传输本地数据,降低了总的修复带宽。最后,基于Piggybacking码设计去冗余流水线修复方法（Repair Pipelining for Reducing Redundancy based on Piggbacking,Pig-RP）以扩展流水线修复方法并应用于其他编码策略。Piggybacking码具有低修复带宽和低磁盘I/O开销,但缺乏快速修复方法。因此,利用流水线网络结构加速其修复过程。先基于单节点修复设计Pig-RP,再扩展到多节点修复场景中。修复单节点时,Pig-RP主要通过降低拥塞度来降低修复时间。修复多个节点时,Pig-RP不仅降低拥塞度,还大幅度降低修复带宽和磁盘I/O开销,从而减少总的修复时间。

关键词：分布式存储纠删码流水线负载均衡多节点修复 Piggybacking

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式存储系统中失效节点修复技术研究

分布式存储系统中失效节点修复技术研究

作者：郭威桂林电子科技大学

学位级别：硕士

大数据时代对传统存储系统的各项性能提出了全新的挑战。由于传统存储系统在大规模数据存储方面存在诸多缺陷,如系统扩展性差,数据安全性低,部分节点读写压力过大等,所以分布式存储系统凭借其优秀的可扩展性,可靠的数据安全保障机制,以... 详细信息

大数据时代对传统存储系统的各项性能提出了全新的挑战。由于传统存储系统在大规模数据存储方面存在诸多缺陷,如系统扩展性差,数据安全性低,部分节点读写压力过大等,所以分布式存储系统凭借其优秀的可扩展性,可靠的数据安全保障机制,以及大规模读写操作时出色的吞吐性能等,成为当前大规模数据存储领域的主要解决方案。但因为分布式存储系统的底层设备普遍采用廉价商用硬件,故障率较高,所以会通过应用冗余策略来保障存储系统中数据的安全性。与传统副本冗余策略相比,纠删码能够在同等冗余需求的前提下,尽可能的降低整体存储开销,但是纠删码冗余策略在节点修复过程中会产生较大流量并且修复速度较为缓慢。现阶段研究者们通过改善纠删码的编解码机制以及寻求更优秀的修复拓扑来克服上述劣势,但研究仍存在部分缺陷。首先,多数文献对于减少修复流量和降低修复时延的研究都是相互独立的,但事实是单纯优化修复流量会导致修复时延增加,而不考虑修复流量的修复时延优化可能会因修复流量过大导致网络拥塞;其次,大多数研究只考虑了链路带宽异构所对修复时延的制约,忽略节点处理能力异构对整体修复速率的影响,但随着编码规则的复杂化及修复拓扑规模的增大,节点对修复数据的处理时延也会随着节点处理能力的异构以及编码复杂度的增加而无法忽略;然后,针对多节点并行修复的研究较少,并且编码机制都相对复杂,缺少从单节点修复模式推广到多节点修复模式的研究;最后,现有修复机制普遍通过构建最优修复树来实现节点修复操作,但多节点修复方法普遍假设各修复树边不相交,由于其多棵修复树采用顺序构造,会使得拓扑中的高可用带宽链路链路被先构造的修复树独占,导致修复速率随修复树个数增加而降低,该设计的合理性存在一定缺陷。针对上述的问题与挑战,本文对分布式存储系统中纠删码冗余机制下的节点修复过程展开研究,主要工作及创新如下:（1）针对应用最小存储再生码MSR（Minimal Storage Regenerating）的单失效节点修复场景,设计一种新的单失效节点修复拓扑,综合考虑集群中链路可用带宽与节点处理能力的异构,对节点修复时延以及修复流量进行组合优化。将该拓扑转化为一个带有约束的Stenier Tree模型,设计相应的混合遗传算法求取全局近似最优解,最终实现两个优化目标的tradeoff。仿真结果表明,在同等规模的MSR码下,本拓扑的修复时延为传统树型修复拓扑的70%～90%,且仅为传统星型修复拓扑的35%～45%。虽然本拓扑内部的修复流量较传统星型拓扑增加了10%～20%,但对比传统树型拓扑,修复流量仅为其45%～60%。（2）针对最小存储再生码（MSR）的多失效节点修复场景,通过将（1）中提出的单失效节点修复拓扑方案进行推广,并在其中加入允许对集群中高可用带宽链路进行复用的思想,设计出一种新的多失效节点修复拓扑方案,将多节点修复问题抽象成一个以修复时延和修复流量为目标函数的带约束优化问题,并设计相应的混合遗传算法进行求解。通过仿真实验的对比,在同等存储规模下,本文所多节点修复方案的修复时延较传统采用再生码的星型修修复方案减少了60%～80%,与采用边不相交思想设计的树型修复方案对比,本方案的修复时延也大幅降低,并且修复流量仅为传统边不相交树型修复方案的30%～40%。

关键词：分布式存储系统单节点修复多节点修复 MSR码遗传算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于网络编码的高可靠云数据存储方法研究

基于网络编码的高可靠云数据存储方法研究

作者：蔡瑶琦哈尔滨工程大学

学位级别：硕士

随着云计算技术的发展和大数据时代的到来,云计算服务在现实生活中的应用日益广泛,而云存储作为云计算服务的核心方式之一,为数据的存储方式和服务提供模式带来了巨大便利。然而,随着云计算服务深入到人们生活中,云存储也面临着诸多挑战... 详细信息

随着云计算技术的发展和大数据时代的到来,云计算服务在现实生活中的应用日益广泛,而云存储作为云计算服务的核心方式之一,为数据的存储方式和服务提供模式带来了巨大便利。然而,随着云计算服务深入到人们生活中,云存储也面临着诸多挑战,尤其近些年来发生了多起存储数据安全事件,保证云数据存储的可靠性和安全性已经成为一个亟待解决的问题。因此,本文建立了一种基于网络编码的高可修复性安全云存储框架,并在此基础上提出一种基于节点可靠性的动态自适应安全云存储方法和一种三维立体模型式的多节点数据修复方法,来提高云数据存储的可靠性,尤其能够解决多节点失效的问题。首先,提出了一种基于网络编码的高可修复性安全云存储框架。该框架使用网络编码对划分后的数据信息进行编码,然后通过分析存储节点的历史信息,并根据节点的可靠性值对数据进行动态存储,减少了存储空间的冗余量。框架中还包含了三维立体模型,用来高效的恢复出被破坏的数据,提高云存储数据的完整性。其次,为了尽量避免将数据存储在低可靠性的节点上,提出了一种基于节点可靠性的动态自适应安全云存储方法。方法通过评估存储节点的可靠性,将数据块动态的分配到存储位置上,对可靠性值低的存储节点上的数据进行冗余备份。实验结果表明,方法无需备份所有数据,可以减少存储空间,使数据块分配更加均衡,从而保证数据的安全存储。最后,针对现有云存储方法仅仅是在对单节点失效进行数据修复的情况,提出了一种三维立体模型式的多节点数据修复方法。该方法将数据块分配到三维立体模型上,使得立体模型各个面上的数据都具有相关性,在有多个节点上失效时,能够实现数据的高效修复。实验结果表明,与传统的副本存储方法相比,本文方法可以解决多节点失效时数据的修复问题,提高了数据的修复率,具有更高可靠性。

关键词：云存储数据安全性节点可靠性多节点修复