检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

云环境下中间数据容错方法的研究

云环境下中间数据容错方法的研究

作者：唐敏辽宁大学

学位级别：硕士

云计算技术被认为是分布式处理、并行处理以及网格计算的进一步发展,也可以说是一种商业计算模式。随着云计算应用的增多,服务器规模还可能进一步扩大,服务器出现故障的概率也会不断增加,容错技术已经成为云计算技术的一个重要研究方向... 详细信息

云计算技术被认为是分布式处理、并行处理以及网格计算的进一步发展,也可以说是一种商业计算模式。随着云计算应用的增多,服务器规模还可能进一步扩大,服务器出现故障的概率也会不断增加,容错技术已经成为云计算技术的一个重要研究方向,而中间数据容错是实现作业容错的重要组成部分,中间数据的丢失严重影响作业的运行时间。因此,中间数据容错技术的研究和实现成为云计算技术领域中一个重要的研究课题。通过对云计算中中间数据容错方法的深入研究,针对目前方法中存在的不足,本文提出了一种分层的中间数据容错方法LIMF,具体工作如下:在分析现有云计算体系结构的基础上,给出了支持中间数据容错的云结构CAIMF(Cloud Architecture for Intermediate Data Fault-Tolerant),根据节点实现功能的不同,详细的描述了CAIMF数据中心节点的组成;针对现有方法对云中功能单一的作业进行处理的局限,本文对云中作业根据功能拆分成不同任务的情况做了探讨,分析了数据依赖关系,针对任务内部和任务之间产生的中间数据,给出了形式化表示;根据ISS中间数据处理方法的不足,提出了分层的中间数据容错方法LIMF(A Layered Approach for Intermediate Data Fault-Tolerant),在任务内部和任务之间给出了容错方法,包括不同的保障级别、存储资源的选择、部署策略,以及存储资源的维护方法;设计了任务内和任务间的任务备份信息表用来记录容错数据信息,当服务器发生故障时的容错处理方法,包括任务内部的处理方法和任务之间的处理方法;最后采用了Java语言模拟了实验,验证了分层的中间数据容错方法LIMF的性能。实验表明LIMF算法在机器出现故障的情况下提高了作业响应时间,保证了系统的可靠性。

关键词：云计算中间数据容错云体系结构

云环境下科学工作流的中间数据复制与布局策略研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

云环境下科学工作流的中间数据复制与布局策略研究

作者：彭苏武汉理工大学

学位级别：硕士

科学工作流是对大规模科学实验进行自动化完成的过程。作为一种数据密集型应用，科学工作流已被广泛用于处理和分析科学研究中的大规模实验数据。由于云环境可提供科学工作流执行需要的计算与存储资源，越来越多的科学工作流开始部署到... 详细信息

科学工作流是对大规模科学实验进行自动化完成的过程。作为一种数据密集型应用，科学工作流已被广泛用于处理和分析科学研究中的大规模实验数据。由于云环境可提供科学工作流执行需要的计算与存储资源，越来越多的科学工作流开始部署到云环境下。但是，科学工作流部署在云环境下也面临着诸多挑战。首先，科学工作流执行过程耗时较长，怎样提高科学工作流的执行性能是面临的挑战之一;其次，云计算采用按需计费的计算模式，在云环境下部署科学工作流的费用开销也是需要考虑的问题;另外，云环境允许多用户共享资源，如何保证云环境中数据的安全也是亟待解决的问题。针对科学工作流部署在云环境下面临的挑战，本文的主要研究工作如下： 1、结合多个科学工作流应用的中间数据频繁使用造成的执行效率低下问题，提出了一种中间数据副本放置策略来有效地提高多个科学工作流的执行效率。首先，该策略根据中间数据的使用频率阈值来选择中间数据进行复制;然后，根据各中间数据的大小对复制的中间数据设置不同的副本个数;最后，以数据传输时间为主要目标，使用遗传算法对中间数据副本放置问题进行求解，保证科学工作流执行效率的前提下兼顾全局负载平衡。 2、针对多个科学工作流应用部署在云环境下面临的费用开销问题与执行效率问题，提出了一种成本感知的科学工作流中间数据复制策略，保证执行效率的同时最小化副本的放置成本。首先，对多个科学工作流的执行效率问题与副本放置成本问题进行分析建模;其次，将数据传输时间作为主要目标，放置成本作为次要目标，使用遗传算法求解成本感知的中间数据复制问题，从而在保证科学工作流执行效率的前提下有效地减少副本的放置成本;最后，以数据传输时间与副本放置成本作为评价指标，通过仿真实验与其他类似策略进行比较，验证其有效性。 3、针对科学工作流部署在云环境下面临的布局成本问题与数据安全问题，提出了成本感知的中间数据布局策略，在保证数据安全的前提下减少布局成本开销。该策略首先介绍了科学工作流中间数据的安全模型与数据放置成本;然后，以数据安全与数据布局成本为目标，提出了基于蚁群算法的数据布局策略;最后，通过与同类策略进行对比与分析，验证本文策略在保证数据安全与减少布局成本方面具有一定的优势。总之，本文通过分析科学工作流部署到云环境下面临的性能、成本、安全问题，针对科学工作流中间数据副本的放置、中间数据的复制策略及中间数据的布局进行优化。本文研究在一定程度弥补了在云环境下数据复制与数据安全方面研究的不足，尤其是针对多个科学工作流如何考虑经济成本感知的中间数据复制的研究。

关键词：科学工作流云计算中间数据副本放置布局成本

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

云环境下科学工作流中间数据管理研究

云环境下科学工作流中间数据管理研究

作者：孟莎西安电子科技大学

学位级别：硕士

作为数据密集型应用,科学工作流在执行期间会产生大量具有复杂依赖关系的中间数据。对这些中间数据集的管理直接影响到科学工作流的服务质量和执行效率,因而对这些数据集的管理越来越复杂。在云环境利用科学工作流执行计算任务或科学实... 详细信息

作为数据密集型应用,科学工作流在执行期间会产生大量具有复杂依赖关系的中间数据。对这些中间数据集的管理直接影响到科学工作流的服务质量和执行效率,因而对这些数据集的管理越来越复杂。在云环境利用科学工作流执行计算任务或科学实验任务,需要支付计算及数据存储费用。因此,为了提高科学工作流的执行效率,降低开销,本文针对云环境中科学工作流中间数据存储问题进行了研究。本文的主要工作可以总结为以下几个方面:1.本文对解决科学工作流中间数据存储问题的CTT-SP算法进行分析。分析发现CTT-SP算法具有时间复杂度高、主路径敏感以及算法不稳定等缺陷。并且,通过设计线性和非线性科学工作流实验验证了对CTT-SP算法的分析。2.针对CTT-SP算法对主路径敏感以及不稳定等不足,提出了基于关键路径的CTT-SP算法,并设计了三个不同复杂程度的非线性科学工作流进行验证,结果验证了改进算法的有效性和正确性。3.针对同时有多个云服务商共同提供服务的情形,提出了多云环境下科学工作流部署与中间数据存储策略,并采用五种云服务商资源,设计线性科学工作流与非线性科学工作流进行验证,实验结果表明,我们提出的策略优于已有研究。

关键词：云环境科学工作流中间数据最优存储多云环境

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

云环境中科学工作流中间数据管理研究

云环境中科学工作流中间数据管理研究

作者：席雪雯西安电子科技大学

学位级别：硕士

科学家利用部署在云环境中的科学工作流管理系统可以开展跨区域合作和复杂仿真实验等科研活动,但科学工作流管理系统在执行科学工作流任务的过程中会产生大量的中间数据,这些中间数据集之间存在复杂的依赖关系。如何对中间数据进行管理... 详细信息

科学家利用部署在云环境中的科学工作流管理系统可以开展跨区域合作和复杂仿真实验等科研活动,但科学工作流管理系统在执行科学工作流任务的过程中会产生大量的中间数据,这些中间数据集之间存在复杂的依赖关系。如何对中间数据进行管理不仅影响科学工作流管理系统的性能和服务质量,而且影响科研效率和科研合作。由于云环境以按需付费的方式为用户提供计算和存储服务,因而需要利用这些中间数据的依赖关系实现中间数据集存储和计算之间的转化,寻找到最优中间数据存储策略,优化科学工作流管理系统的总服务成本。因此,如何对部署在云中的科学工作流管理系统在执行科学工作流任务时产生的中间数据进行有效管理,寻找最优存储策略,从而减少科学工作流系统的总成本是本文的主要研究问题。本文针对基于数据依赖关系图的中间数据管理问题进行了研究。首先对基于数据依赖关系图的科学工作流中间数据删除后如何生成的问题进行了研究,提出了数据生成策略,并对数据生成算法进行验证,结果验证了数据生成算法的有效性和最优性。其次建立了基于数据依赖关系图的中间数据存储优化模型并提出了寻找最优存储策略的遗传算法。通过不同复杂程度的数据依赖关系图对该算法进行实验验证,结果验证了该算法可以找到最优存储策略。最后针对中间数据成本计算方式进行了改进,减少了数据的重复计算,并通过对不同复杂程度的数据依赖关系图进行实验验证,实验结果证明,改进后的数据成本计算方法能够有效的降低科学工作流系统的执行总成本。随后本文针对基于数据流图的中间数据管理问题进行了研究。首先对使用数据流图表示科学工作流的中间数据生成问题提出了基于数据流图的数据生成策略,通过不同复杂程度的数据流图对数据生成算法进行了实验验证,结果证明了该数据生成策略的有效性。其次建立了基于数据流图的中间数据存储优化模型并对该模型进行了验证,经过统计分析不同的数据流图在各存储策略下的表现,证明本文所提出的模型和算法可以有效的寻找到最优存储策略。

关键词：云计算科学工作流中间数据数据生成遗传算法

多云架构下成本感知的科学工作流中间数据布局策略

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

信息通信 2018年第5期31卷 84-87页

作者：赵红霞中国电信股份有限公司荆州分公司湖北荆州434000

首先构建了多云混合云环境,通过分析不同服务提供商计费策略的差异性和网络连接情况,建立相应的中间数据布局成本模型和传输时间模型,进而提出了基于离散粒子群的中间数据布局策略,以成本和时间为目标优化布局方案。仿真实验表明,相比... 详细信息

首先构建了多云混合云环境,通过分析不同服务提供商计费策略的差异性和网络连接情况,建立相应的中间数据布局成本模型和传输时间模型,进而提出了基于离散粒子群的中间数据布局策略,以成本和时间为目标优化布局方案。仿真实验表明,相比于聚类算法,文章提出的策略能够显著降低成本。

关键词：多云中间数据数据布局科学工作流成本感知传输时间

在线全文

学校读者我要写书评

暂无评论

基于云计算的中间数据容错算法研究

通化师范学院学报 2016年第2期37卷 64-66,120页

作者：潘晓君安徽工商职业学院电子信息系安徽合肥231100

云计算环境下信息处理的过程中会产生海量的又至关重要的中间数据.服务器如果失效,将会导致中间数据的失效,进而影响到整个任务的计算进程.目前,人们对数据容错采取的处理方法大都是使用一些简单的复制方法,没有充分考虑到中间数据的特... 详细信息

云计算环境下信息处理的过程中会产生海量的又至关重要的中间数据.服务器如果失效,将会导致中间数据的失效,进而影响到整个任务的计算进程.目前,人们对数据容错采取的处理方法大都是使用一些简单的复制方法,没有充分考虑到中间数据的特性,这样会增加巨大的网络开销.该文提出了基于层次的中间数据容错算法,分别是用于解决任务内部容错的中间数据容错MDF(Middle Data Fault-tolerance)算法和用于解决任务间容错的中间数据容错算法.实验结果表明,在服务器出现失效的情况下,这些算法可以减少作业的响应时间,提高系统的效率.

关键词：云计算中间数据 MDF 容错算法

面向MapReduce计算模式的中间数据通信优化

在线全文

学校读者我要写书评

暂无评论

计算机应用 2018年第4期38卷 1078-1083页

作者：曹云鹏王海峰临沂大学信息科学与工程学院山东临沂276002 山东省网络环境智能计算技术重点实验室临沂大学研究所单位问题已经过作者核实山东临沂276002

针对MapReduce计算模式在Map阶段结束后会产生海量中间数据,导致存在大量跨越机架交换机的数据通信问题,提出一种优化Map密集型作业的中间数据通信优化方法。首先,提取MapReduce计算作业的运行前调度信息的特征并且量化数据通信活跃度;... 详细信息

针对MapReduce计算模式在Map阶段结束后会产生海量中间数据,导致存在大量跨越机架交换机的数据通信问题,提出一种优化Map密集型作业的中间数据通信优化方法。首先,提取MapReduce计算作业的运行前调度信息的特征并且量化数据通信活跃度;然后,采用朴素贝叶斯分类模型实现分类预测,将历史作业的运行数据作为样本来训练分类模型;最后,根据作业分类预测结果把通信活跃的作业集中映射到同一机架中,通过提高通信局部性来优化性能瓶颈。实验结果表明,所提方案对Shuffle子过程稠密的作业优化效果明显,能够提高4%~5%的计算性能;此外,在多用户运行情况下能降低4.1%中间数据通信延迟。所提方法可有效降低大数据计算过程中的通信延迟,提高异构集群的计算性能。

关键词： MapReduce计算模型大数据处理通信优化中间数据机器学习

基于数据偏斜条件下Reduce任务放置机制的研究

在线全文

学校读者我要写书评

暂无评论

基于数据偏斜条件下Reduce任务放置机制的研究

作者：马稳湖南大学

学位级别：硕士

随着网络技术的不断发展,互联网己经越来越普及,各行各业都受到它的影响,网络用户数目不断攀升,这也使得互联网中所产生的数据朝着大和杂的方向发展,对这类型数据的分析处理和挖掘搜索已经成为互联网行业新的方向,同时这些都为分布式计... 详细信息

随着网络技术的不断发展,互联网己经越来越普及,各行各业都受到它的影响,网络用户数目不断攀升,这也使得互联网中所产生的数据朝着大和杂的方向发展,对这类型数据的分析处理和挖掘搜索已经成为互联网行业新的方向,同时这些都为分布式计算和云计算的发展提供了新的发展机遇。MapReduce是Google提出用于处理海量数据的分布式并行计算编程模型,基于该框架能够容易地编写应用程序,这些应用程序能够运行在由上千个机器组成的大集群上,具有自动并行处理作业、可靠性高、具有容错能力以及编程简单,能够并行地处理上TB级别的海量数据集等特点。在大多数运行的Hadoop系统中,对于频繁的磁盘I/O和跨机架和不同物理节点的大数据量的传输,中间数据的传输已经成为制约性能的的瓶颈。本文提出reduce任务放置算法,将目标任务调度到其相关map任务所在的物理节点或者同一机架内以此来获得中数据,提高本地化读取数据性能。由于key值是需要直到map任务结束之后才能被计算,本轮提出了一种基于水池抽样的方法来获取中间键值的分布情况。基于这个抽样的出来的数据分布比较好的接近原始数据的分布,基于这个中间键值的分布来执行分区策略,跨机架之间通信通过考虑它的距离和损耗将对应于map任务相关的reduce任务调度值其相近的物理节点来获取中间数据的本地性。论文基于 Hadoop 2.4.0 来实现 CORP(Correlation-oriented reduce placement)算法并且通过sort,grep,join这三种作业类型来对其性能进行评估,实验的结果也显示该算法在对其数据本地性和reduce负载有了较大的改善,但是由于前期的抽样带来的额外的负担使得论文中CORP算法对于执行时间方面的优化不是特别的大。本论文不仅在Hadoop的集群环境中基于数据倾斜实现了任务的放置的研究,并且将该方法至于云环境中通过虚拟机来实现任务的放置。任务虚机启动的位置越是靠近存储节点,获得的本地化数据就越多。基于现有的模型和工作提出了虚拟机启发式迁移HM(Heuristic Migration)策略,实验中与随机模式的迁移和不迁移策略相比HM有较大的优化,实验显示机架内的流量交换越小,数据的本地化程度就越大,在执行时间的优化就越好。

关键词： Hadoop 数据倾斜抽样中间数据任务放置云计算虚拟机迁移

面向数据密集型超级计算的基于纠删码的容错存储技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向数据密集型超级计算的基于纠删码的容错存储技术研究

作者：周松国防科学技术大学

学位级别：硕士

数据密集型超级计算作为一种新兴的计算模式,在高能物理、生物信息技术、天文计算、地震预报以及商业计算等数据密集型应用领域发挥着极其重要的作用。数据密集型超级计算以数据为中心,由系统负责存储、维护和处理海量数据。海量数据的... 详细信息

数据密集型超级计算作为一种新兴的计算模式,在高能物理、生物信息技术、天文计算、地震预报以及商业计算等数据密集型应用领域发挥着极其重要的作用。数据密集型超级计算以数据为中心,由系统负责存储、维护和处理海量数据。海量数据的存储和处理需求使得系统规模不断增长。随着存储规模的扩大,由于硬件故障、人员操作失误、病毒攻击、断电及火灾等各种原因,存储结点失效而导致整个系统发生故障的机率显著提高。因此,系统应具有较强的容错能力,保证数据的高可靠性和可用性。纠删码技术以其较强的容错能力和高空间利用率,为构造面向数据密集型超级计算的高可靠性和高容错性的大规模存储系统提供了一种有效的容错机制。然而,在数据密集型超级计算背景下,纠删码过高的修复成本易导致修复过程耗费大量的系统带宽,频繁的结点失效易导致大规模数据处理过程中产生的海量中间数据丢失而致使作业运行失败,数据放置不均易导致系统内结点利用率过低而使系统能耗过大。针对上述问题,本文对高容错低修复成本的纠删码编码技术、基于纠删码的中间数据容错存储管理方法以及功耗敏感的数据放置方法进行了深入的研究。取得的主要研究进展如下: 纠删码过高的修复成本易导致修复过程占用大量系统带宽而降低系统性能。针对已有纠删码技术存在的不足,本文提出一种基于阵列结构的高容错低修复成本的纠删码EXPyramid。在EXPyramid码的基础上,针对多点失效和单点失效情况,本文分别提出了以最低修复成本为目标的多点失效修复算法RMFA和单点失效修复算法RSFA。EXPyramid采用阵列结构提高容错能力,将大数据集分组编码降低原始数据和冗余数据的关联程度,降低修复成本。在多点失效情况下,RMFA采用迭代的方法保证每次修复过程均具有最小成本,以使整体修复成本最低化;在单点失效情况下,RSFA采用广度优先搜索提高遍历效率,寻找最短修复路径,从而获得最低修复成本。理论分析表明,相对于已有纠删码,EXPyramid具有较强的容错能力和较低的修复成本。对大规模数据进行分布并行处理的过程中产生的中间数据是一类关键数据,中间数据丢失或损坏易导致后续任务的失败。已有的中间数据容错管理方法中,任务重执行方法易导致级联效应从而耗费大量计算资源,复制方法存储空间开销过高。针对当前中间数据容错管理方法存在的不足,本文提出一种基于EXPyamid码的中间数据容错存储管理方法EBIDS。EBIDS采用基于XOR运算的EXPyamid码对中间数据进行容错存储管理。XOR运算速度快,对中间数据短暂性的适应能力强;通过冗余编码,可有效降低存储开销;采用流式通信方式进行计算和传输冗余信息,能够有效降低单结点上的计算负载和带宽负载。实验结果表明,在正常情况下,EBIDS对系统的干扰很小。在单点失效情况下,EBIDS能有效防止级联效应的产生,降低失效对作业和系统的影响。和基于复制技术的中间容错存储管理方法相比,在提供相同容错保障的同时,EBIDS方法可有效降低冗余中间数据量,减小存储开销。在面向数据密集型应用的基于纠删码技术的存储系统内,合理地放置数据,有利于均衡存储负载和结点利用率。同时,可通过挂起部分闲置结点达到节省能耗的目的。已有的动态数据放置技术易造成大量数据迁移,从而占用系统带宽,降低系统性能。静态数据放置技术未考虑数据的访问特性,易造成结点利用率不均等问题。针对上述问题,本文提出了基于时间相关性的功耗敏感的数据放置方法TRBDPM。TRBDPM考虑数据密集型应用中数据访问模式的统计特性,引入时间相关性的概念,通过把无时间相关性的数据块和冗余块交叉放置,避开任务之间的相关性,从而使得在较长的一段时间内各结点的利用率保持均衡。同时,可通过挂起部分闲置结点以达到节省能耗的目的。实验结果表明,TRBDPM能够均匀地散布数据,保持存储负载均衡,在较长的时间内平衡结点利用率,部分结点有充足的时间进入低功耗模式从而被挂起,达到节省能耗的目的。

关键词：数据密集型超级计算容错存储纠删码中间数据数据放置