检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

分布式云存储的设备装架与数据部署方法

电信工程技术与标准化 2024年第1期37卷 31-35页

作者：蔡文君武振宇牛瑛霞刘鹏王凡刘畅中国移动通信集团有限公司北京100033 中国移动通信集团设计院有限公司北京100080

本文分析了分布式云存储的设备装架现状,指出目前装架的不足之处,然后根据分布式云存储的数据冗余存储特征,给出了一种分布式云存储服务器设备装架方法。该方法从设备安装上架开始就考虑冗余副本数据在机架间的均匀分布,确保分布式存储... 详细信息

本文分析了分布式云存储的设备装架现状,指出目前装架的不足之处,然后根据分布式云存储的数据冗余存储特征,给出了一种分布式云存储服务器设备装架方法。该方法从设备安装上架开始就考虑冗余副本数据在机架间的均匀分布,确保分布式存储机架级的高可用,并给出了该装架方式下的数据部署方式建议,解决了分布式云存储机架级数据的高可用问题,使得数据均匀分布,提高了数据存取效率。

关键词：分布式存储数据部署数据冗余设备装架

在线全文

学校读者我要写书评

暂无评论

数据迁移部署系统设计与优化研究

数据迁移部署系统设计与优化研究

作者：刘宇华南理工大学

学位级别：硕士

目前,计算机和信息技术的广泛普及和应用带来了海量、多样化的大规模数据的增长。对于传统数据库管理系统来说,这已经远超出其存储及查询分析处理能力。数据向分布式大数据处理平台的迁移及部署对于企业来说已成为一种必要的大数据解决... 详细信息

目前,计算机和信息技术的广泛普及和应用带来了海量、多样化的大规模数据的增长。对于传统数据库管理系统来说,这已经远超出其存储及查询分析处理能力。数据向分布式大数据处理平台的迁移及部署对于企业来说已成为一种必要的大数据解决方案。因此,本文聚焦于研究面向云端的数据迁移与软件部署,同时从数据部署的角度出发,对分布式数据查询性能优化问题展开研究。首先,本文通过设计实现一个数据迁移部署系统,满足企业用户在数据迁移任务上多样化的迁移需求,帮助用户高效便捷的完成RDBMS与分布式云平台之间的数据迁移。同时,在该系统中设计实现一种表驱动的Web数据库管理系统自动构造模式,使得用户可跨越编程开发环节,只需专注于定义系统需求即可快速高效的构造出满足需求的Web数据库管理系统,并部署于云环境中供用户使用,大大节省了软件开发编程成本。最后,基于所研究的数据迁移部署系统,本文进一步调研用户对数据集的访问行为对分布式数据系统查询性能的影响,同时对传统数据迁移部署的切分方法进行改进,提出一种访问热度负载均衡切分方法,通过该方法可改善分布式数据系统在数据查询方面的运行性能。并提出一种分布式数据部署的实证方案,实现数据部署与用户访问行为的匹配,提升分布式数据查询性能。总之,本文研发了数据迁移部署相关技术,并形成一套行之有效的技术标准;同时发现分布式数据部署方式对数据查询性能存在一定影响,且数据查询性能与用户对数据的访问热度分布有关。并且实证了本文中所提出的分布式数据部署方案的可行性。

关键词：数据迁移数据部署分布式存储用户行为

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于强化学习的低延迟大数据部署研究

基于强化学习的低延迟大数据部署研究

作者：张锐敏长沙理工大学

学位级别：硕士

大数据背景下,低延迟是大数据中心企业和公司面临的主要问题,延迟的降低不仅能提高数据中心处理性能而且提高用户服务质量,还能增强用户粘性。目前降低数据中心时延方法大多采用启发式算法或者是静态建模。然而,传统方法难以适应数据量... 详细信息

大数据背景下,低延迟是大数据中心企业和公司面临的主要问题,延迟的降低不仅能提高数据中心处理性能而且提高用户服务质量,还能增强用户粘性。目前降低数据中心时延方法大多采用启发式算法或者是静态建模。然而,传统方法难以适应数据量激增和动态的数据中心环境。本文从数据中心数据部署角度出发,考虑分布式系统中数据的部署位置影响数据的读写延迟,提出K-means和Deep Q-Learning两种算法。一是针对数据中心网络拓扑结构和数据读写规律等特点,采用K-means算法对数据中心储存节点进行聚类,再对聚类后结果进行排序,采用靠近聚类中心的节点作为数据部署的节点。二是对于动态的用户请求和不断变化网络配置,将数据部署问题建模马尔可夫决策过程,采用强化学习,并使用神经网络拟合DQL输入状态,数据读写请求与数据中心环境进行不断交互学习,以延迟作为奖励,求解最优数据部署策略。本文的主要的工作内容如下:本文通过分析数据中心网络拓扑结构特征和数据读写请求等规律。融合K-means算法,并采用算法进行了实验仿真,搭建mininet模拟数据中心网络环境。经过实验对比,K-means算法相比传统算法CommonIP（数据尽可能靠近经常访问它的IP地址）,数据读写延迟分别减少了 61.5%和53%。考虑到动态变化的数据部署场景,采用强化学习DQL算法,而对于强化学习中状态输入空间过大问题,使用DQL深度神经网络来进行拟合值函数。本文还进一步对DQL状态空间进行稀疏化,减少神经网络输入,从而提高性能。本文采用与K-means算法相同的实验环境,通过实验的仿真对比,DQL相比于CommonIP,数据读写延迟分别减少了 63.9%和82.4%。实验结果证明运用强化学习DQL算法在动态变化的数据中心网络环境下具有很强的适用性。

关键词：数据中心数据部署聚类算法强化学习深度学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Hadoop的数据部署策略研究

基于Hadoop的数据部署策略研究

作者：王一洲浙江工业大学

学位级别：硕士

近年来,随着社交网络的推广以及智能设备的普及,数据的增长速度也在不断加快。Hadoop,作为MapReduce的开源实现,在工业界和学术界的地位正变得越来越重要,大数据技术已经对社会和经济的发展产生了直接影响。在Hadoop系统中,数据部署影... 详细信息

近年来,随着社交网络的推广以及智能设备的普及,数据的增长速度也在不断加快。Hadoop,作为MapReduce的开源实现,在工业界和学术界的地位正变得越来越重要,大数据技术已经对社会和经济的发展产生了直接影响。在Hadoop系统中,数据部署影响任务的分发和执行效率,因此,数据部署策略的研究有重要的理论意义和实用价值。本文主要研究Hadoop分布式文件系统的默认数据部署策略和副本机制。针对原有数据部署策略的缺陷,利用节点的性能和数据之间的关联,提出一个两阶段数据部署算法。在此算法的基础上,利用K-means算法,调整副本的部署位置,减少算法在运行时的停顿时间。本文主要创新工作包括:1.提出一个基于PageRank的节点性能评估算法。本文采用多种Benchmark测试对节点性能进行评估,利用PageRank算法计算各个评估得分的价值,将多个评估得分归一。2.提出一个两阶段数据部署算法（TSDP,Two Stages Data Placement）。首先根据性能把数据块部署到各个节点。再根据数据之间的关联度将数据块进行分组,进行数据的第二阶段部署。实验表明,TSDP算法相对于一致性hash算法和负载均衡算法,任务执行效率明显提高。3.提出一个新的副本部署算法。本文首先定义了数据的热度,根据数据热度来调整数据的副本数。然后定义了节点的关联度,利用节点的关联度代替欧氏距离,使用K-means算法计算出聚类中心,从而减少副本的迁移距离,降低TSDP算法在运行时的停顿时间。通过实验,与未改进的TSDP算法相比,停顿时间明显减少,但任务执行效率略有降低。4.设计以及完成数据部署可视化分析平台的开发。

关键词： Hadoop系统数据部署性能评估聚类副本管理

云计算环境下基于关联量的数据部署与任务调度

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机工程与科学 2013年第8期35卷 1-7页

作者：郭力争赵曙光姜长远东华大学信息学院上海201620 河南城建学院计算机科学与工程系河南平顶山467036

科学工作流处理的问题复杂,依赖于集群或网格平台,云计算的出现为科学工作流又提供了一个可供选择的平台;云计算环境下数据密集型应用的科学工作流处理和传输的数据量巨大,减少数据中心不同集群间数据的传输次数和传输量是个挑战性的问... 详细信息

科学工作流处理的问题复杂,依赖于集群或网格平台,云计算的出现为科学工作流又提供了一个可供选择的平台;云计算环境下数据密集型应用的科学工作流处理和传输的数据量巨大,减少数据中心不同集群间数据的传输次数和传输量是个挑战性的问题。科学工作流要处理的数据间存在依赖关系,基于数据间的依赖关系最大关联量建立关联矩阵,通过键能算法对关联矩阵进行聚类,把最大相关的数据聚集到一起,然后通过K分割方法,把聚类矩阵分割为k个部分,每个部分部署到数据中心相关的集群里。仿真结果表明,本方法能有效地减少数据中心不同集群间数据的移动次数和移动量。

关键词：云计算关联量键能算法数据部署任务调度

在线全文

学校读者我要写书评

暂无评论

面向延迟及能耗优化的云计算数据部署研究

面向延迟及能耗优化的云计算数据部署研究

作者：丁洪利合肥工业大学

学位级别：硕士

随着大规模互联网应用的发展,用户越来越多的从分布在不同的地理位置的数据中心获取服务。数据中心为用户提供服务时,需要关心两个重要的问题。第一,用户在从数据中心获取服务时,希望获得较小的延迟;第二,数据中心及网络传输产生的能耗... 详细信息

随着大规模互联网应用的发展,用户越来越多的从分布在不同的地理位置的数据中心获取服务。数据中心为用户提供服务时,需要关心两个重要的问题。第一,用户在从数据中心获取服务时,希望获得较小的延迟;第二,数据中心及网络传输产生的能耗。对于前者,将用户需要的数据部署在离用户较近的数据中心是减少用户访问数据延迟的一个重要途径。对于后者,可以通过恰当的部署数据来减少数据中心和网络产生的能耗。本文的主要研究内容是如何在数据中心恰当得部署数据,以降低用户访问数据的延迟,并减少数据中心和网络传输中产生的能耗。本文建立了数据从用户到数据中心的网络传输过程所需的能耗模型。针对数据只备份在一个数据中心的情况,考虑延迟、数据中心能耗和网络传输能耗三个因素,提出GLDD算法,搜索各数据中心,以找到合适的服务器部署数据。实验证明,GLDD算法能够有效得减少数据中心能耗,并能在数据中心能耗、网络传输能耗及数据访问延迟三者之间取得良好的平衡。针对数据可备份在多个数据中心的情况,建立面向延迟及能耗优化的多数据中心数据部署问题模型。提出Merge算法将要部署的数据分组,并设计两种算法查找适合部署分组后数据的数据中心及服务器。实验结果说明本文的算法能够有效得降低以上三个因素的总代价。

关键词：云计算延迟数据中心能耗网络传输能耗数据部署

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

跨数据中心的关联云数据部署策略

华中科技大学学报（自然科学版） 2013年第S2期41卷 48-51页

作者：王艺文苏森谢琛甫双锴北京邮电大学网络与交换技术国家重点实验室北京100876

为降低跨数据中心的数据传输对计算任务执行的影响,从数据部署的角度出发,提出基于数据关联依赖关系的跨数据中心云数据部署策略.在满足数据中心存储能力约束的前提下,将依赖度高的数据尽可能部署到相同或彼此间网络带宽资源充沛的数据... 详细信息

为降低跨数据中心的数据传输对计算任务执行的影响,从数据部署的角度出发,提出基于数据关联依赖关系的跨数据中心云数据部署策略.在满足数据中心存储能力约束的前提下,将依赖度高的数据尽可能部署到相同或彼此间网络带宽资源充沛的数据中心上.实验表明:该策略可降低跨数据中心的传输时间开销,并提高数据密集型计算任务的执行效率.

关键词：关联云数据大数据跨数据中心数据部署云计算

云计算环境下基于关联量的数据部署与任务调度方法研究与实现

在线全文

学校读者我要写书评

暂无评论

西安文理学院学报（自然科学版） 2018年第1期21卷 54-57页

作者：涂春萍华东交通大学信息工程学院南昌330013

研究了在云计算环境下关联量数据的部署和调度方法,分析了云计算环境下科学工作流的特点,并由此提出数据间的数据依赖模型;结合聚类理论方法设计出相应的算法来完成数据的资源部署和任务调度;最后利用仿真实验,验证所提模型和算法的有... 详细信息

研究了在云计算环境下关联量数据的部署和调度方法,分析了云计算环境下科学工作流的特点,并由此提出数据间的数据依赖模型;结合聚类理论方法设计出相应的算法来完成数据的资源部署和任务调度;最后利用仿真实验,验证所提模型和算法的有效性和合理性.

关键词：云计算关联量数据部署任务调度

基于Alluxio的数据高可用部署策略的研究与优化

在线全文

学校读者我要写书评

暂无评论

基于Alluxio的数据高可用部署策略的研究与优化

作者：徐新钧哈尔滨工业大学

学位级别：硕士

随着存储着海量数据的分布式文件系统的进一步发展,为了满足各种企业、学术机构等组织对数据存取速度的需求,诞生了内存分布式文件系统这一概念。以开源的Alluxio为代表的内存分布式文件系统的逐渐发展,被人们运用到了日常生活中的方方... 详细信息

随着存储着海量数据的分布式文件系统的进一步发展,为了满足各种企业、学术机构等组织对数据存取速度的需求,诞生了内存分布式文件系统这一概念。以开源的Alluxio为代表的内存分布式文件系统的逐渐发展,被人们运用到了日常生活中的方方面面,但这也暴露出了不少问题。本文以海量数据系统的可用性为研究目标,对比分析其他系统上的确保数据可靠性的机制,结合Alluxio自身特性,就数据部署策略方面提出改进的措施,以此来提高Alluxio自身的可用性,并且确保对上层计算框架更好的支持。Alluxio系统作为大数据生态系统的中间层,链接着上层计算框架与底层存储系统。当其正支持着上层计算框架对数据的读取时,若底层存储系统或者与之的通信网络发生故障,Alluxio中的数据的可靠性将不能从底层存储中获得保障,便会使系统不可用。同时考虑到远端调用在维护数据一致性的巨大消耗,建立或完善Alluxio内部对数据可用性的保障机制是十分必要的。所有的冗余措施都会占用Alluxio本就不多的内存存储,本文对此提出了一种改进思想。其主要分为两点,其一是将数据按热度进行划分,对热点数据以Alluxio层次化存储的方式固定到内存来提高内存空间的利用率进而提高系统整体的执行效率;其二是以数据块为粒度,通过设定合适的副本个数结合Alluxio并行化的读取措施进一步提高热点数据的读取效率,降低冷门数据占用的存储空间,也通过冗余措施确保了系统的可用性。这样当Alluxio在面对底层存储失联,自身节点故障等问题是仍能维持对上层计算框架的服务并坚持到故障被修复。基于上述的优化思想,在对Alluxio的源码进行解读后,本文在外部建立了一套按数据块预测读取频率来分类的计算模块与进行副本个数管理的动态调整模块;在内部改写了其自带的数据分配策略,添加了数据分层持久化的内容,同时对异常进行了监控,并以此实现了故障处理模块。最后,本文以一种模仿实际数据访问分布的读取算法对完成的热点数据分层部署策略和数据块副本动态调整策略进行测试,在与其他策略对比分析后,成功验证了本文策略的在提高系统响应效率、降低系统负载的有效性;在故障模拟后,通过分析任务的执行情况,也成功验证了本文策略对系统可用性提高上的有效性。

关键词： Alluxio 数据部署热点数据动态副本数据可用性