检索结果-南通市图书馆

一个基于深度学习的预测式云集群资源弹性伸缩方法

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

小型微型计算机系统 2024年

作者：张文波任翊鸣张洋洋朱宏博沈阳理工大学信息科学与工程学院

随着算力网络中计算资源与虚拟化设备的广泛应用，在算力网络虚拟化中，针对云集群弹性伸缩策略基于阈值的响应式触发过程中存在的弹性滞后问题，提出一种基于Transformer的预测式云集群资源弹性伸缩方法（Predictive Cloud Cluster Res... 详细信息

随着算力网络中计算资源与虚拟化设备的广泛应用，在算力网络虚拟化中，针对云集群弹性伸缩策略基于阈值的响应式触发过程中存在的弹性滞后问题，提出一种基于Transformer的预测式云集群资源弹性伸缩方法（Predictive Cloud Cluster Resource Elastic Scaling Method Based on Transformer，Cloudformer）。该方法利用序列分解模块将云集群数据分解为趋势项和季节项，趋势项采用双系数网络分别对输入空间预测的均值和方差进行归一化和反归一化，季节项采用融合傅里叶变换的频域自注意力模型进行预测，并在模型训练过程中使用指数移动平均模型动态调整训练损失的误差范围。实验结果表明，对比最先进的五种预测式弹性伸缩算法，本文所提出的方法在保持较低的模型训练和推理时间下，不同预测窗口单变量与多变量预测均方误差分别降低了10.07%和10.01%。

关键词：算力网络云集群弹性伸缩 Transformer Cloudformer

基于kubernetes的动态弹性伸缩与负载均衡调度策略研究

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于kubernetes的动态弹性伸缩与负载均衡调度策略研究

作者：熊海龙重庆理工大学

学位级别：硕士

近年来,随着云计算技术的蓬勃发展,Docker容器化技术极大地简化了开发、测试和部署流程,提高了应用的交付速度,已经成为云原生的核心技术之一。作为一个开源的容器编排平台Kubernetes,对Docker容器进行集中管理和自动化部署,大幅提高了... 详细信息

近年来,随着云计算技术的蓬勃发展,Docker容器化技术极大地简化了开发、测试和部署流程,提高了应用的交付速度,已经成为云原生的核心技术之一。作为一个开源的容器编排平台Kubernetes,对Docker容器进行集中管理和自动化部署,大幅提高了云环境下应用的可靠性和可用性,两者结合的部署工作已经成为云计算企业交付的事实标准。然而,Kubernetes的默认调度器和弹性伸缩机制还存在很多不足。首先,kubernetes的默认调度资源指标较少,只有CPU和内存,无法全面考虑资源分配以及不同负载资源轻重占比问题。其次,默认调度算法简单,不能实现多类型负载的负载均衡调度,大大影响了系统的负载均衡性。最后,Kubernetes的弹性伸缩模块为设定的响应式负载均衡,存在一定的滞后性,对系统的稳定性影响较大。为进一步提高Kubernetes集群的资源利用效率以及增加集群的稳定性,本文对Kubernetes的默认调度器进行优化,主要工作如下:(1)针对弹性伸缩模块考虑指标少,并且为给定阈值的响应式方案,本文构建了基于Prometheus的集群监控平台,全面监控并收集集群资源数据。将CPU、内存、网络、磁盘IO加入评价指标。并全面设计了基于Informer的时序预测模型与HPA弹性伸缩模块组合的动态弹性伸缩策略,搭建了监控模块与预测模块,从监控模块获取集群时序数据,将数据输入Informer模型进行预测,综合考虑预测结果和当前资源负载实现预测式Pod的扩容与缩容,优化集群的弹性伸缩功能。(2)针对Kubernetes调度指标少,调度策略简单,无法全面考虑节点资源和集群稳定性。本文将CPU、内存、网络、磁盘、GPU资源加入评价指标。根据集群负载类型的不同,将Pod分为计算密集型、网络密集型、磁盘IO密集型和GPU型,基于默认的预选、优选、绑定的调度机制下,改进预选策略,将GPU硬件资源设计进预选算法。优化优选策略,针对单类型Pod,设计专注于关键指标的负载均衡优选策略。针对多类型Pod,构建层次分析模型,得到各种类型的Pod的权重参数,再用权重计算得分,选择合适的调度节点。该策略可以有效提升集群的负载均衡性。实验表明,本文对默认调度器的改进提高了系统的负载均衡能力,基于Informer的动态弹性伸缩策略有效的解决了Kubernetes集群原本的弹性伸缩滞后性问题,让集群更稳定、高效的运行。

关键词： kubernetes 预测模型弹性伸缩资源调度

基于计划驱动的图像数据处理系统云计算弹性伸缩设计

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机与网络 2024年第03期50卷 194-199页

作者：陈雪华王刚孙赫郑美北京市遥感信息研究所

图像数据处理系统资源构建在专有云上，针对系统任务负载非周期变化、任务计划强关联等特点，利用图像数据处理计划可预测业务负载的优点，设计了基于计划的任务量预测自定义指标，提出了基于计划驱动的弹性伸缩策略和系统设计。通过实... 详细信息

图像数据处理系统资源构建在专有云上，针对系统任务负载非周期变化、任务计划强关联等特点，利用图像数据处理计划可预测业务负载的优点，设计了基于计划的任务量预测自定义指标，提出了基于计划驱动的弹性伸缩策略和系统设计。通过实验环境测试，实现了计算资源根据业务负载动态调整，进一步提高了资源利用率。同时增加了基于CPU负载的伸缩保底策略，提高了系统可靠性。

关键词：云计算图像数据处理弹性伸缩负载动态调整

来源：博看期刊

Kubernetes容器云的弹性伸缩方法研究

在线全文

学校读者我要写书评

暂无评论

电子科技 2024年

作者：李佳颖杨泽民宋哲代朱金荣扬州大学物理科学与技术学院

Kubernetes容器云是当前流行的云计算技术，其默认的弹性伸缩方法HPA(Horizontal Pod Autoscaler)能对云原生应用进行横向扩缩容。但该方法存在以下问题：基于单一负载指标，使其难以适用于多样化云原生应用。基于当前负载进行弹性伸缩... 详细信息

Kubernetes容器云是当前流行的云计算技术，其默认的弹性伸缩方法HPA(Horizontal Pod Autoscaler)能对云原生应用进行横向扩缩容。但该方法存在以下问题：基于单一负载指标，使其难以适用于多样化云原生应用。基于当前负载进行弹性伸缩，使扩缩容过程具有明显的滞后性。基于滑动时间窗口算法进行弹性缩容，使缩容过程缓慢易造成系统资源浪费。针对上述问题，文中提出一种改进的弹性伸缩方法。设计一种动态加权融合算法将多种负载指标融合为综合负载因子，全面反映云原生应用的综合负载。提出CEEMDAN(Complete Ensemble Empirical Mode Decomposition with Adaptive Noise)-ARIMA(Autoregressive Integrated Moving Average Model)预测模型，基于该模型的预测负载值实现预先弹性伸缩以应对突发流量。提出快速缩容与滑动时间窗口相结合的方法，在确保应用服务质量的基础上减少系统资源浪费。实验结果表明，相较于HPA机制，改进的弹性伸缩方法在应对首次突发流量时的平均响应时间缩短了336.55%，流量结束后系统资源占用减少了50%，再次遇到突发流量时能迅速扩容，平均响应时间仍能缩短66.83%。

关键词：云计算容器云 Kubernetes HPA 弹性伸缩时间序列滑动窗口加权融合负载预测

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

云平台的负载预测及弹性伸缩方案研究

铁路计算机应用 2024年第2期33卷 63-66页

作者：刘佳王冰王琛刘振博中铁信弘远(北京)软件科技有限责任公司北京100844 中国铁路信息科技集团有限公司北京100844

为提高云平台的性能和资源利用率,文章提出一种基于ARMA-CNN-SVR的负载预测组合模型,通过融合多种预测模型的优点,提高预测云平台资源使用情况的准确率。基于该负载预测组合模型,进一步优化了弹性伸缩策略,有效解决资源调整的滞后性问题... 详细信息

为提高云平台的性能和资源利用率,文章提出一种基于ARMA-CNN-SVR的负载预测组合模型,通过融合多种预测模型的优点,提高预测云平台资源使用情况的准确率。基于该负载预测组合模型,进一步优化了弹性伸缩策略,有效解决资源调整的滞后性问题,增强了云平台的主动性和智能性,显著提升了资源利用率和服务质量。

关键词：云平台负载预测弹性伸缩组合模型资源利用率

维普期刊数据库

一种基于LSTM的Kubernetes容器云弹性伸缩策略研究

在线全文

学校读者我要写书评

暂无评论

制造业自动化 2023年第9期45卷 189-196页

作者：石硕魏振辉刘晓菲林喜军中国海洋大学信息科学与工程学部青岛266100

网络协同化制造成为数控机床企业和行业供应链上下游企业的资源配置的数字化核心,能解决制造过程中业务交互造成的生产组织协调困难、生产周期长、生产成本高等问题。而网络协同化发展离不开业务“上云”,Kubernetes因其优化资源使用效... 详细信息

网络协同化制造成为数控机床企业和行业供应链上下游企业的资源配置的数字化核心,能解决制造过程中业务交互造成的生产组织协调困难、生产周期长、生产成本高等问题。而网络协同化发展离不开业务“上云”,Kubernetes因其优化资源使用效率、功能可扩展等优点成为当前主流的容器云编排与管理系统。但Kubernetes集群在弹性伸缩方面只考虑了集群的整体情况,未考虑单个应用负载过高或过低的情况,不能保证应用的服务质量。针对这一问题,对Kubernetes集群的弹性伸缩机制进行深入的分析与研究,提出了一种基于综合负载的预测式弹性伸缩策略,该策略定义了综合负载来衡量应用的实际资源使用情况,并利用LSTM双层网络模型预测未来一段时间内的综合负载,将其作为弹性伸缩的判断依据。在此基础上,提出了阈值容忍度算法,确定应用的最佳数量,该算法综合考虑了每个应用的负载情况,有效解决了响应延迟以及高并发情况下响应率过低的问题,对提升集群资源利用率和保证集群中容器的运行质量有着重要意义。

关键词：协同制造容器编排弹性伸缩动态伸缩综合负载

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

一种基于强化学习的云应用弹性伸缩算法

计算机应用与软件 2022年第9期39卷 285-290页

作者：帅斌龙士工贵州大学计算机科学与技术学院贵州贵阳550025 贵州省公共大数据重点实验室贵州贵阳550025

针对以基础设施服务(IaaS)为主的云服务提供商,对部署在其上的Web应用以虚拟机为弹性粒度进行了弹性策略研究,提出一种基于强化学习的弹性伸缩算法PDS-lambda。该算法综合考虑用户服务违约,应用的当前负载及虚拟机数量,利用决策后状态(P... 详细信息

针对以基础设施服务(IaaS)为主的云服务提供商,对部署在其上的Web应用以虚拟机为弹性粒度进行了弹性策略研究,提出一种基于强化学习的弹性伸缩算法PDS-lambda。该算法综合考虑用户服务违约,应用的当前负载及虚拟机数量,利用决策后状态(PDS)把算法需要学习的信息划分为动态已知与动态未知,使算法只学习动态未知的那一部分并且采用多步更新来快速达到收敛。算法对Web应用进行弹性扩张与弹性收缩操作来调整其拥有的虚拟机数量,使其在满足用户服务质量同时尽可能降低运行成本,提高云平台可靠性。仿真实验结果表明,该算法同已有的强化学习相关算法相比能更快达到收敛,且平均成本更低,用户服务违约更少。

关键词：弹性伸缩强化学习云计算负载预测 Web应用

维普期刊数据库

基于负载预测和强化学习的容器弹性伸缩策略研究

在线全文

学校读者我要写书评

暂无评论

基于负载预测和强化学习的容器弹性伸缩策略研究

作者：胡陈慧杭州电子科技大学

学位级别：硕士

弹性伸缩是容器云平台的重要特性,旨在提高应用程序应对负载动态变化的能力。由于传统的响应式伸缩策略存在着弹性滞后以及配置复杂问题,更智能的主动式弹性伸缩吸引了众多学者的关注。主动式弹性伸缩策略通过主动预测未来的资源需求,... 详细信息

弹性伸缩是容器云平台的重要特性,旨在提高应用程序应对负载动态变化的能力。由于传统的响应式伸缩策略存在着弹性滞后以及配置复杂问题,更智能的主动式弹性伸缩吸引了众多学者的关注。主动式弹性伸缩策略通过主动预测未来的资源需求,对可能出现的情况做出预先布置,能够有效避免违反服务水平协议(Service Level Agreement,SLA),提高资源利用率。然而,精确预测未来负载并做出合理的弹性伸缩动作,是主动式弹性伸缩任务中的难点问题。针对这一问题,本文首先开展了负载预测模型研究,在此基础上,提出了一种基于负载预测和强化学习的容器混合弹性伸缩策略。主要研究内容及创新点如下:(1)针对云负载序列时序变化模式多样导致的难以准确预测的问题,提出了基于多尺度空洞卷积和LSTM的负载预测模型。该模型利用平行和堆叠的空洞卷积残差网络构成多尺度特征提取块,从连续和非连续的输入时间步中提取时序特征,从而同时学习负载短期波动、持续性变化和周期性信息,再由LSTM从提取的特征中进一步学习长期时序依赖。在多个云负载数据集上进行了负载预测实验,得到的结果表明,本文提出的模型的预测精度优于对比模型。(2)针对云环境下弹性伸缩的复杂性导致的难以做出合理弹性伸缩动作的问题,提出了基于负载预测和强化学习的混合弹性伸缩策略。该策略的主动式伸缩模块充分利用应用程序的当前负载状态和预测信息,由强化学习智能体做出对未来更合理的主动伸缩决策。同时,为了应对极端流量峰值场景,设计了结合SLA的响应式伸缩模块,能够根据实时服务质量进行及时响应和调整。最后,为了协调以上两种伸缩策略并结合两者的优点,设计了混合伸缩控制器,以兼顾主动伸缩决策和在极端峰值流量下的有效伸缩。(3)为了验证所提出的弹性伸缩策略的有效性,在Kubernetes平台上实现了弹性伸缩系统。该系统的监控模块采用基于Prometheus的方案实现,能够全面采集伸缩指标数据并持久化存储;强化学习模块基于Open AI Gym工具实现,能够便利地抽象Kubernetes环境并搭建强化学习模型;伸缩控制模块基于自定义控制器实现,能够有效扩展伸缩策略控制逻辑。为了模拟不同的负载场景,选取了两种具有不同特点的请求负载进行弹性伸缩对比实验。实验结果表明,相比于现有的方法,本文提出的伸缩策略能更有效地减少SLA违规,提高资源利用率。

关键词：云计算弹性伸缩负载预测深度强化学习 Kubernetes

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于动态阈值的容器云弹性伸缩策略

基于动态阈值的容器云弹性伸缩策略

作者：伊成彬哈尔滨师范大学

学位级别：硕士

云计算是一种将一个个服务器连结在一起构成按需分配、便捷访问的共享资源池,使其即可以获得较低的成本又可以具有超级计算机的性能,为大数据、人工智能、物联网等领域的发展提供了基础支撑。在传统的云计算三层服务模式中,Iaa S层的资... 详细信息

云计算是一种将一个个服务器连结在一起构成按需分配、便捷访问的共享资源池,使其即可以获得较低的成本又可以具有超级计算机的性能,为大数据、人工智能、物联网等领域的发展提供了基础支撑。在传统的云计算三层服务模式中,Iaa S层的资源调度单元是虚拟机,因此存在调度速度慢、软件堆栈环境不相同、资源利用率低等问题,而传统Paa S平台由于其是基于Iaa S层,故在程序环境和程序架构上也因此受到了虚拟机自身缺陷的很大限制,因此云计算迫切需要一个全新的、高效便捷的虚拟化技术来很好解决上述问题。近年来,伴随着Docker容器技术的飞速发展,基于容器的虚拟化技术已经成为了各个云计算厂商的首选。其中,如何对容器云集群的资源进行合理且有效的分配是提高用户服务水平的关键也是云计算研究的重点。目前在面临突发的大流量时,容器云领域存在着无法快速的根据容器云的负载进行扩容,以及在容器云的负载下降时尽可能的延迟缩容,此类问题在很大程度上会提高用户的SLA违约率,降低容器云的服务质量。容器的扩缩容问题也即弹性伸缩是容器云的关键部分,它可以根据容器云的负载情况及时扩缩容从而实现负载均衡保证了基于容器的微服务能够在不同的负载情况下稳定运行。容器云的弹性伸缩又可以分为水平弹性伸缩和垂直弹性伸缩两种,其中水平弹性伸缩是通过增加或者减少容器云中容器的数量来达到扩缩容的目的,而垂直弹性伸缩是通过提高单个容器的性能来实现扩缩容。但在容器云中进行扩缩容存在一定的响应延迟,在流量快速变化的情况下,可能会因为扩缩容反应不及时造成大量云任务的SLA违约,降低容器云的服务质量。因此可以有针对性的通过监测容器云的负载变化,提出新的容器云弹性伸缩策略,将有助于降低用户的SLA违约率并提高容器云的服务质量。针对这一问题,本文通过将基于阈值的响应式弹性伸缩策略和基于预测式的弹性伸缩策略结合在一起,提出了两种容器云的扩缩容优化算法。(1)针对目前主流的容器云编排工具Kubernetes的水平伸缩算法(Horizontal Pod Autoscaler,HPA)在面对突发大流量时无法及时的扩缩容,造成用户的SLA违约率上升和容器云的服务质量降低的问题。本文提出了一种基于动态阈值的容器云水平弹性伸缩策略(Dynamic Threshold-Horizontal Pod Autoscaler,DT-HPA)。根据容器的负载变化率使用二次移动平均法对未来时刻集群的资源需求进行预测,并将动态阈值与静态阈值之间的阈值差称之为容错区,通过容错区来减小预误差。与此同时在预测间隔期间为防止出现突发流量造成集群负载过高进而导致SLA违约率上升,因此在预测间隔期间基于动态阈值对容器进行扩缩容。经过模拟实验表明,Kubernetes的水平弹性伸缩策略与DT-HPA算法对比,本文提出的DT-HPA算法能够实现快速扩容和延迟缩容并有效的降低了SLA违约率。(2)Kubernetes中的垂直弹性伸缩算法(Vertical Pod Autoscaler,VPA)采用的是固定的扩缩容机制来进行弹性伸缩,这种机制在如今越来越复杂用户请求的环境下已经不能满足容器的垂直扩缩容的需求。本文提出了一种基于动态阈值的容器云垂直弹性伸缩策略(Dynamic Threshold-Vertical Pod Autoscaler,DT-VPA)。在容器负载快速变化时对容器的历史负载进行统计并结合当前服务器的可用资源使用二次移动平均法对集群未来时刻的资源需求进行预测并通过动态阈值来减小预测误差。经过模拟实验表明,Kubernetes的水平弹性伸缩策略与DT-VPA算法对比,本文提出的DT-VPA算法能够实现快速扩容和延迟缩容并有效的降低了SLA违约率。

关键词：云计算 Kubernetes 弹性伸缩容器