容器云环境下的负载预测与容器调度技术研究

作     者：曹壮 

作者单位：西安电子科技大学 

学位级别：硕士

导师姓名：李青山

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：容器云 负载预测 容器调度 容器迁移 弹性伸缩 容器整合 

摘      要：随着现代科技及电子信息技术的高速地发展及5G时代的到来,不仅引发了云计算技术的升级与云原生技术体系的产生,而且推动了软件架构的更迭。同时,基于容器技术的云服务平台也正面临容器规模日渐庞大、依赖关系愈加复杂、资源结构更加多样化的情况,从而使得人为地进行负载均衡性调整与资源优化性调度成为历史。因此,如何对容器云环境中存在的负载不均衡、资源使用不合理等问题进行高效、准确管理与调度成为了亟需展开研究的重点之一。而随着容器技术的不断发展与广泛应用,有关于此的研究更应着眼于对历史负载数据的建模以及基于此的预测算法、基于容器的迁移与弹性调度技术上,以解决当前预测算法的不准确、不及时问题以及容器调度技术的无效性问题。因此,本文在充分考虑容器云环境所具有的资源种类多样、资源状态随时变化、服务容器状态、容器依赖性、负载相关性等特征的前提下,设计并实现了面向容器云的负载预测与容器调度技术,以寻求具有针对性的解决方案。对此,本文的主要研究工作有:(1)设计了基于CNN-BiGRU-Attention模型的负载预测方法。首先分析了负载预测技术在容器云领域需要满足的需求及面临的问题,并在此基础上设计了针对容器云资源的负载模型,将静态资源状况与服务动态因素结合在一起对负载状态进行描述;然后构建了CNN-BiGRU-Attention模型,采用CNN、BiGRU分别捕捉负载时序数据中的局部特征和长序列依赖关系提取,为了提升预测效果,在模型中还引入了注意力机制来加强对数据中重要信息的关注避免因序列过长而导致信息丢失。最后对负载预测方法结果进行分析,以支持后续容器调度的有序进行。(2)为了使得容器云环境能够达到负载均衡、资源优化的状态,设计了基于负载预测的容器调度策略(CSSLPM,Container Scheduling Strategy Based On Load Prediction Model)。该策略首先会利用负载预测模型进行负载状态预测,然后在此基础上具有针对性地进行粗、细粒度相结合的容器调度,尽可能地保证容器云环境的较优状态。即:一方面在获取伸缩需求的基础上,通过基于动态权重的期望副本计算方法,获取下一个时间窗口内所需容器副本数量并在此基础上进行细粒度弹性调度。另一方面在获取迁移需求以及服务容器状态的基础上,通过建立的基于领域划分的待迁容器选择方法和基于皮尔逊相关系数的目标节点选择方法,确定待迁移容器和迁移的目标节点,实现以服务容器状态、容器依赖性、负载相关性为基础的粗粒度迁移调度;随后采用基于预合并的容器在线迁移算法,实现对待迁容器集合的在线迁移过程。(3)基于公开数据集cluster-trace-v2018、开源云计算仿真平台软件Cloud Sim以及由复旦大学彭鑫教授团队研发并开源的火车订票基准系统Train Ticket,设计了相应实验对本文设计的负载预测方法和容器调度策略进行测试与完善,并证明了本文所提方法的准确性与有效性。