面向大数据应用的云网络性能可变性与仿真研究

作     者：张智博 

作者单位：电子科技大学 

学位级别：硕士

导师姓名：刘民岷

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 

主      题：多租户特性 性能可变性 内部网络机制 令牌桶模拟器 VOA算法 

摘      要：云网络研究早期,研究人员认为CPU是大数据应用性能的主要限制,但是通过研究发现,大数据应用性能可变性基本由框架低效所导致,而这一问题在之后的版本得以解决。同时,由于云计算的多租户特性,其他租户的操作会影响大数据应用程序性能的稳定性,从而导致用户的网络性能变化变得不可预测,致使其使用成本难以估计。因此,云网络性能可变性成为影响现代大数据工作负载性能的重要因素。针对上述问题,本文提出基于VOA(variability optimization algorithm)的大数据工作负载性能优化算法以降低云网络可变性的影响,提高大数据应用性能的稳定性。本文的主要研究内容如下:首先针对云网络性能可变性,提出基于云平台内部网络机制的云网络性能可变性分析方法。通过收集一个大型商业云EC2和一个较小规模私人研究云Vultr中的云网络数据,分析其变化情况及可变性水平,这里选取的分析指标均来源于云平台内部网络机制,包括网络管理机制、网络访问机制以及虚拟网络机制,最终得到影响云网络性能的可变性因素。通过分析发现,针对EC2云服务器,为了降低云网络性能可变性,首先需要在保证预算的情况下尽量选择初始令牌数量高的服务器,同时,网络密集型服务会瞬间耗尽令牌,应该选择查询类的简单服务。针对Vultr云服务器,由于不存在限流机制,可以选择网络密集型服务,同时,为了尽可能降低网络的抖动和延迟,提高网络带宽,应该尽量选择VLAN虚拟网络来完成数据的传输工作。其次针对大数据应用性能可变性,提出基于令牌桶模拟器的大数据应用性能可变性分析方法。为了消除CPU、带宽、内存以及I/O带来的影响,从而保证实验结果的准确性,设计了一个令牌桶模拟器代替EC2。分别在Vultr平台及令牌桶模拟器平台上运行测试基准Hi Bench和Big Data Bench,以展示云网络性能可变性对上层大数据应用带来的影响。通过分析发现,网络管理机制、网络访问机制以及虚拟网络机制均为影响大数据应用性能的关键因素,除此之外,大数据计算框架中排序时间复杂度和shuffle阶段的耗时也是影响大数据应用性能的关键因素。然后针对前两章分析得到的结果,提出基于VOA的大数据工作负载性能优化算法设计。针对Map Reduce的性能瓶颈,设计一种根据不同溢出文件之间数据量差异、不同键值个数以及不同溢出文件个数来动态选择排序模式的算法,将此部分算法与云网络性能优化算法相结合便得到基于VOA的大数据工作负载性能优化算法。最后,设计对比试验,将原始大数据工作负载性能与结合VOA的大数据工作负载性能进行比较,实验结果表明,经过网络层粗粒度的优化和应用层细粒度的优化之后大数据工作负载性能更加稳定,因此VOA算法可以有效降低大数据工作负载受云网络性能可变性的影响。