大数据系统异常检测与资源预估算法研究

作     者：高宇 

作者单位：哈尔滨工业大学 

学位级别：硕士

导师姓名：高宏

授予年度：2020年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

主      题：大数据系统 数据流 异常检测 资源预估 极值理论 

摘      要：随着技术的革新和数据生产方式的逐渐转变,大数据系统面临着诸多新的挑战,这意味着大数据系统运行状态会更加多变,运维工作也更加艰巨。高效地检测系统异常,是预防和治理的基石,合理地分配调度系统资源,是处理异常的首要和常用手段。在实际应用场景中,仅依靠人工维护系统的正常运行不仅成本极高而且效率低下,因此智能运维是大数据系统相关技术发展的必经之路。本文从大数据系统面临的数据流场景出发,围绕异常检测与资源预估技术展开了相关研究,并分别在当前研究的基础上设计了相应的算法。基于数据流的异常检测算法的研究重点是能够在较短时间、使用较小内存的情况下,发现数据中的离群值,从而及时向用户反馈大数据系统的潜在风险。资源预估技术要求在掌握系统一段时间的运行数据后,能够对系统接下来需要的资源阈值做出较为准确地估计,从而支持资源管理者从全局做出合理的系统资源分配,达到系统计算能力与数据吞吐率的最大化。本文首先设计了一种面向数据流的异常检测算法,在检测前将数据划分集合,不在仅仅逐点判断是否为异常点,而是通过集合的性质对部分数据集体判断,大大提升算法效率。除此以外,将数据相较于以往研究中对于异常单一的定义,本文在全局异常定义的基础上,创新性地提出了辅助异常标准的概念,全局异常由使用者根据实际场景设置异常参数,而辅助异常标准能够根据数据特点,在运行中自适应的调整异常标准,使得算法在不增加额外计算开销的同时,实现了计算加速。经实验发现,本文提出的算法相较同研究的其他算法,最好情况下将CPU占用时间降低了60%。本文的第二部分的主要研究内容为资源预估,资源预估是资源调度和分配中更细粒度的工作,准确的预估结果可以使资源分配变成一个可计算问题,支持资源管理者更好地决策。本文将大数据系统中的任务分为周期型任务和突发型任务,发现了当前对突发型任务资源预估的技术痛点。因此本文重点研究了如何对运行特点和数据分布不确定的突发型任务进行资源预估,并将极值理论应用于系统资源预估当中,最后提出了完整的资源预估框架。经过与传统的解决方法对比,本文提出的算法能够将资源利用率至少提升7.6个百分点。