基于Hadoop的运维日志采集分析平台的设计与实现

作     者：肖东方 

作者单位：山东大学 

学位级别：硕士

导师姓名：王晓琳

授予年度：2016年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

主      题：日志采集 关联分析 Hadoop Spark Kafka 

摘      要：随着云计算和大数据技术的发展,政府和企业搭建了越来越多的数据中心来运行各种各样的业务系统。业务系统规模迅速增加,节点数达到几万台甚至更多,运维日志规模随之急剧增加,缺乏有效的分析框架。一直以来日志分析都是反映应用系统的运行状况和用户行为的重要途径,尤其是目前互联网技术的发展,针对日志的分析处理增加了很多的创新方向。但是各业务系统硬件由多厂家提供,软件由多家厂商开发,日志格式及日志形式多种多样,缺乏统一的接入机制。报警日志大量重复,同一故障引发系统间日志重复出现,缺乏有效的日志聚类方法。而且对系统产生的运维日志数据缺乏关联分析和深度利用,运维的智能化程度低。论文工作的主要内容是,研究多源异构日志加载技术,支持多种格式、各种形态日志数据的分布式统一加载,解决包括关系型数据库数据、文本文件数据、采集脚本生成数据和用户自定义业务生成数据等多源异构数据的接入问题。研究分布式计算框架和存储技术,为上层运维分析业务提供基础分布式计算和存储能力,提供标准化接口,支持运维分析业务的持续构建。提供统一的数据存储和数据管理接口,对运维日志进行离线聚类和在线实时分类处理的能力。研究运维日志关联分析技术,对日志、系统指标进行关联分析和融合,挖掘关联规则,构建关联规则知识库。对系统运行状态和故障进行提前预测,及时发现系统故障。论文取得的主要成果是基于Hadoop搭建完成了一个分布式日志采集分析平台,该平台提供了支持运维大数据分析的基础支撑框架,支持在线和离线的分布式数据处理能力,同时提供了统一的数据访问和存储接口;设计并实现了数据加载子系统,该系统针对多源异构运维日志的采集问题,提供了行之有效的不同的数据采集方案;设计并实现了运维日志关联分析子系统,提供了特征提取、聚类、在线分类和关联分析等日志的离线和在线数据分析能力。