基于大数据的智能辅助运维系统的设计与实现

作     者：李书达 

作者单位：青岛大学 

学位级别：硕士

导师姓名：刘遵仁

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

主      题：ELK Stack 运维系统 日志分析 内容推荐算法 入侵检测 

摘      要：随着互联网产业快速发展,分布式集群作为企业应对大数据量高并发场景的主流解决方案,它保证机器在宕机时仍有其余机器可对外提供访问,但庞大集群的管理成为了另一个难题。集群常常因为网络波动、硬件异常、人为破坏等因素出现严重安全隐患。目前企业通过对硬件的监控和对日志的收集来实现集群的管理维护,但此方式较为被动且监控不全面,导致运维质量有限,因此一套能够辅助企业进行多方面管理的智能运维系统对企业来说具有重要意义。本文首先对原有日志系统进行改进,以改进后的日志模块为基础嵌入智能应急处置模块和入侵检测模块来实现对集群多方面辅助运维。本文对运维系统的研究与设计如下:(1)对现有日志系统进行改进。目前企业常用的ELK日志系统不足以支撑实现集群的多方面辅助运维,本文首先对该系统内的数据分析层进行改进。(2)为加快紧急情况下处置速度,以改进后的日志模块为基础设计了一套智能应急处置模块。在改进后日志模块内部,首先通过TF-IDF词频算法提取日志关键词,根据提取的关键词去企业维护的历史报警日志记录库中通过相似度算法寻找相似记录。之后根据内容推荐算法思想,将相似历史记录关联的历史处置方法推送给工作人员,实现应急处置的智能化。(3)为防止内部员工非法操作集群或利用资源挖矿,本文依然以改进后日志模块为基础,设计了一套入侵检测模块。在改进后日志模块内部,通过提取用户操作集群时的行为特征,将当前行为特征与历史行为特征比较进行风险值计算,采用风险累加策略对风险值累加,当账户累计风险达到阈值时入侵检测模块将立即熔断该账户并邮件报警,以此监测员工有无非法操作行为。