系统日志故障预测中的ELK与LSTM应用与实践
Application and Practice of ELK and LSTM in System Log Fault Prediction作者机构:北京市首都公路发展集团有限公司北京100161 北京云星宇交通科技股份有限公司北京100078
出 版 物:《计算机系统应用》 (Computer Systems & Applications)
年 卷 期:2020年第29卷第7期
页 面:264-267页
学科分类:12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 081201[工学-计算机系统结构] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术(可授工学、理学学位)]
主 题:ELK LSTM 故障预测 深度学习 TensorFlow
摘 要:随着业务系统规模不断扩大,系统结构也变得十分复杂,常规基于规则的方法已经很难判断多个系统相互作用下的复合型故障,也难以对潜在故障进行预测.本文在多业务系统的复杂场景下,使用ELK平台对日志进行集中化管理,梳理出复杂系统环境下日志与各业务系统、主机、进程之间的关系,筛选出系统中直接与故障相关的日志文件,进而在深度学习框架TensorFlow中使用这些海量数据对LSTM算法模型进行训练,从而实现对系统的实时故障预测.