基于Elasticsearch的实时集群日志采集和分析系统实现
A Real-Time Cluster Log-Collection and Analysis System Based on Elasticsearch作者机构:中国科学院高能物理研究所 北京大学信息科学技术学院
出 版 物:《数据与计算发展前沿》 (Frontiers of Data & Computing)
年 卷 期:2016年第7卷第3期
页 面:13-18页
学科分类:0810[工学-信息与通信工程] 08[工学] 080401[工学-精密仪器及机械] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 0835[工学-软件工程] 081002[工学-信号与信息处理]
主 题:日志采集 flume elasticsearch 日志报警
摘 要:传统日志工具采集时间长、处理效率低下,无法支持大规模集群日志采集和分析需求。我们从实际需求出发,结合Flume和Elasticsearch设计实现了集群日志的实时采集和快速查询分析系统。通过预设日志规则库,实时统计并展示集群系统的运行状态,提供预警信息。