基于ELK的日志分析系统研究及应用

作     者：姚攀 马玉鹏 徐春香 YAO Pan 1,2,3 ,MA Yu-peng 1,2 ,XU Chun-xiang 1,2

作者机构：中国科学院新疆理化技术研究所新疆乌鲁木齐830011 新疆民族语音语言信息处理实验室新疆乌鲁木齐830011 中国科学院大学北京100049 

出 版 物：《计算机工程与设计》 (Computer Engineering and Design)

年 卷 期：2018年第39卷第7期

页      面：2090-2095页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：中国科学院青年创新促进会基金项目(Y22S591201) 新疆维吾尔自治区引进高层次人才计划基金项目(Y539011201) 

主　　题：大数据 物联网 系统监控 日志分析平台 ELK Elasticsearch 

摘      要：为解决现阶段物联网应用日志处理效率低下的问题,研究一种基于ELK技术栈的开源日志解决方案。探讨各组件的工作原理和使用方法,提出解析日志的规则和技巧,总结优化Elasticsearch集群性能的方法,在此基础之上搭建能够对海量日志进行实时采集和检索的分析监控系统。实验结果表明,该方案具有配置方式灵活、集群可线性扩展、日志实时导入、检索性能高效、可视化方便等优点,能有效提高运维效率和异常排查速度。