一种改进的ELK日志采集与分析系统
An Improved ELK Log Collection and Analysis System作者机构：广东金融学院互联网金融与信息工程学院
出 版 物：《软件导刊》 (Software Guide)
年 卷 期：2019年第18卷第8期
页 面：105-110页
学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）]
基 金：广东省自然科学基金项目(2017A030313391) 广东省科技厅国际合作项目(2017A050501042)
摘 要：ELK架构是解决日志分布式采集与分析问题中具有代表性的解决方案。但原生ELK架构存在Logstash对CPU资源占用较大、无法动态更新日志相关配置和日志数据传输过程中数据易丢失等问题。为满足现实中大型分布式服务的日志采集与分析需求,对原生ELK架构作如下改进:在收集过程中增加限速器以减少CPU占用率;增加分布式注册中心实现相关配置动态更新;增加消息队列使得消息传输过程更健全。实验结果表明,改进后的ELK日志采集及分析系统与原生ELK相比,CPU占用率减少了近60%,日志速度提高了3倍,且消息丢失率为零。
维普期刊数据库
同方期刊数据库