基于ELK与Spark的可扩展征信日志挖掘系统研究

作     者：陆奎 李存正 沈强 LU Kui;LI Cun-zheng;SHEN Qiang

作者机构：安徽理工大学计算机科学与工程学院安徽淮南232001 金陵科技学院网络与通信工程学院江苏南京211169 南京务本信息科技有限责任公司江苏南京210014 

出 版 物：《金陵科技学院学报》 (Journal of Jinling Institute of Technology)

年 卷 期：2020年第36卷第3期

页      面：1-6页

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61772033) 

主　　题：ELK Spark 日志挖掘 征信日志 Kafka 

摘      要：ELK架构是目前主流的日志大数据分析解决方案之一,ELK拥有比Spark更高的实时性,集成和部署比Spark简单方便,而且几乎可以在任何系统中进行集成。但是它的其通用性导致了它只能适用于一些简单的场景,无法像Spark一样精确针对每个应用系统进行复杂业务分析扩展。为了降低日志收集和清洗的开发成本同时兼顾分析的高实时性和可扩展性,结合ELK Stack与Spark,同时引入Kafka消息队列,构建了一套可扩展、高实时性且具有良好稳定性的征信日志挖掘系统。该系统比全栈Hadoop技术的大数据系统的开发工作量减少60%以上,且具有可根据企业需求灵活进行自定义分析组件的优点。