CarbonData在网络安全日志分析场景下的性能评估
Evaluation of the Performance of CarbonData in the Network Security Log Analysis Scenario作者机构:南京铁道职业技术学院智能工程学院江苏南京
出 版 物:《科学技术创新》 (Scientific and Technological Innovation)
年 卷 期:2024年第5期
页 面:99-105页
学科分类:08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术(可授工学、理学学位)]
主 题:CarbonData Spark SQL 性能评估 安全日志分析
摘 要:本文针对企业网络安全日志分析场景,采用实际网络安全日志数据,设计建表和测试方法,使用大数据引擎Spark SQL和Presto对索引行列混合式数据格式CarbonData进行了性能评估。通过测试得出,基于Spark SQL+CarbonData方案的数据查询和统计效率较高,能满足多种数据处理和分析要求,适用于网络安全日志分析应用。本文为企业网络安全日志分析方案的技术选型和设计提供参考。