基于日志采集技术的安全事件系统的设计与实现

作     者：冯超 

作者单位：西安电子科技大学 

学位级别：硕士

导师姓名：鲍亮;张龙

授予年度：2019年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 0839[工学-网络空间安全] 08[工学] 

主      题：安全事件系统 日志采集 关联分析 资产管理 安全事件告警 

摘      要：互联网时代社会经济快速发展,同时作为承载互联网及其应用的运营商数据中心规模也在不断拓展。高速发展的不只是信息化建设,网络中的数据规模、数据的孤岛响应、网络中设备的种类和数量、网络潜在的安全风险等同样也发生了翻天覆地的变化。数据中心的运维人员所维护的网络越来越大,网络中的网元节点越来越多;各种设备产生的海量日志信息给运维人员及其单位造成了很大的负担;同时安全设备各自为战、大量重复、无效的信息挤压着运维人员宝贵的时间。市场急需一款产品可以将目标网络中各种设备的日志信息进行集中的收集和整合,并且对采集到的日志进行集中范式化处理和入库存储,并通过关联分析技术对存储的数据日志进行数据挖掘,分析得出潜在的安全风险并向安全运维人员进行事件告警从而减轻运维人员的工作压力提高工作效率。本文在分析市场需求的基础上,设计并实现安全事件系统;通过功能架构设计明确系统边界和范围,安全事件系统的关键组件及核心功能包括日志采集模块、资产管理模块、关联分析模块等构成。同时经过调研国内外成熟产品及开源项目的现状,发现同类型产品将日志采集的广度和日志关联分析的深度作为产品的核心竞争力,所以本文将二者作为关键技术进行突破,在理论研究和开源项目的部署实践上,对日志采集模块和关联分析模块进行设计和实现,其中日志采集模块负责将不同位置、类型的日志信息进行采集、汇总、范式化、过滤,范式化后的日志作为可提供给关联分析的标准格式,同时借助关联分析模块算法的支撑设计关联分析计算模型,形成基于资产的统一威胁和风险管理。在日志采集模块中,提出两种采集方式来满足不同设备的采集需求,即无代理和有代理的方式,无代理即设备通过syslog等方式直接将日志发送给日志采集模块,有代理方式即在需要采集的设备上安装采集代理,采集代理与日志采集模块进行通信解决日志的采集传输问题。在关联分析模块中,将范式化后统一格式的日志数据提交给关联引擎进行计算,通过几种成熟的算法解决数据分析和挖掘的问题,满足客户风险的实时可视,发现真正隐藏在数据后的风险及时对客户进行安全预警,最后结合资产管理模块匹配资产属性对资产进行针对性的安全事件告警。综上所述,安全事件系统是建立在满足市场需求吸纳国内外产品的成熟经验基础上,结合软件工程领域理论进行的实践产物。安全事件系统简化运维人员日常设备日志监控、检索等工作操作流程,提升了运维工作效率,切实的保证数据中心的安全稳定的运行,支撑互联网时代的快速发展。