基于网络安全数据流的数据立方体技术的研究与实现

作     者：韩矞 

作者单位：国防科学技术大学 

学位级别：硕士

导师姓名：贾焰

授予年度：2009年

学科分类：0839[工学-网络空间安全] 08[工学] 

主      题：网络安全 数据流立方体 数据立方体 

摘      要：随着网络技术的飞速发展和社会的不断进步,互联网已成为国家关键的基础设施,事关国家和人民的根本利益。由于网络设备的不断普及,互联网用户急剧增加,网络已成为人们生活不可或缺的重要部分。然而,随着网络的飞速发展,网络的安全性也在不断地遭到威胁。木马、病毒、黑客攻击等越来越多的安全事件不断出现,导致网络大面积瘫痪、重要信息系统的安全受到威胁,严重影响了人民的生产生活。因此迫切需要对国家公共互联网的安全态势进行实时准确的感知、监控和分析。如何从海量数据中提取影响网络安全的重要信息,以供决策者制定相应的策略和应对措施,已经成为一项亟待解决的重要课题。 国家为了对骨干互联网进行有效的安全监控,必须对网络安全事件数据进行高效、可靠的管理,并对其实施多模式、多维度的查询,计算出安全指标体系指数,从而对网络安全状况进行有效的分析和预测。然而,安全事件数据流具有海量性、实时性、多变性和多维度等特点,而且对于数据的查询必须满足实时性和准确性等要求,这无疑给传统的数据管理技术带来了挑战。 为解决这个问题,本文在传统的联机分析处理(OLAP)以及数据立方体基础上提出了一种基于数据流的混合数据立方体构建方法,并给出了相应的查询和增量更新算法。通过实际数据的检验,该方法可以有效实现对于网络安全数据流数据的管理,极大缩短了查询响应的时间,提高了查询结果的精度。 本文的主要工作概述如下: 1.分析了网络安全监控的任务和需求,并给出了网络安全监控的一般流程。分析了联机分析处理、数据流处理技术的研究现状,列出了数据流不同于传统数据结构的特点,分析了网络安全数据流处理的特殊要求。 2.根据网络安全监控数据的特点,提出了网络安全数据立方体的模型,分析了数据立方体计算的各种方法和优化技术,总结了对于网络安全数据立方体的各种操作。 3.在网络安全数据立方体的基础上提出了网络安全数据流立方体模型及其构建的关键技术,同时给出了其增量更新算法。另外根据实际应用背景,提出了一种混合数据立方体模型,并给出了其相应的查询和增量更新算法。通过实验,验证了混合数据立方体模型的有效性。 4.研究开发了YH-SOC的联机分析处理模块YH-OLAP系统,实现了对海量网络安全监测数据的多维多层次、近实时的综合分析。