基于数据挖掘的入侵检测关键技术研究

作     者：欧阳潇琴 

作者单位：杭州电子科技大学 

学位级别：硕士

导师姓名：王秋华

授予年度：2019年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 0839[工学-网络空间安全] 08[工学] 

主      题：入侵检测 数据挖掘 聚类算法 数据简约 Adaboost 选择性集成 

摘      要：随着互联网的迅猛发展以及网络服务在日常生活中的渗透,网络安全问题也不断出现,在不同程度上影响了社会安定和经济发展。作为网络安全保障体系结构的重要组成部分,入侵检测可以从网络系统中的若干关键点收集信息,并分析网络中是否存在入侵行为及迹象。数据挖掘作为一个从大规模数据中提取特定规律和预测模型的过程,已经被广泛地应用于入侵检测系统(IDS:Intrusion Detection System)中。本文从研究背景与意义出发,阐述了入侵检测的重要性,并综述了国内外入侵检测领域的研究现状,着重探讨了基于数据挖掘技术的入侵检测方案。本文的主要工作归纳如下:(1)针对多数基于数据挖掘的入侵检测方案在处理大数据集时面临的低效问题,提出了一种基于数据聚类和数据简约的入侵检测方案。首先,通过Mini Batch K-Means聚类算法将训练数据划分为若干个大小相似的类,同时以每个类的类中心作为该类索引;其次,使用一种基于距离和密度的方法为每个类选择适量代表样本,不仅减小了原始数据集的大小,而且最大限度地保留了原始数据包含的信息;然后,使用由代表样本组成的类来构建KNN(K-Nearest Neighbor)检测模型,先根据测试样本与各类索引之间的距离对类进行排序,获得k个最近的类,并从中找到测试样本的k个近邻样本,从而决定测试样本所属类别。本文最后使用KDDCUP99数据集对所提方案进行了性能仿真与验证,实验结果表明,基于数据聚类和数据简约的入侵检测方案不仅有较高的检测准确率,而且显著提高了检测速度。(2)针对传统Adaboost算法中样本权值更新缺陷所造成的分类准确率降低,以及冗余弱分类器造成的分类速度慢、计算开销大等问题,提出了一种基于改进权值更新和选择性集成的Adaboost算法。首先,在弱分类器训练阶段,提出一种改进权值更新方式的Adaboost算法,算法根据各个样本在前t次训练中的平均正确率来更新样本权值,使所有样本的权值更新更均衡,在一定程度上抑制了噪声样本的权值无限扩大;其次,在弱分类器组合阶段,提出一种新的弱分类器间相似度度量方式,并基于该相似度度量方式和层次聚类算法进行选择性集成,剔除了冗余的弱分类器,提高了分类速度,减少了计算开销。本文最后使用KDDCUP99、waveform和image-segmentation三个数据集对所提方案进行了性能仿真与验证,实验结果表明,改进权值更新方式和选择性集成的Adaboost算法应用于入侵检测系统中,不仅提高了分类准确率和检测速度,而且降低了计算开销。