基于流特征的HTTP隧道检测技术研究

作     者：张海连 

作者单位：华中科技大学 

学位级别：硕士

导师姓名：肖凌

授予年度：2020年

学科分类：0839[工学-网络空间安全] 08[工学] 

主      题：HTTP隧道 机器学习 Spark 流特征 检测 

摘      要：互联网已经渗入人们生产生活的方方面面,给人们带来极大便利的同时,网络空间安全却也正面临着巨大挑战。其中,HTTP隧道技术简单高效,目前已成为穿越防火墙的有力工具,极大损害了国家和个人利益。HTTP隧道威胁大,隐蔽性强,现有检测技术存在很多问题,因此,对于HTTP隧道检测技术的研究已经刻不容缓。本文为解决HTTP隧道检测难题,结合Spark计算框架、特征工程和机器学习算法等实现了一种基于流特征的HTTP隐蔽隧道检测系统。该HTTP隧道检测系统有离线模块和实时检测模块两部分。离线模块主要由数据收集、数据处理、特征工程、机器学习、结果显示五部分构成。数据收集模块主要是使用多种隧道工具进行发包,捕获HTTP隧道数据流。数据处理模块是利用pcap解析工具进行数据包的解析和分流处理。特征工程模块是根据专家特征工程进行流特征的构建和计算。机器学习模块是利用了决策树、SVM、逻辑回归、GBDT四种算法进行数据的训练和测试。结果显示是将离线检测结果根据用户需求的格式写入csv文件中;实时检测模块是建立在离线模块的基础之上,通过离线模块四种分类算法的指标评析出最优模型,然后将实时抓取的网络数据流经数据处理、特征工程模块生成特征向量,再用Spark Streaming进行实时流处理,把调用最优分类模型预测的结果写入数据库,Web用户最后能够通过访问网址观察到网络数据流中是否掺杂HTTP隧道数据。目前,已经对该HTTP隧道检测系统进行了功能测试和性能测试,测试结果表明,该检测模型在精确率、运行速度、稳定性方面较以前的HTTP隧道检测模型都有一定程度的改善。