小样本情形下恶意TLS流量细粒度检测研究

作     者：魏千峰 

作者单位：南京邮电大学 

学位级别：硕士

导师姓名：何高峰

授予年度：2023年

学科分类：08[工学] 0839[工学-网络空间安全] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

主      题：恶意TLS流量检测 小样本检测 深度学习 迁移学习 

摘      要：为躲避防火墙、入侵检测系统的安全监管,TLS(Transport Layer Security)加密网络通信已成为远程入侵攻击的主要通信方式。如何识别恶意TLS流量已成为当前网络安全防护领域重要研究内容。现有研究工作主要以大量恶意TLS流量样本为基础,通过机器学习算法训练出合适的识别模型。但实际用于网络监管时,现有方法仍面临众多挑战:(1)为便于网络管理员及时制定、更新安全防御策略,检测方法应能识别出网络中存在的具体恶意软件,而不仅仅是给出“是恶意流量等粗略判断;(2)若以恶意软件个体为考察对象,大多数情况下仅能捕获其产生的极少量加密TLS流量样本,难以满足现有方法的大样本训练数据要求。为此,本文开展小样本情形下恶意TLS流量细粒度检测研究。具体研究内容如下:首先,为准确理解恶意TLS流量特点,论文研究了恶意TLS流量数据集构建和特征分析方法。论文针对公开数据集***和Stratosphere,利用Virustotal进行自动标注,以排除正常TLS流量减少数据干扰。针对获得的恶意TLS流量,研究分析其报文长度、报文方向和报文时间间隔分布等特征。从数据集中选择不同恶意软件家族产生的TLS样本并开展特征分布区间分析,分析结果显示选择的特征可以被用于区分不同种类恶意TLS流量。为进一步确认区分效果,研究将TLS流量特征转化为RGB图片以便于直观观察。恶意TLS流量的特征选择与分析为后续章节研究奠定了基础。其次,针对恶意软件的加密命令与控制(C&C)连接,论文研究单样本恶意TLS流量细粒度分类方法。恶意软件远程入侵主机后,需首先同其C&C服务器建立TLS网络连接以获取进一步攻击指令,如内网横向渗透等。因此,部分恶意软件仅产生单条TLS流量。论文为实现单样本恶意TLS流量细粒度分类,以大量正常网站产生的HTTPS作为训练样本,设计并训练TLS流量特征提取器。基于TLS流量特征提取器,训练前馈神经网络以自动生成支持向量机(Support Vertical Machine,SVM)权重参数。利用恶意TLS流量样本初始化多个SVM,并利用投票策略对输入的未知样本做分类。实验结果表明论文提出分类方法的准确率为76%,显著高于基准方法的46.5%和50%。最后,论文针对恶意软件在C&C连接后执行进一步攻击,如代码下载、数据窃取等,进而产生多条恶意TLS流量此场景展开研究。具体的,论文提出小样本恶意TLS流量细粒度分类方法。利用小样本数据微调Image Net预训练模型以作为最终分类器。基于第四章节设计的TLS流量特征提取器,首先利用XGBoost模型实现未知流量的粗粒度分类。接着,对判定为恶意TLS流量的样本特征进行填充,并输入最终分类器进行细粒度分类。论文对方法性能开展了理论分析和实验验证。实验结果表明,随着样本数量的增加,模型的分类准确率随之提升,与理论分析结论一致。