LDA模型下的APT通信日志特征研究

作     者：韩群 

作者单位：哈尔滨理工大学 

学位级别：硕士

导师姓名：孙名松

授予年度：2016年

学科分类：0839[工学-网络空间安全] 08[工学] 

主      题：日志数据处理 DBSCAN聚类算法 APT特征描述 LDA模型 

摘      要：随着信息交互的速度越来越快,社会信息化程度不断的提升,传统的网络安全技术已经无法满足这个时代的需求。尤其对于APT攻击检测技术,至今也没有一个完善的检测方法。如何才能使网络能够更好地抵御攻击,保证信息安全,是网络安全专家们最为关注的问题。高级持续性威胁APT(Advanced Persist Threat)是现在黑客攻击的一种新型手段,大多应用在大型组织、重要能源部门或者政府机构。因此,这种行为给网络信息安全带来了特别大危害。现有的国防科研手段落后,目前的研究大多集中于使用一个特定的漏洞和防范,对现有的防御系统缺乏更全面的研究存在不足之处,而现有的APT防御手段也存在很多问题。课题以网络信息安全、网络攻击、网络攻击的防御策略的技术理论作为指导,深入分析APT通信的特点,找寻其通信规律,进而发现通过利用大规模数据的优势可以构造一个全面的、高效的检测模型,从而弥补传统方法和模型在面对APT攻击异常检测上的不足。同时,将大数据与APT攻击检测联系起来也是一次新的尝试,为以后的研究提供了新的思路。本文采用的APT攻击检测方法通过互联网、行业内的最新进展等相关途径获得的最新APT通信信息的文献和资料,分析出APT通信日志的出十四种异常特征。在小型局域网实验室中,通过收集网络端与主机端的通信日志文件,利用DBSCAN聚类算法将收集的日志文件进行压缩处理。对网络地址与主机对应上提出建立IP地址数据库解决了日志与主机映射的难点。在对日志与异常检测结合上,引进LDA文本挖掘模型构建新的APT通信异常检测分类算法。该模型是三层贝叶斯模型,在对文档语义分析上有非常好的效果。最后,针对APT通信日志进行一周的实验,把实验获得的结果和信息整理成文章,再将得出的全新的预防APT攻击的理论和技术放到真实的网络中,通过不断地实验、记录和观察完善现有的理论;并且,使本文的理论能够很好地应用到实际生活和工作中。