暗网威胁情报分析与研究

作     者：杨丽娜 

作者单位：齐鲁工业大学 

学位级别：硕士

导师姓名：杨英;王继志

授予年度：2020年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 0839[工学-网络空间安全] 08[工学] 081104[工学-模式识别与智能系统] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：暗网 Tor 暗网威胁情报探测 域名收集 Page Rank 

摘      要：随着互联网技术的深入发展,暗网和深网因其匿名性和数据内容的高价值性而受到了越来越多的关注。然而,暗网的非法滥用严重危害了个人信息安全和国家网络安全。因此,对暗网威胁情报进行研究是一项迫在眉睫的工作,具有一定的科研价值和应用价值。当前,对于暗网的研究存在着域名地址难收集、数据类型复杂等问题。此外,尽管研究者在相关问题的理论以及算法上都取得了较好的研究成果,但是对于完整系统实现的解决方案较少。针对上述问题,本文提出了一种暗网威胁情报探测框架。该框架主要包括域名地址收集模块、暗网数据爬取模块和暗网威胁情报分析模块。其中,通过设计域名地址收集器、设计关键字搜索算法、设计爬虫框架以及改进Page Rank算法等方法对暗网威胁情报探测进行了实现。具体研究内容主要包括以下几个方面:首先,对于暗网域名地址难以收集的问题,在域名地址收集模块具体开展了两方面研究:参照onionrunner的设计思想,利用Python基于onionscan设计实现了对域名地址的核心探测功能;针对搜索关键字数量受限,导致无法全面收集地址的问题,提出了改进的关键字搜索算法。该算法的设计不仅考虑到了前16个字节对地址收集的影响,还通过统计分析,找到后缀域名的规律,对后缀域名进行设计。其次,对于暗网数据分析模块,通过对常用的机器学习算法进行对比,确定分类模型,对暗网数据进行分类,分析了违法活动的主要成分与特点;同时,为了有针对性地提高暗网中主页探测分析的优先级,结合暗网特性,本文改进了Page Rank算法,给出Page Rank值的新计算公式。最后,通过实验对该探测框架的有效性进行了验证。对于地址收集,设计的域名地址自动收集器比传统的onionrunner收集地址速度更快,设计的关键字搜索算法也在原有26个的基础上又多发现了5个;同时,发现对于相同数据,改进后的Page Rank算法找到暗网主页的数量更多。实验证明了该框架的有效性与实用性,可以实现对暗网空间的有效探测,分析违法活动的主要成分。