网络渗透测试数据集抓取与查询平台设计与实现

作     者：仇冰雪 

作者单位：电子科技大学 

学位级别：硕士

导师姓名：李毅超

授予年度：2012年

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：网络渗透测试 网络安全 信息抓取 

摘      要：网络渗透测试人员在渗透测试开始之前需要对目标进行侦察，目的是为了获取目标网络的IP地址、目标运行的操作系统以及应用程序列表。目前侦察工作主要借助相对单一的工具进行，渗透测试人员通过对不同类型的信息进行对比分析，建立联系，绘制目标网络拓扑结构图，最终制定渗透策略。然而，渗透测试是一个迂回迭代的过程，特别是在目标难以攻克的时候，在实际的渗透中需要的信息量往往是巨大的，获取大量的信息并对其进行分析与筛选，给渗透测试人员带来了不小的挑战。 针对一点，本文对目标信息的获取进行了研究，旨在为测试人员提供一个目标信息的查询平台。主要工作为： 1.研究网络渗透测试目标信息的获取技术。渗透测试中的目标信息可以通过一些其他数据间接获取，为此本文定义了网络渗透测试数据集的概念，结合实际需求对目标信息内容进行分析，限定了网络渗透测试数据集的内容集合;结合现状及功能需求，本文采用关键字提取的方式对数据集进行分析处理，在方便测试人员进行查询的同时提高了目标信息获取的准确性;数据集的抓取是进行分析与查询的前提，为此本文研究数据集的抓取技术，在分析服务器对数据集抓取可能采取的限制手段的基础上，引入了基于持续连接的代理隧轮换技术以及基于伪随机序列的User-Agent伪装技术，从而保证数据集的持续高效的抓取。 2.平台的设计与实现。在研究了相关关键技术的基础上，本文详细描述了平台的抓取引擎（Crawler-man）以及查询子系统（Eagle-eye）的设计与实现并对其进行了测试。 本文通过对网络渗透测试数据集进行定义、分析以及相关技术的研究与实现，为渗透测试人员提供了一个目标信息的查询平台。实验结果表明，通过该平台测试人员可以便捷的获取目标信息，从而更好对目标进行分析。