基于Hadoop的网络流量的存储和检索机制的研究与实现

作     者：牛亚伟 

作者单位：北京邮电大学 

学位级别：硕士

导师姓名：马严

授予年度：2016年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：网络流量 数据采集 Hadoop 存储管理 

摘      要：网络流量数据在网络管理、网络安全、用户的网络行为分析等方面具有十分重要的作用。然而,随着互联网的发展,科学技术的进步,网络流量数据不论是在数量还是在种类亦或是在速度上都发生了巨大变化,为网络流量数据的存储与管理提出了巨大挑战。研究网络流量数据的存储管理技术对网络管理、网络安全等技术的发展具有十分重要的现实意义。本文以解决网络流量数据的分布式存储管理为目的,以Hadoop作为基础平台,深入研究骨干链路的网络流量采集和在Hadoop中网络流量数据的存储管理机制,最终设计并实现基于Hadoop的网络流量数据存储管理系统。首先,本文在明确课题研究的背景、意义、现状的基础上,详细介绍了课题研究所需要的一些关键技术,包括DPI、Hadoop、HBase等。其次,根据课题研究的目的和网络流量数据的使用场景,对基于Hadoop的网络流量数据存储管理系统进行功能和性能需求分析。再次,依据前期所做的技术调研和系统需求分析,给出了系统的整体框架,随后对网络流量采集模块、数据存储模块、数据检索模块、系统与用户交互模块的详细设计和实现过程进行了介绍。最后,对系统进行了功能和性能两方面的测试,并对网络流量数据的存储管理效果进行了展示,证明了系统能够达到预期效果,达到了课题研究目标。