在线网络流量监测系统的设计与实现

作     者：章景昆 

作者单位：重庆大学 

学位级别：硕士

导师姓名：唐朝伟

授予年度：2019年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：在线流量监测 PFRING 内存池 流量分类 机器学习 

摘      要：互联网行业经过近几十年的稳健发展,已成为世界经济社会发展的重要推动力,网络规模也越来越庞大。在线网络流量监测系统对于保证网络正常运行,及时诊断网络故障,满足不同用户服务需求都具有至关重要的作用。本文根据项目需求,研究设计一种在线网络流量监测系统,完成了对北京寺库商贸有限公司网络出入流量的实时监测,为企业网络管理者提供实时的网络应用分析数据。本文结合实际项目需求完成在线网络流量监测系统的构建,主要工作如下:(1)系统数据采集端引入基于“零拷贝思想的PFING数据包捕获机制,利用PFING的内存映射和环形缓冲区原理在数据包捕获中减少了大量的时间消耗。从而避免了传统Libpcap包捕获机制带来的性能不稳定、耗时,以及tcpdump、snort的数据无法实时交互,分析过程繁琐等问题。(2)自主设计内存池实现数据包储存,不但减少了数据包存入内存时频繁申请释放内存导致的大量CPU消耗,而且还避免了传统pcapump调用的数据实时交互性差的问题。(3)研究C4.5、多元LR、XGBOOST和RF等几类经典的机器学习算法,利用集成学习思想实现算法融合,完成Stacking融合模型的构建,结合网络数据流特征和工程实践实现特征筛选,完成融合模型在实验数据集上的结果评估及实际网络中的流量识别功能。(4)设计并完成前端数据可视化平台的搭建,包括用户实时网络流量数据查询、域名流量查询、流量识别、累计历史流量查询等功能,实现了流量的实时监测、可视化图表完成对各类数据和模型分类结果的输出,方便用户实时查阅特定的流量信息。有效地支撑企业网络管理者了解网络带宽使用情况,及时处理链路故障,合理提供流量调度策略等后续功能,保证用户获取高质量上网服务。