网络测量中的抽样技术研究

作     者：孟金凤 

作者单位：曲阜师范大学 

学位级别：硕士

导师姓名：高仲合

授予年度：2014年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：流量测量 抽样 自适应 资源可控 动态计数型布鲁姆过滤器 两层自适应超时策略 

摘      要：随着新一代互联网的建设和发展，网络行为变得十分复杂，针对网络的异常攻击也变得更加严重，这些现状在很大程度上威胁着网络的管理和安全。网络测量是对网络性能进行分析和建模的基础，在网络管理中扮演着越来越重要的角色。然而，由于高速网络中数据量较大，获取每个报文信息或者流信息进行存储和测量已变的不可能，且流量存在很大的突变性，给系统资源带来过多的消耗，抽样技术的引入成功的解决了该性能瓶颈问题，成为网络流量工程研究的重点之一。 本文首先介绍了网络测量与流量分析技术，阐述高速网络测量中遇到的困难，指出抽样技术在网络测量中的重要作用。接着对抽样技术的详细内容进行概述，讨论了几种常用的抽样方法，系统全面地分析了与抽样测量相关的关键技术和重要算法，如Bloom filter算法和超时策略等。最后，通过研究目前网络特性，本文将抽样技术与Bloom filter算法和动态的超时策略相结合，提出了新的抽样测量算法应用于流量测量中，其中，Bloom filter实现简单，能快速进行资源查找和匹配;超时策略作为判断流输出的标志之一，对流特性的测量精度和流cache的利用率有很大的影响。经性能分析和实验仿真证明，本论文提出的算法能够在提高测量准确性的同时，提高系统的资源利用率。具体研究内容如下： （1）本文对Bloom filter算法和改进的CBF算法进行了深入研究，针对目前CBF算法在流量过大时会造成计数器溢出的缺陷，设计了一种动态计数型布鲁姆过滤器（DCBF）算法。该算法使用了多层CBF，可在流量较大时自适应增加新的CBF，防止CBF溢出造成测量误差。将DCBF与基于报文的流抽样算法相结合，可以在减少测量个数的同时提高测量精度。通过实验仿真对该算法与基于CBF和FCBF的抽样算法进行了测量误差方面的比较，分析可知，本文提出的算法提高了抽样的准确性，降低了空间利用率。 （2）随着网络规模的不断扩张，网络流量的特征变得异常复杂且难以预测，静态的抽样方法已不能满足高速网络测量的要求。本文提出了一种自适应流抽样算法，该算法利用时间对报文进行分层，在层内使用固定的最大数量的抽样，这样可以在网络流量较小时保持测量准确性，而在流量剧增时保证资源的可控性。然后，针对固定超时策略在网络测量应用中存在的缺陷，采用了两层自适应超时（TSAT）策略来控制流的输出。TSAT策略采用了两层流空间，为系统中广泛存在的单包流维护独立的流空间，并对其使用较小超时。通过对该算法与基于NetFlow的抽样算法进行仿真比较，验证了算法具有自适应性、较高的准确性和资源可控性。