检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于CBF-SS策略的大流识别算法

中国科学院大学学报（中英文） 2015年第3期32卷 391-397页

作者：赵小欢李明辉中国人民解放军95034部队空军后勤部

在分析大流识别算法中的散列方法和计数方法的优缺点的基础上,针对网络流的重尾分布特性,提出一种能够有效结合散列方法和计数方法优点的大流识别算法CBF-SS(counting Bloom filter&space saving).该算法首先采用改进的计数型布鲁姆过滤... 详细信息

在分析大流识别算法中的散列方法和计数方法的优缺点的基础上,针对网络流的重尾分布特性,提出一种能够有效结合散列方法和计数方法优点的大流识别算法CBF-SS(counting Bloom filter&space saving).该算法首先采用改进的计数型布鲁姆过滤器(counting Bloom filter,CBF)过滤掉大部分的小流,然后通过SS(space saving)计数算法识别出网络中的大流.理论分析和实验结果表明,CBF-SS算法具有较低的时间复杂度和空间复杂度,在大流识别效果上远优于SS等算法.

关键词：网络流大流计数型布鲁姆过滤器 space saving算法

在线全文

学校读者我要写书评

暂无评论

基于CBF的分布式元组空间叉积算法

计算机工程 2010年第1期36卷 271-273,276页

作者：周粳迪程东年刘勤让张震解放军信息工程大学国家数字交换系统工程技术研究中心郑州450002

针对分布式报文分类算法内存消耗大、可扩展性差的问题,提出分布式元组空间叉积算法。该算法采用独立域搜索引擎与树状多级聚合网络的分类结构,在聚合节点使用计数型布鲁姆过滤器(CBF)加速搜索,利用剪枝技术降低CBF内存消耗。仿真结果表... 详细信息

针对分布式报文分类算法内存消耗大、可扩展性差的问题,提出分布式元组空间叉积算法。该算法采用独立域搜索引擎与树状多级聚合网络的分类结构,在聚合节点使用计数型布鲁姆过滤器(CBF)加速搜索,利用剪枝技术降低CBF内存消耗。仿真结果表明,对于5×104条规模的9域规则库,聚合网络总内存消耗被控制在60Kb内,该算法的查找速度达到100Mp/s,且具有良好的可扩展性。

关键词：分布式可扩展性元组空间计数型布鲁姆过滤器

在线全文

学校读者我要写书评

暂无评论

基于LRU和扩展CBF的网络大流检测

计算机工程与应用 2015年第13期51卷 66-71页

作者：王春龙刘渊郑哲渊江南大学数字媒体学院江苏无锡214122

高速网络流量检测中的大流检测已成为当前一种重要的、高效准确的可扩展流量测量机制,针对CBF(Count Bloom Filter)容易溢出的问题,将扩展的CBF应用于流量测量,防止过滤器溢出,并且结合LRU链表存储机制,共同应用于网络大流检测之中。经... 详细信息

高速网络流量检测中的大流检测已成为当前一种重要的、高效准确的可扩展流量测量机制,针对CBF(Count Bloom Filter)容易溢出的问题,将扩展的CBF应用于流量测量,防止过滤器溢出,并且结合LRU链表存储机制,共同应用于网络大流检测之中。经理论分析,所研究的流量测量算法LRU_MCBF(Least Recently Used_Multiple Count Bloom Filter)占用空间小,时间复杂度低;通过仿真实验验证了LRU_MCBF在大流测量中漏报率和错报率较低,能实现高速网络环境下大流对象的准确提取。

关键词：计数型布鲁姆过滤器流量测量大流最近最少使用(LRU)

一种基于FEFS与CBF的网络大流识别算法

在线全文

学校读者我要写书评

暂无评论

计算机工程 2015年第9期41卷 68-73页

作者：刘晓陆刘渊王春龙江南大学数字媒体学院江苏无锡214122

在网络大流识别中,突发的大量小流会影响大流识别准确度。为此,结合基于频率和大小的流提取(FEFS)算法与基于计数型布鲁姆过滤器(CBF)算法,提出一种新的大流识别算法,即FEFS-CBF算法。该算法采用三级存储结构,运用CBF结构存储小流,将达... 详细信息

在网络大流识别中,突发的大量小流会影响大流识别准确度。为此,结合基于频率和大小的流提取(FEFS)算法与基于计数型布鲁姆过滤器(CBF)算法,提出一种新的大流识别算法,即FEFS-CBF算法。该算法采用三级存储结构,运用CBF结构存储小流,将达到过滤阈值的流移至筛选区(LRU)中,当LRU满载时,使用FEFS机制选择一个符合条件的流淘汰,并及时隔离大流。仿真结果表明,该算法的误报率和漏报率均较低,存储开销较小,可以运用于高速网络链路的大流识别中。

关键词：大流识别算法频率和大小的流提取计数型布鲁姆过滤器高速网络

在线全文

学校读者我要写书评

暂无评论

IP骨干链路流量测量技术研究

IP骨干链路流量测量技术研究

作者：张果解放军信息工程大学

学位级别：硕士

网络测量是对网络行为进行特征化、对各项指标进行量化并充分理解与正确认识互联网的最基本的手段。在骨干链路中，数据处理面临的最大问题是高速带宽带来的处理压力和由此产生的庞大的数据集。因此，为了处理庞大的数据集，抽样是一种... 详细信息

网络测量是对网络行为进行特征化、对各项指标进行量化并充分理解与正确认识互联网的最基本的手段。在骨干链路中，数据处理面临的最大问题是高速带宽带来的处理压力和由此产生的庞大的数据集。因此，为了处理庞大的数据集，抽样是一种重要的数据缩减方式。通过将抽样技术应用于网络数据，然后由抽样所得的数据生成支持常规查询和统计的概要信息，是对高速网络流量有效测量的一个很好的解决方案。论文结合国家863计划重大专项“新一代高可信网络”的研究，从高速网络环境下流量测量的可操作性、可扩展性的应用需求出发，针对现有高速骨干链路中流量测量技术存在的问题，对骨干链路中高速网络数据的抽样技术和基于计数型布鲁姆过滤器的概要表示方法进行了研究，并设计了骨干链路流量测量系统架构，为骨干链路流量测量构建了一种有效的解决方案。本文主要工作如下：夺针对NetFlow静态抽样概率在网络流量变化时不够灵活的缺陷，提出了一种基于包速率自适应的报文抽样算法。通过测量包速率，采用预设测量误差的方法，根据包速率的变化自适应调整抽样概率，从而达到在有限资源情况下控制测量误差的目的。基于实际互联网数据进行了仿真试验，结果显示：与传统的Netflowr算法相比，该方法易于实现，测量误差可控，具有高效性，不失准确性，并有效节约处理资源。夺针对计数型布鲁姆过滤器存储数据时受计数器溢出的限制，提出了一种基于分层计数型布鲁姆过滤器(Hierarchy counl，。mg Bloom Filter HcBF)的概要数据结构及算法。该算法给出了一个严格的计数溢出门限，基于该门限将计数型布鲁姆过滤器fcountmg Bloom Filter，cBFl结构扩展到多层，并能自适应的配置各层计数型布鲁姆过滤器参数，将测量误差控制在预定范围内。仿真结果表明，与cBF相比，在同样溢出概率条件下，该结构节省了大量的内存资源。夺针对骨干链路中流量测量面临的可扩展性挑战，设计了骨干链路网络流量实时管理系统的实现方案。该方案设计了骨干网实时流量管理前端抽样和后端统计的系统实现方法，并对系统的性能进行了仿真，结果表明，该系统能够有效的识别网络中的大流量对象。

关键词：网络测量自适应抽样计数型布鲁姆过滤器概要数据结构网络流量管理

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

网络大流测量技术研究

网络大流测量技术研究

作者：王春龙江南大学

学位级别：硕士

网络流量测量是研究网络行为的一种有效途径，是对互联网进行管理和控制的基础，在高速网络不断发展的今天，流量测量面临着海量数据存储的问题，这就对测量系统的存储容量和存储速率提出了极大的挑战，而基于数据流的测量通过将数据包... 详细信息

网络流量测量是研究网络行为的一种有效途径，是对互联网进行管理和控制的基础，在高速网络不断发展的今天，流量测量面临着海量数据存储的问题，这就对测量系统的存储容量和存储速率提出了极大的挑战，而基于数据流的测量通过将数据包按照某种分类原则归并为流，大大节省了存储空间，为流量测量开辟了一个全新的途径。研究表明[6]，网络中流的总数虽大，但是流表现出非常强烈的重尾分布特征，即9%的数据流占据了大约90%的字节流量，因此，了解大流就能很好地掌握网络通信的大致信息，近年来，随着网络规模的不断增加，网速的空前提高，对大流的研究也显得日趋重要，大流测量逐渐成为网络测量的热点，研究高效准确地大流测量算法在当下具有非常重要的意义。本文分对大流检测相关算法进行了研究，针对哈希技术、抽样技术等关键技术，对已有算法进行了改进，融合出一种新的大流检测算法。具体来说，本文做的研究工作包括： (1)将流量测量分为大流检测和大流存储两个模块。在大流检测模块，对传统的Counting Bloom Filter(计数型布鲁姆过滤器)进行了改进，改进后的Counting BloomFilter采用了多层结构，相较于传统的Counting Bloom Filter节省了大量存储空间，并能有效解决CBF存在的溢出问题;在大流存储模块，使用定长的LRU结构，LRU结构用双向链表来实现，查找效率高，能有效地对检测出的大流进行存储。经理论分析，本文研究的大流测量算法LRU-MCBF占用空间小，时间复杂度低，并通过仿真实验验证了LRUCBF在大流测量中漏报率和错报率较低，能实现高速网络环境下大流对象的准确提取。 (2)将抽样算法融合到LRU-MCBF算法中。在高速网络的大流检测中，主机对数据包的处理速率的要求是无上限的，实现更高的处理速率是网络大流检测中不断追求的目标，而基于抽样算法的大流检测就是一种很好的处理方式，抽样算法易于实现，并且能在保证一定检测准确性的前提下，大大提高主机处理数据包的速率，是一种“低成本，高成效”的测量方式。本文也对抽样算法同非抽样算法进行了比对，通过实验证明了其准确高效的特点，在大流测量中发挥了非常重要的作用。

关键词：计数型布鲁姆过滤器流量测量大流 LRU 抽样

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

高速IP网络流量测量技术研究

高速IP网络流量测量技术研究

作者：王宜青解放军信息工程大学

学位级别：硕士

网络流量测量是获取网络行为特征的基本方法，是流量工程、流量计费、安全检测以及其他网络应用的前提。互联网技术发展迅速，随着网络规模不断扩大和用户数量日益增长，与日俱增的网络带宽和瞬息万变的网络拓扑结构给流量测量带来了挑... 详细信息

网络流量测量是获取网络行为特征的基本方法，是流量工程、流量计费、安全检测以及其他网络应用的前提。互联网技术发展迅速，随着网络规模不断扩大和用户数量日益增长，与日俱增的网络带宽和瞬息万变的网络拓扑结构给流量测量带来了挑战，需要更加高效的流量测量方法来掌握网络运行状况，为优化网络、提高网络性能服务。论文结合国家863计划重大专项的研究，分析和总结了高速网络流量测量的体系结构以及相关的流量测量技术。针对现有流量测量技术存在的问题，重点对高速网络数据抽样、流信息概要化存储以及相应工程实现技术进行了研究。主要研究工作如下：针对均匀随机抽样导致小流估计准确性低的问题，提出了一种基于动态计数型布鲁姆过滤器（Dynamic Count Filter, DCF）的网络数据流公平抽样算法。算法采用了预设测量误差的计数型布鲁姆过滤器流统计、基于流的分层抽样、极短流抽样保护等方法，解决了网络数据不同流之间的抽样公平性问题。通过实际网络数据进行了实验仿真，结果显示：该方法易于实现，测量误差可控，具有空间高效性和较低的错误率。针对现有大流检测方法受存储和计算资源的限制，结合网络数据流符合重尾分布的特点，提出了基于双层计数型布鲁姆过滤器DLCBF(Double Layer Counting Bloom Filter,DLCBF)的大流检测算法。DLCBF主要由“动静结合”的双层计数型布鲁姆过滤器构成，采用大小流分开统计流量的方法，通过预设流量门限来检测大流，同时完成了大小流的概要化存储。通过实际网络数据进行了实验仿真，结果显示：该方法易于实现，具备空间高效性，较计数型布鲁姆过滤器节省了存储开销。针对高速网络流量测量实时性和准确性的需求，设计了一套流量测量系统。重点分析了抽样模块和概要存储模块具体实现方法，对系统进行了实验仿真，结果表明该系统在保证不同流公平性的同时能够高效识别大流。

关键词：流量测量计数型布鲁姆过滤器流统计公平抽样大流检测网络流管理

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于存储证据的云端数据完整性验证机制研究

基于存储证据的云端数据完整性验证机制研究

作者：董庆运河北大学

学位级别：硕士

随着云时代的快速到来,云计算得到了迅猛的发展。云计算不仅仅是简单的将应用软件和数据库放到中心化的大规模数据中心,而是具有更大的灵活性,允许任意端点参与云服务交互,这点在云存储服务中得到了体现。云存储也为海量数据存储提供了... 详细信息

随着云时代的快速到来,云计算得到了迅猛的发展。云计算不仅仅是简单的将应用软件和数据库放到中心化的大规模数据中心,而是具有更大的灵活性,允许任意端点参与云服务交互,这点在云存储服务中得到了体现。云存储也为海量数据存储提供了一种全新的服务模式。由于数据交给第三方的外包服务商提供的云服务器来管理,用户最终失去了对数据的控制权。所以,云存储面临了许多安全问题,其中云端数据完整性的验证就是其中之一。传统的完整性验证方法需要将所有数据下载到本机才行,这种方法对于数据量极为庞大的云存储来说是不适用的。目前数据完整性验证中存在的主要问题有数据分块,计算开销,有限次验证,公开验证等。本文针对数据分块和计算开销问题,分析三方验证模型和CBF算法,并对CBF算法进行了改进,主要工作如下:(1)针对云存储中因为数据更新而引起的分块变化,从而增加计算开销的问题,本文提出使用基于半监督聚类的方法来指导文件分块,通过使用半监督聚类算法ICop-Kmeans对文件进行预处理,减少数据更新对文件分块的影响,节省计算开销。(2)本文采用CBF校验元,使用新的快速哈希函数,用于验证云存储中动态数据的完整性。利用了快速哈希函数计算开销上的优势和CBF算法高空间效率的特点,节省了存储,通信和计算开销,还降低了数据分块对算法的影响。(3)结合基于半监督聚类的数据分块和三方验证模型给出了本文的改进的CBF数据完整性验证模型。最后通过理论分析和实验看出,算法在数据动态变化情况下,能以较低的存储空间代价实现了在文件更新周期内轻量级的完整性验证,尤其是在挑战-应答过程中,大大降低了云服务器和第三方验证方在计算方面的开销。

关键词：云存储数据完整性验证数据分块半监督聚类计数型布鲁姆过滤器

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

网络流量测量中的抽样算法研究

网络流量测量中的抽样算法研究

作者：张淋淋曲阜师范大学

学位级别：硕士

通过对流量的测量和运行状况的分析,网络测量为网络管理、性能提升和结构优化提供参考依据。然而,由于高速互联网技术的迅速发展和大数据时代的到来,网络中的数据呈现爆炸式增长,捕获每个报文信息或者流信息并进行存储和分析已变的不可... 详细信息

通过对流量的测量和运行状况的分析,网络测量为网络管理、性能提升和结构优化提供参考依据。然而,由于高速互联网技术的迅速发展和大数据时代的到来,网络中的数据呈现爆炸式增长,捕获每个报文信息或者流信息并进行存储和分析已变的不可能。将抽样技术引入流量测量中能有效的解决该瓶颈问题,并且能大大减少测量数据,因此抽样技术成为网络流量工程研究的重点内容之一。本文系统全面地总结了网络流量测量理论,分析了在当前高速网络环境中测量遇到的困难,指出抽样技术在网络测量中的重要作用。接着详细阐述了抽样技术的相关概念,讨论了随机抽样、系统抽样和分层抽样等几种基本的抽样方法,分析比较了抽样测量中哈希算法、概要数据结构等关键技术。最后,通过研究目前网络的特性,将抽样技术与结构简单、查找匹配迅速的Bloom filter(布鲁姆过滤器)相结合,提出了基于LRUBF的大流检测算法和基于树形布鲁姆过滤器的流抽样算法。经性能分析和仿真实验证明,本文提出的算法能够在提高测量准确性的同时,提高系统的资源利用率。具体研究内容如下:(1)本文在系统研究了标准型、计数型、拆分型等Bloom filter特点的基础上,将性能优越的计数型Bloom Filter与操作系统中经典的页面置换算法LRU(最近最久未使用)策略相结合设计出一种大流检测算法。该算法使用两层结构,LRU先将大流过滤出来,CBF进一步对大流进行判断,使“大流过滤”与“大流判断”两个过程分离开。这样可以简化数据的存储结构,降低空间复杂度,精确检测大流,提高准确性。通过仿真实验,将本文提出的基于LRUBF的大流检测算法与两层CBF算法进行准确性方面的对比得知,本文提出的算法具有更高的准确性和更好的资源利用率。(2)网络规模的不断扩张使得网络流量的特征变得异常复杂,单层次的数据结构不能满足网络测量的要求。本文针对目前标准BF算法在流量过大时会造成计数器溢出的缺陷,设计了一种多层次结构的树形布鲁姆过滤器。改进过滤器的每一层都是一个标准BF,将其中置1的比特位映射出叶子节点,逐层映射后形成树形的多层次过滤器。当流量较大时增加新的BF,防止BF溢出造成测量误差。将树形BF与基于报文的流抽样算法相结合,应用到实际的网络流量测量中,可以在减少测量个数的同时提高测量精度。通过仿真对该算法与基于其他Bloom filter的抽样算法进行了测量误差方面的比较,分析可知,本文提出的算法提高了抽样的准确性,降低了空间利用率。

关键词：流量测量抽样最近最久未使用计数型布鲁姆过滤器树形布鲁姆过滤器