检索结果-南通市图书馆

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

高速网络中低开销的大流精确测量方法研究

高速网络中低开销的大流精确测量方法研究

作者：宁远航长沙理工大学

学位级别：硕士

网络测量通过在网络域的出口交换机处部署测量节点,收集网络进出流量的统计信息,进而为网络管理、拥塞控制、服务质量、异常检测等网络应用提供了不可或缺的信息。大流测量作为网络测量中的一项关键任务,许多管理应用程序可以从此任务... 详细信息

网络测量通过在网络域的出口交换机处部署测量节点,收集网络进出流量的统计信息,进而为网络管理、拥塞控制、服务质量、异常检测等网络应用提供了不可或缺的信息。大流测量作为网络测量中的一项关键任务,许多管理应用程序可以从此任务中获益。然而,目前大流测量主要使用的基于sketch的数据流技术仍然存在一些缺陷和挑战。因此,本文主要针对大流测量中的Top-k流测量和活跃大流测量准确性方面展开研讨。本文的主要研究工作如下:(1)针对如何以尽可能小的资源开销实现Top-k流的高精度测量问题,本文采用先过滤小流后测量大流的设计思路,构建一种低开销的Top-k网络流高精度测量架构。该架构通过前置的紧凑型小流过滤器筛查排除大量小流,以减少小流数据包对大流识别器的干扰,从而提高大流识别器的Top-k流测量精度。进一步,本文设计可自适应更新的紧凑型小流过滤器,保证小流过滤器在面对大流量时的持续有效性,同时减少后续处理小流的资源开销。然后,本文设计基于分段哈希和投票替换的高精度大流识别器,降低了大流之间的哈希冲突率,从而提高Top-k流的测量精度。实验结果表明:在相同的内存大小下,该架构比现有的Top-k流测量架构有更高的准确率,更小的误差。(2)针对现有活跃大流测量的研究工作较少,尚未有效解决大量小流产生的哈希冲突导致难以准确测量活跃大流的问题。本文采用预先过滤小流的思路,提出一种低开销的网络活跃大流精确测量方法。该方法分为小流过滤器和活跃大流识别器两部分,小流过滤器采用紧凑型数据结构sketch快速过滤小流,活跃大流识别器跟踪记录筛选出的流并识别报告大流的活跃期。该方法通过小流过滤器筛除网络流量中的大量小流,以实现小流与大流的初步分离,从而降低小流数据包对活跃大流识别器的干扰,提高活跃大流的测量精度。活跃大流识别器通过采用Hopscotch哈希算法高效存储小流过滤器筛选出的流,并采用低速流驱逐策略进一步筛除不活跃流,以精确记录跟踪活跃大流。实验结果表明:本文所提方法在准确率和召回率方面有明显提升。因此,本文所提方法有效提高了活跃大流测量的准确性。

关键词：网络测量 Top-k流活跃大流 sketch 小流过滤器大流识别器

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于联邦学习的软件定义网络测量研究

基于联邦学习的软件定义网络测量研究

作者：韩园峰华东师范大学

学位级别：硕士

近年来,软件定义网络发展迅速,与软件定义网络相关的网络测量技术也开始备受关注,涌现了一系列研究成果,但是目前面临的一个问题是大量的算法并没有很好的服务于上层的应用,在灵活性、可扩展性上存在提升空间。为了解决这一问题,本文将... 详细信息

近年来,软件定义网络发展迅速,与软件定义网络相关的网络测量技术也开始备受关注,涌现了一系列研究成果,但是目前面临的一个问题是大量的算法并没有很好的服务于上层的应用,在灵活性、可扩展性上存在提升空间。为了解决这一问题,本文将联邦学习引入到软件定义网络的测量工作中来,设计了一个基于联邦学习与多维时序sketch的网络测量框架FLsketch,该框架将联邦学习与传统的sketch网络测量方法相结合,提升了网络测量的灵活性与可扩展性。本文的工作主要包括三个方面:1.设计了一个基于联邦学习与多维时序sketch的网络测量框架FLsketch,并提出了一种适用于该框架的多维时序sketch数据结构。给出了FLsketch框架在数据包数量估计、数据包总大小估计、数据包平均大小估计、平均延时估计、丢包率估计和DDo S攻击检测等网络测量任务的实现方式。2.针对传统DDo S攻击检测中sketch算法检测灵敏性差、空间开销不确定、基于数据流的机器学习攻击检测时间开销大的特征,本文设计了基于FLsketch框架的两阶段检测算法。在sketch检测粒度和数据流粒度上进行了攻击检测实验,实验的精度达到了与传统的基于数据包的机器学习算法检测精度相近的水平,却大大降低了机器学习运算调用的次数,提升了检测的效率,实验结果表明基于FLsketch框架的DDo S攻击检测算法具有良好的表现效果。3.对FLsketch框架进行了模块划分,实现了FLsketch测量框架的原型。详细介绍了框架中多维时序sketch的算法的实现细节,介绍了FLsketch框架针对常见网络测量任务的测量实现,给出了本文中联邦平均算法和数据流过滤算法的伪代码。

关键词：联邦学习网络测量软件定义网络 sketch

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

软件定义的流量统计模型及方法研究

软件定义的流量统计模型及方法研究

作者：乔冠杰国防科技大学

学位级别：硕士

在基于多租户的云计算网络中,随着网络带宽、网络流量的迅速增长,网络变得越来越复杂。为了能够清楚地、实时地掌握网络状况,网络测量发挥了关键的作用。通过网络测量可以更好的进行网络管理,例如虚拟交换机的流量统计、拥塞控制、异常... 详细信息

在基于多租户的云计算网络中,随着网络带宽、网络流量的迅速增长,网络变得越来越复杂。为了能够清楚地、实时地掌握网络状况,网络测量发挥了关键的作用。通过网络测量可以更好的进行网络管理,例如虚拟交换机的流量统计、拥塞控制、异常检测等。网络测量也在流量工程中起到了重要作用,通过网络测量可以构建端到端的流量矩阵。然而,现有的基于多租户的云计算网络在网络测量方面存在两点挑战:一是在网络测量中实现灵活、低开销动态部署。在多租户云计算网络中,租户共享测量节点的资源,需要对多个测量节点、多个测量任务进行动态的部署。传统网络采用SNMP对网络进行管理,随着网络复杂度的提升管理开销随之增大。并且测量动态部署会占用大量带宽,每次网络变化控制器都需要重新计算转发路径,并对流表进行更新。在SDN网络架构中,实现对多租户的管理配置,也需要下发多条报文,使得管理配置不够灵活。二是在多租户虚拟网络流量可视化中实现高精度目标。多租户网络可视化对网络测量算法提出了更高的要求,测量算法应该在保证高精度的情况下,进一步提升算法的处理速度,减少内存空间的使用。另外,应该充分考虑多租户在测量节点的资源分配情况,满足每个租户的测量需求。本文主要工作和创新点包括:(1)本文针对网络中多租户测量任务部署不灵活、开销大的问题,提出了基于SRoU软件定义的流量统计框架。此框架支持随路动态使能,实现了计算节点内存资源和计算资源的管理,减少了测量部署及处理开销。通过控制器下发基于SRoU收集报文收集统计结果,支持多租户流量测量统计任务。(2)本文为实现多租户虚拟网络流量高效、高精度的统计,实现网络可视化,提出了冷热分离的Double Hash流量统计算法。通过面向冷热分离的保守更新策略,提高了冷流统计精度;通过二次哈希的方法,进一步降低了哈希冲突的概率。相比于其他基于sketch的流量统计算法,Double Hash可以在更小的内存空间下实现与其他算法相同的精度。同时提出了多种算法的优化方案,进一步提升了算法的精度以及性能。(3)本文基于RISCV指令集的Ariane架构设计实现了原型系统,该原型系统验证了基于SRoU的软件定义的流量统计框架以及Double Hash算法的功能。提出了基于预哈希的测量性能优化方案,进一步提升了Double Hash算法更新数据包的吞吐量。综上所述,本文对网络中流量统计问题进行了深入的研究,提出了基于SRoU软件定义的流量统计框架,减少了测量部署的开销。设计了冷热分离的Double Hash算法可以在较小的内存空间下仍然保持较高的测量精度,实现网络可视化高精度的目标。最后在原型系统上对软件定义的框架以及冷热分离的Double Hash算法进行了功能验证。

关键词：软件定义流量统计框架 sketch 冷热分离统计方法

基于GPS和Google Earth软件的虚拟仿真系统在输电线路工程中的运用研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

华东电力 2014年第7期42卷 1404-1407页

作者：张马林钱旭耀陶晨杰吴志斌汪敬国浙江省火电建设公司杭州310016

介绍了利用GPS卫星定位系统和Google Earth、sketch Up软件,建立输电线路三维仿真模型,集成线路路径详细信息,实时更新每个作业点的状态信息,应用于工程管理,提高工程管理效益。

关键词： GPS Google Earth sketch Up 输电线路三维模型工程管理

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

高速网络数据流算法的研究与实现

高速网络数据流算法的研究与实现

作者：宛俊美南京邮电大学

学位级别：硕士

近年来,随着网络技术的不断精进及其应用的多元化发展,网络流量测量技术和网络拥塞控制机制受到了国内外研究者和组织机构的广泛专注,在当前高速网络环境下,网络流量测量工作对测量设备的计算力以及存储空间提出了很高的要求,传统的测... 详细信息

近年来,随着网络技术的不断精进及其应用的多元化发展,网络流量测量技术和网络拥塞控制机制受到了国内外研究者和组织机构的广泛专注,在当前高速网络环境下,网络流量测量工作对测量设备的计算力以及存储空间提出了很高的要求,传统的测量方法因其自身的可扩展性限制,很难适应高速网络环境下的流量测量,基于数据流的网络流量测量方法是目前测量高速网络流量的重要手段;另外,随着互联网的代际更替,传统的TCP/IP网络拥塞控制方案在处理高速网络链路上的海量突发数据流时很难同时满足高带宽、低时延、公平性等网络性能需求,主动队列管理算法是当前处理高速网络拥塞的主流方法。本文主要围绕网络流量测量和拥塞控制来开展工作的,首先本文从Count-Min sketch的高估问题入手,在为改善CMS的准确率而提出的Conservative Update sketch的基础上,提出了一种基于Flag计数的sketch结构——CUSF,旨在设置一个Flag标志位来检测映射到同一计数器的数据包是否属于同一个数据流,然后采取不同的计数方案来改善计数器的计数操作以提高测量精度,最后通过模拟多种场景执行该方案。实验结果表明,与CUS算法相比,CUSF算法的数据流平均高估值降低了15%以上,可有效提高数据流的估计精度。其次,通过网络测量获取数据流量后,就需要对网络流量进行协议分析,本文在NS-3网络仿真器中构建网络拓扑结构模型,对各种拥塞控制算法进行性能测试,发现调整Co Del算法的interval参数会对Co Del的平均队列长度、丢包数和吞吐量等性能产生影响,而此前Co Del算法的target和interval参数值几乎被认定为固定的（target=5ms,interval=100ms）,为此本文通过多组仿真实验,实验结果验证了调整interval参数确实会对Co Del的平均队列长度、丢包数和吞吐量等性能产生影响。最后,在前两项工作的基础上,本文针对CoDel算法不能细粒度识别网络拥塞状态和有区分地进行丢包的问题,结合CUS结构,提出了一种基于sketch的自适应主动队列管理方法——s Co Del,s Co Del首先对网络链路中的数据包进行排队时延的判断,然后利用sketch结构进行数据包的频次计数占比判断,通过在NS-3中进行仿真实验,结果显示,s Co Del算法在维持相似的吞吐量性能下,实现了比RED、PIE、Co Del算法更低的平均队列长度、更高的公平性,平均队列长度与Co Del算法相比下降了85%左右,公平指数与RED算法相比提高了约5%。在快速缓解网络拥塞的基础上,s Co Del算法可以实现有区分地丢包策略,保证数据流之间的公平性,维护了网络的可用性和稳定性,提升了网络的服务质量。

关键词：流量测量 sketch 拥塞控制 CoDel 低时延公平性

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

高速网络中视频服务质量监测技术研究

高速网络中视频服务质量监测技术研究

作者：刘亚东南大学

学位级别：硕士

随着互联网技术不断发展以及网络基础设施的不断的完善,越来越多的用户通过移动终端访问视频网站,因此视频流量也成为网络流量的主体。为了更好地为用户提供服务,ISP需要在高速网络接入点对视频服务质量进行监测。视频卡顿是影响视频质... 详细信息

随着互联网技术不断发展以及网络基础设施的不断的完善,越来越多的用户通过移动终端访问视频网站,因此视频流量也成为网络流量的主体。为了更好地为用户提供服务,ISP需要在高速网络接入点对视频服务质量进行监测。视频卡顿是影响视频质量的一个重要因素,但是用户侧观看视频时的卡顿与终端播放设备也有关,在网络接入点难以获得用户端的卡顿。与此同时,丢包也是影响视频质量的一个关键Qo S参数,而现有网络中丢包检测方法无法适用于高速网络中,ISP监测视频服务流的端到端丢包也存在部署困难的问题。针对上述问题,本文提出了基于缓冲区信息的视频卡顿检测方法和基于流量抽样和Feature-sketch的丢包检测方法,以实现ISP对高速网络中视频服务质量的有效监测。具体来说,本文主要包括以下几点工作内容:(1)提出了基于缓冲区信息的视频卡顿检测方法:针对现有视频卡顿检测训练成本较高,拓展性不足的问题,本文提出的基于缓冲区信息的视频卡顿检测方法首先根据视频传输过程中出现的规律脉冲现象计算视频播放过程中播放码率。然后,基于计算出的视频播放码率以及视频传输数据量重现出视频播放过程中视频缓冲区中的视频数据大小。最后,本文以时间窗口为单位根据视频缓冲区内的视频数据大小检测出视频播放过程中卡顿情况。实验结果表明,本方法可以准确预测视频卡顿情况。(2)提出了基于流量抽样和Feature-sketch的丢包检测方法:针对现有丢包测量方法无法适用于高速网络中以及部署困难等问题,本文使用了抽样技术和sketch数据结构可以快速处理流量并提取出能反映丢包状态的流量特征。同时,本文还利用机器学习分类模型对流量特征进行训练,从而构建出丢包检测模型来对高速网络中视频服务的丢包情况进行准确实时地检测。使用MAWI主干网流量作为背景数据的验证结果表明,上述方案与现有工作相比,在丢包检测延迟以及内存消耗上具有优势。(3)设计并实现了高速网络中视频服务质量监测原型系统:该原型系统实现了包括视频卡顿检测和丢包检测功能。本文通过该原型系统对基于缓冲区信息的视频卡顿检测方法、基于流量抽样和Feature-sketch的丢包检测方法进行了测试,实验结果证明了方法的有效性。

关键词：视频服务卡顿检测 sketch 流量抽样丢包检测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

SDN环境下网络流量测量技术研究

SDN环境下网络流量测量技术研究

作者：廖梓钧西南科技大学

学位级别：硕士

流量是网络信息流通的主要载体,流量的特征反映了网络的行为。随着网络流量的激增,网络管理和监测都对网络流量测量提出了更高的要求。网络流量测量在网络管理和监测中占据了重要的地位,是网络管理和监测的基石。网络流量测量所提供的... 详细信息

流量是网络信息流通的主要载体,流量的特征反映了网络的行为。随着网络流量的激增,网络管理和监测都对网络流量测量提出了更高的要求。网络流量测量在网络管理和监测中占据了重要的地位,是网络管理和监测的基石。网络流量测量所提供的测量信息能够保障多种网络任务的正常进行,包括负载均衡、流量工程、异常检测等。近年来,SDN和P4等新型网络技术带来了灵活的控制平面和可编程数据平面,为网络流量测量提供了新的设计思路和实验环境。虽然可编程数据平面让流量测量方法不再受传统网络硬件的制约,但如何在有限的内存空间内快速处理庞大复杂的网络流量以完成重要的网络测量任务仍然是目前工业界和学术界的研究重点。本文首先对真实网络流量进行了一系列的特征分析和数学建模,重点讨论了大象流和老鼠流在流量中的分布情况,以及对流量的重尾分布进行了拟合验证,并对大象流的数据包到达间隔展开了讨论,得出了大象流的数据包在时间上呈现出集中分布的结论。接着分析了现有top-k大象流检测方法的优缺点,并针对现有方法的不足设计了一种更切合流量特征的top-k大象流检测方法。该方法与现有方法相比,不仅通过流的大小特征去区分老鼠流和大象流,而且通过一种新的数据结构在有限的空间中额外保留了流的局部时间特征,从而更有效地保存了新到达的流的记录,让新到达的流能够有足够的时间和空间增长为大象流,并能够在有限的内存空间中及时丢弃无法成为大象流的老鼠流,从而准确的保留大象流的信息。最后在真实的骨干网的流量数据集上进行了大量的参数实验和对比实验,证明与目前最优的方法相比,本文所设计的top-k大象流检测方法有更高的准确度,更低的误差和更高的吞吐量。本文基于所设计的top-k大象流检测方法,设计了一套基于大象流检测的带内网络遥测系统。在设备本地借助大象流检测方法,有效地记录大象流的信息,并将大象流的信息插入到业务数据包头部中,借助业务流量携带更重要的大象流遥测信息,从而在保证低带宽消耗的条件下,能够有效完成网络黑洞检测、网络环路检测以及异常抖动检测等网络级测量任务。

关键词：网络流量测量 top-k大象流 sketch 可编程协议无关报文处理器带内网络遥测

基于运行时统计数据采集的Spark SQL查询优化研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于运行时统计数据采集的Spark SQL查询优化研究

作者：刘晨飞电子科技大学

学位级别：硕士

大数据时代,各行各业与互联网的紧密结合产生了海量的业务数据,通过分析这些业务数据可以为公司制定更好的运营策略,从而提升公司的盈利能力。Hadoop MapReduce系统的出现简化了对海量数据的分析,其被大量公司和机构广泛应用于业务数据... 详细信息

大数据时代,各行各业与互联网的紧密结合产生了海量的业务数据,通过分析这些业务数据可以为公司制定更好的运营策略,从而提升公司的盈利能力。Hadoop MapReduce系统的出现简化了对海量数据的分析,其被大量公司和机构广泛应用于业务数据分析工作。然而Hadoop MapReduce采用磁盘来存储计算的中间结果,因此计算效率较低,而Spark分布式计算引擎采用内存来存储计算的中间结果,显著地提高了数据分析任务的执行速度。为了进一步简化数据分析工作,研究人员在Hadoop MapReduce系统上研发了Hive数据仓库;在Spark之上构建了Spark SQL系统。相对于早期的工具使用代码描述计算任务,这些工具使用SQL描述数据分析任务,使其可以根据查询优化理论进行优化,进一步提升了执行的效率。但是目前Spark SQL的查询优化功能仍然存在以下不足:1)需要操作者显式地通过统计信息收集命令收集统计信息,在缺乏统计信息时无优化,而使用者通常不了解查询优化理论,也不了解如何有效地收集统计信息。2)收集的统计信息不够准确,优化效果不佳。针对以上问题,本文提出了一个在运行时收集统计信息并对查询进行自适应优化的算法,实现了在不需要前置统计信息时对查询进行优化。其包含以下三个部分的内容:1)BFP（Bloom Filter Prune）Join算法,在连接操作执行之前使用布隆过滤器裁剪不满足连接条件的数据,并按照裁剪的方式不同分为单侧裁剪和双侧裁剪。2)采用AMS sketch和布隆过滤器对连接的中间关系基数进行更加精确的估计。3)提出了一个基于图的连接计划生成算法,根据查询语句调度执行统计信息收集任务,接下来按照统计信息自适应地调整查询的执行计划。文章接下来对本文提出的运行时查询优化算法进行了测试,实验表明:在不考虑连接顺序的情况下,BFP算法通过对连接输入进行裁剪产生的优化效果最高达到了12%,在未成功裁剪数据的时候额外时间开销没有超过7%。连接计划生成算法在没有预先收集统计信息的情况下,在实验中所有的18次查询里,有14次都产生了最优的连接计划,优化效果最高达到了31%,统计信息采集的时间开销不超过执行时间的5%。

关键词：查询优化 Spark SQL 运行时布隆过滤器 sketch

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

网络流量快速分类与统计技术研究

网络流量快速分类与统计技术研究

作者：侯昌盛国防科技大学

学位级别：硕士

随着互联网的飞速发展,网民数量逐年增加,促进了网络应用的发展。不同应用和用户每天生成规模庞大的网络流量,带来了网络性能降低、网络运行状态监测困难、存在网络安全隐患等一系列的网络管理问题,对网络流量的分类、统计、查询、分析... 详细信息

随着互联网的飞速发展,网民数量逐年增加,促进了网络应用的发展。不同应用和用户每天生成规模庞大的网络流量,带来了网络性能降低、网络运行状态监测困难、存在网络安全隐患等一系列的网络管理问题,对网络流量的分类、统计、查询、分析提出了更高的要求。通过对网络流量进行分类与统计,网络管理员可以根据网络运行状态合理地配置网络资源、为用户提供定制化服务,也能针对性地实施流量工程、科学高效地进行网络管理。本文对网络流量快速分类与统计的相关技术开展了研究,论文的主要工作概括如下:(1)设计了一种可以保留网络流图结构信息、支持可逆查询的三维图sketch数据结构DMatrix,用于快速准确地汇总图流,可以对应用流数据进行快速统计。基于三个真实世界的数据集,进行了大量的实验和分析,实验结果表明,DMatrix可以在可接受的存储资源消耗下实现对流数据的准确高效统计和查询。(2)提出了一个轻量级实时网络流量分析框架Appsketch,创新性地将轻量级网络流量分类技术与sketch技术相结合,提供比现有解决方案更细粒度的应用流数据统计,支持多个维度的查询分析。基于真实世界数据集的实验结果表明,App sketch可以实现网络流量快速分类与统计,同时在查询准确性方面保持了相当好的性能。

关键词：网络流量分类流量测量 sketch 图流图sketch