检索结果-南通市图书馆

RGraph:基于rdma的高效分布式图数据处理系统

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

软件学报 2022年第3期33卷 1018-1042页

作者：崔鹏杰袁野李岑浩张灿王国仁东北大学计算机科学与工程学院辽宁沈阳110819 北京理工大学计算机学院北京100081

图是描述实体间关系的重要数据结构,被广泛地应用于信息科学、物理学、生物学、环境生态学等重要的科学领域.现如今,随着图数据规模的不断增大,利用分布式系统来处理大图数据已经成为主流,出现了形如Pregel、GraphX、Power Graph和Gemin... 详细信息

图是描述实体间关系的重要数据结构,被广泛地应用于信息科学、物理学、生物学、环境生态学等重要的科学领域.现如今,随着图数据规模的不断增大,利用分布式系统来处理大图数据已经成为主流,出现了形如Pregel、GraphX、Power Graph和Gemini等经典的分布式大图数据处理系统.然而,与当前先进的基于单机的图处理系统相比,这些经典的分布式图处理系统在处理真实的图数据时并没有充足或稳定的性能优势.分析了几个有代表性的分布式图处理系统,总结并归纳出了影响其性能的主要挑战.通过对这些挑战的深入研究,提出了RGraph——一个基于rdma的高效分布式大图数据处理系统.RGraph旨在通过充分利用rdma的优势来提升图处理系统多个方面的性能.在图划分方面,RGraph采用基于块的划分方式避免破坏原始图数据的局部性,从而保证顶点的高效访问.在负载方面,RGraph提出了基于rdma单边READ的任务迁移机制和线程间细粒度的任务抢夺方式来分别保证计算节点间以及计算节点内线程间的动态负载均衡,确保集群中的所有计算资源能够被充分利用.在通信方面,RGraph通过对IB verbs的有效封装,实现了符合图计算语义的多线程rdma通信模型.相比于传统的MPI,RGraph的通信机制可以减少计算节点间2.1倍以上的通信延迟.最后,利用5个真实大图数据集和1个合成数据集,在拥有8个计算节点的高性能集群上测试了RGraph.实验结果表明,RGraph具有明显的性能优势.相比于Powergraph,RGraph具有10.1-16.8倍的加速比,与当前最先进的分布式图处理系统相比,RGraph的加速比仍能达到2.89-5.12倍.同时,RGraph在极度偏斜的幂律图上也能保证稳定的性能优势.

关键词：分布式图处理系统高性能 rdma 动态负载均衡 rdma通信模型

rdma高速网络状态感知与度量指标体系研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

计算机应用与软件 2022年第2期39卷 128-137页

作者：徐佳玮严明吴杰复旦大学计算机科学技术学院上海200433 复旦大学教育部网络信息安全审计与监控工程研究中心上海200433

随着数据中心网络承载的数据量的爆炸式增长,越来越多的框架、模型和应用选择使用rdma技术来加速网络传输。RoCE是rdma技术在以太网上的实现,但针对RoCE网络目前还没有有效的状态感知和度量体系,无法全面展现rdma网络状态。对此,提出针... 详细信息

随着数据中心网络承载的数据量的爆炸式增长,越来越多的框架、模型和应用选择使用rdma技术来加速网络传输。RoCE是rdma技术在以太网上的实现,但针对RoCE网络目前还没有有效的状态感知和度量体系,无法全面展现rdma网络状态。对此,提出针对RoCE的实时状态感知系统和多维度多层次的rdma度量指标体系。采用旁路分布式流量捕获方式,运用Sketch算法全方位度量rdma网络状态。系统易于部署且成本低,具有可扩展性和灵活性。实验结果表明,该系统能在较低误差下客观反映出RoCE网络状态,提供故障定位建议。

关键词： rdma 状态感知网络度量 Sketch算法

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

rdma数据中心网络拥塞控制技术研究

RDMA数据中心网络拥塞控制技术研究

作者：刘至成北京邮电大学

学位级别：硕士

随着大语言模型训练、大规模机器学习、异构计算、资源分解等应用对数据处理、存储和传输需求的不断提高,传统TCP已经无法满足数据中心网络高吞吐、低时延传输的需求,rdma(Remote Direct Memory Access,远程直接内存访问)技术应运而生。... 详细信息

随着大语言模型训练、大规模机器学习、异构计算、资源分解等应用对数据处理、存储和传输需求的不断提高,传统TCP已经无法满足数据中心网络高吞吐、低时延传输的需求,rdma(Remote Direct Memory Access,远程直接内存访问)技术应运而生。rdma通过允许接收方和发送方网卡直接访问预注册的内存缓冲区,大幅提高了传输效率,然而低延迟和高吞吐量的环境对拥塞控制的要求越来越高,从而产生了多种rdma拥控算法,其中DCQCN是目前RoCE(rdma over Converged Ethernet)的标准拥塞控制协议。本文研究了基于rdma传输的数据中心网络拥塞控制技术,完成的主要工作有:1.研究DCQCN的速率更新机制存在的问题并设计了一种参数自适应的调速方式:针对DCQCN算法存在的一系列问题,包括调参复杂、固定的计时器阈值导致难以应对大规模Incast事件、固定的字节计数器阈值导致公平性问题、固定步长导致的难以收敛问题。设计自适应参数,包括决定增速阶段中自适应的字节计数器和计时器以及加性增速过程中自适应的增速步长。基于NS3网络仿真器搭建数据中心网络仿真环境,对数据中心网络拓扑、流量特征、Incast场景进行仿真模拟。实验结果表明,自适应的参数能够提升DCQCN算法应对大规模突发流量时的性能、保证公平性和收敛,同时简化了在不同网络条件下的复杂参数配置。2.为HPCC算法设计了一组新的反馈网络状态信息:HPCC算法的拥塞反馈信息是链路上飞行的字节数,通过计算估计飞行字节并与BDP(Bandwidth-Delay Product,带宽时延积)比较,判断拥塞是否发生并通过窗口进行调速。本文通过分析现有拥塞控制算法发现,拥控算法不同的拥塞反馈信息决定了性能的差异。因此,结合TIMELY算法基于队列梯度变化对拥塞敏感度高的特点,在HPCC飞行字节的基础上考虑队列梯度,通过利用INT(In-band Network Telemetry,带内网络遥测)准确测得两类反馈信息,并将二者融合。改进后的算法在不会损失网络吞吐量的基础上,同时可保持交换机排队队列较短。基于其快速的反应时间,改进后的算法也适合动态网络环境和突发流量模式。

关键词：数据中心网络拥塞控制 rdma

基于SoftRoCE的rdma性能优化和安全增强技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于SoftRoCE的RDMA性能优化和安全增强技术研究

作者：马艺丹东南大学

学位级别：硕士

随着云计算的规模不断扩大,对数据中心网络的传输速率要求不断提高。Infiniband公司提出的rdma技术,满足了数据中心网络低延迟、高带宽的需求。目前rdma技术已经广泛应用于高性能计算、大数据分析和分布式存储等网络密集型场景。虽然RDM... 详细信息

随着云计算的规模不断扩大,对数据中心网络的传输速率要求不断提高。Infiniband公司提出的rdma技术,满足了数据中心网络低延迟、高带宽的需求。目前rdma技术已经广泛应用于高性能计算、大数据分析和分布式存储等网络密集型场景。虽然rdma技术的性能十分可观,但部署成本较高,为了兼容尚未部署rdma网卡的设备,IBTA提出了一种rdma的软件实现方式——Soft Ro CE。Soft Ro CE整体由软件实现,底层使用普通的以太网卡,和硬件方案相比性能较差,但优势在于能用普通以太网卡与rdma网卡通信。本文分析了Soft Ro CE数据传输的整体流程,针对Soft Ro CE在数据传输过程中存在的吞吐量低、传输时延大、CPU占用率高等问题,提出解决方案并设计实验证明了方案的可行性。本文围绕Soft Ro CE的性能优化和安全增强技术进行了以下工作:1.针对Soft Ro CE在数据发送时需要一次额外CPU拷贝的问题,提出了一种针对热点数据传输的零拷贝Soft Ro CE解决方案。首先进行了方案的总体设计,针对被频繁使用的热点数据,通过固定数据区的方式,省去Soft Ro CE在数据发送过程中存在的一次CPU拷贝,实现了热点数据零拷贝。设计实验测试了此方案的吞吐量和传输时延,测试结果表明此方案不仅提高了吞吐量,还降低了数据传输时延,能够有效提高热点数据传输系统性能;2.针对收包机制中频繁的轮询导致了较高CPU占用率的问题,提出了一种基于批处理的收包机制优化设计方法。首先进行了方案设计与实现,采用批处理思想对多条工作请求和完成信息进行合并,并改进了轮询收包机制,每次批量处理CTX＿POLL＿BATCH条完成信息。设计了对比实验,分别测试优化前后的CPU占用率、吞吐量和时延,实验结果表明,优化后的方案不仅能够明显降低CPU占用率,提高系统性能,而且对系统的吞吐量和时延性能影响不大;3.通过分析在UD模式下使用Send/Recv原语进行通信的过程,发现了一种可能被利用的安全问题。针对UD模式下接收队列资源有可能被恶意占用的问题,提出了一种身份验证方案,通过计算随机数PSN和共享秘密值Q＿Key的Hash值完成收发双方的身份验证,设计了身份验证方案的整体流程,并对方案的安全性和高效性进行了分析。实验结果表明,本文提出的身份验证方案能够有效过滤恶意信息,增强了Soft Ro CE的安全性。

关键词：以太网 rdma Soft Ro CE 零拷贝

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

数据中心的rdma网络拥塞控制算法研究

数据中心的RDMA网络拥塞控制算法研究

作者：魏浩然北京邮电大学

学位级别：硕士

随着远程直接内存访问(Remote Direct Memory Access,rdma)这一网络技术在数据中心内的大规模部署,分布式应用能够在高吞吐(200Gbps)和超低时延(低于10us每跳)的高性能网络下,以很低的CPU开销来传输数据。然而,随着分布式应用规模的扩大... 详细信息

随着远程直接内存访问(Remote Direct Memory Access,rdma)这一网络技术在数据中心内的大规模部署,分布式应用能够在高吞吐(200Gbps)和超低时延(低于10us每跳)的高性能网络下,以很低的CPU开销来传输数据。然而,随着分布式应用规模的扩大,商用网卡使用的DCQCN拥塞控制算法已经无法有效缓解的大量Incast负载造成的拥塞。尽管利用基于优先级的流量控制(Priority-based Flow Control,PFC)的机制尽管可以避免拥塞造成的丢包,但是PFC可能引发拥塞扩散,队头阻塞等问题。因此,需要新的拥塞控制算法来实现高速网络低延迟、高带宽和高可靠性的目标。(1)提出了一种软件实现的拥塞控制机制。本文设计了 SECC这一拥塞控制机制。SECC利用rdma语义的特点,通过零拷贝的分片和组装,实现了对上层应用的透明的、低开销的速率控制。实验结果表明,在不更换网卡的情况下,SECC能有效增强网卡对Incast流量的承载能力,在Incast负载任务下,开启SECC后可以分别降低了18.8%的平均完成时间和79.5%的尾部完成时间。(2)本研究提出了一种硬件综合利用RTT和ECN的硬件拥塞控制算法。本文设计了一种可以部署在最新的可编程硬件网卡(例如Mellanox ConnectX6-DX)中,无需对交换机进行修改的拥塞控制算法RECC。具体来说,RECC结合了 RTT的精确测量和ECN的快速拥塞响应,在发送端快速、精确地调整发送速率。此外,RECC有效识别间歇性Incast造成的拥塞,避免低负载期间的过度增速的情况,从而防止由于训练流量产生的开关Incast而导致错误的速率决策。本研究在商用RoCEv2网卡上实现RECC算法,实验结果表明,在无损网络的条件下,模拟分布式训练的流量,相比DCQCN,RECC最多降低了 34.8%的流完成时间和95%的PAUSE帧的持续时间。

关键词： rdma 拥塞控制高速网络数据中心网络

面向数据中心网络的高性能无状态rdma网卡研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向数据中心网络的高性能无状态RDMA网卡研究

作者：汪锡峥湖南大学

学位级别：硕士

为了应对不断扩大的应用规模并提供更好的服务质量,各服务提供商纷纷建立大型的数据中心。作为当代互联网的核心基础设施,数据中心对外表现出超强的算力、巨大的存储资源、超低的访问延时。这除了需要数据中心内部众多机器共同工作之外... 详细信息

为了应对不断扩大的应用规模并提供更好的服务质量,各服务提供商纷纷建立大型的数据中心。作为当代互联网的核心基础设施,数据中心对外表现出超强的算力、巨大的存储资源、超低的访问延时。这除了需要数据中心内部众多机器共同工作之外,还必须有足够高效的数据中心网络进行互联。运行在端系统上的协议栈是构成高性能网络的重要组成部分。由于卓越的性能表现,rdma(远端内存直接访问,一种硬件协议栈)被广泛应用于数据中心网络。rdma硬件协议栈为应用程序提供了超高的网络吞吐量、超低的访问延时和远低于TCP/IP网络协议栈的CPU利用率。但是由于协议栈运行所需的状态必须存储在网卡上,且网卡内存过小,导致了rdma的可扩展性差。这具体体现在当网卡需要维护大量并发连接时,性能将会明显大幅下降。针对rdma可扩展性差的问题,本文测量、分析了rdma网卡可扩展性,并设计和实现了一种适用于高并发场景的新型无状态rdma网卡StaR(Stateless rdma NIC),本文的主要工作如下:(1)提出了对端存储连接状态的无状态网卡结构。本文通过分析得知rdma网卡弱可扩展性的原因在于板卡内存难以存储大量连接状态。利用数据中心内部传输流量的不对称性,本文设计了利用低并发网卡来协助存储高并发网卡的状态信息的无状态网卡方案StaR。相比对称式的rdma网卡架构,StaR提出了连接两端存储异构的网卡结构,通过在连接初期将状态信息从高并发网卡转移到低并发网卡的方式,取缔了高并发网卡的状态存储以及相应的状态获取行为。(2)设计了StaR网卡的整套传输协议。StaR针对一端完全无状态的网卡结构设计了新的专用数据包格式以及全套的传输协议。在不修改上层程序接口的前提下,StaR设计了连接建立阶段的状态传输流程、基于“数据包对”的数据传输流程、传输事务初始化/结束流程以及相应的可靠性与安全性机制。在一端完全无状态的前提下,StaR仅引入少量的传输开销,解决了rdma的可扩展性瓶颈。(3)完成了StaR的原型系统实现与实验评估。本文在FPGA上实现了StaR方案,包括网卡架构和整套传输流程。基于仿真平台和小型实验床验证了StaR的可实现性。此外,本文测量评估了StaR在不同场景下的性能并与最新的相关工作进行比较。实验结果表明,在400个并发连接的场景下,StaR相比rdma方案(使用与StaR相同的FPGA)和最新的软件解决方案Scala rdma(一种软件调度方案)分别取得了4.13倍和1.35倍的吞吐量提升。

关键词：数据中心网络硬件网卡协议栈 rdma 状态存储

基于rdma的虚拟化安全网关系统设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于RDMA的虚拟化安全网关系统设计与实现

作者：李永康中国科学院大学(中国科学院深圳先进技术研究院)

学位级别：硕士

远程直接内存访问(Remote Direct Memory Access,rdma)技术以其数据零拷贝、绕过内核等特性实现了低延迟、高带宽的优势,被广泛地应用在数据中心应用中。同时随着虚拟化解决方案的提出,该技术逐渐被部署在云环境上。鉴于云中数据存储和... 详细信息

远程直接内存访问(Remote Direct Memory Access,rdma)技术以其数据零拷贝、绕过内核等特性实现了低延迟、高带宽的优势,被广泛地应用在数据中心应用中。同时随着虚拟化解决方案的提出,该技术逐渐被部署在云环境上。鉴于云中数据存储和计算的敏感性,这种部署将使rdma安全性成为保护用户数据访问的关键部分。然而,由于rdma的数据传输绕过内核导致在内核上监测异常非常困难并且修改网络协议需要付出巨大的成本,基于rdma网络通信的潜在安全问题一直没有得到有效的解决。具体而言,rdma的安全问题主要是由协议设计和技术实现的特性所导致的,如数据包明文传输、网卡缓存数据以及数据传输绕过内核等。这些特性降低了通信延迟,但同时会引发rdma网络中的内存未授权访问和拒绝服务攻击等问题,严重威胁网络安全。同时,rdma技术将网络数据包的处理从CPU内核卸载到网卡设备上,使得直接在内核协议栈中实施安全机制变得不可能。为了解决这些问题,绝大多数研究工作都采用了优化协议和重新设计网卡的方法。这些方法虽然取得了较好的效果,但是有很高的部署成本。因此,如何在降低成本的同时保障云环境中的rdma网络安全,是目前亟需解决的问题。受虚拟化中间层对网络流转发和控制的启发,本文通过对rdma协议的分析以及模拟攻击的实验明确了rdma网络在数据传输与资源占用方面的安全问题,并提出了一个基于rdma的虚拟化安全网关系统。该系统不仅能够在软件层面实现更加灵活的网络安全防护,而且从控制路径和数据路径上提供了全面的安全保障,有效解决了目前rdma安全研究上面遇到的困难和挑战。本文具体的工作包括以下几方面:(1)研究了rdma在数据传输和资源占用方面的安全问题。本文分析了内存秘钥的明文传输、网卡缓存有限以及数据包元素的高度规律性等协议缺陷对rdma数据传输造成的安全隐患,并通过模拟攻击实验明确了未授权的内存访问、队列对状态攻击及硬件资源拒绝访问攻击等安全问题。(2)探索了rdma硬件计数器的机制并将其应用到安全防护中。本文分析了rdma硬件计数器的具体含义和影响因素,并利用了长期被忽视的硬件计数器来检测数据路径的异常事件,在保证数据传输不被干扰的前提下实现了对rdma数据路径的安全防护。(3)设计了一个虚拟化安全网关系统sv rdma。物理世界中的网关负责网络流的转发与控制,其概念可以映射到网络虚拟化框架的中间层(即虚拟化网关)中。通过在虚拟化网关中施加安全机制,可以从软件上解决rdma绕过内核导致无法有效监控的痛点,从而更加灵活地保障rdma网络控制路径的安全且部署成本低。因此,本文利用该思想从虚拟化层面强化了rdma的安全控制,并结合上述数据路径的检测提供了更加全面的安全机制。此外,本文还提出了一种硬件资源预分配方法来动态分析实例对资源的需求并防止恶意占用资源的发生。(4)实现了基于开源rdma虚拟化框架Free Flow的原型系统。本文在Docker容器环境下通过系统各组件的协同以及共享内存、netlink等技术完成了sv rdma系统的实现,并籍此对所提方法和机制进行了功能测试和性能测试。结果显示,sv rdma系统可以实现秒级的rdma网络异常事件检测与防御以及3%以内的额外开销。总而言之,本文针对rdma网络安全形势严峻但无法受到有效监控的问题,从软件层面出发在虚拟化中间层上强化了rdma安全控制,通过控制路径和数据路径的全面防护实现了高效、低损耗且低成本的虚拟化安全网关系统,提供了保护rdma网络安全的新思路。本工作可以更有效地促进rdma技术在云计算环境下的安全部署与应用,对高性能网络传输下的数据中心安全具有重要的应用价值。

关键词： rdma 虚拟化安全网关拒绝服务攻击硬件计数器

基于rdma的高速数据摆渡技术研究与与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于RDMA的高速数据摆渡技术研究与与实现

作者：赵震涛贵州大学

学位级别：硕士

随着信息技术的快速发展,数据已经成为重要的生产要素。针对非密数据,根据数据敏感程度采用不同的安全保护策略、划分不同的安全等级成为数据安全保护的重要手段。在数据应用过程中,涉及到大量的跨安全等级间的数据传输。数据摆渡技术... 详细信息

随着信息技术的快速发展,数据已经成为重要的生产要素。针对非密数据,根据数据敏感程度采用不同的安全保护策略、划分不同的安全等级成为数据安全保护的重要手段。在数据应用过程中,涉及到大量的跨安全等级间的数据传输。数据摆渡技术是解决在不同安全等级间传输数据的有效手段,通过逻辑隔离的方式降低物理硬件隔离成本,同时确保不同安全等级间的隔离性。通过深入研究发现,传统的数据摆渡技术要求绝对的物理隔离,其性能难以满足大规模数据的摆渡需求。针对大规模敏感数据的高效、跨域摆渡需求,本文提出一种基于远程直接内存存取(rdma)的高速数据摆渡方案。为解决大规模数据摆渡的性能瓶颈问题,本文提出了一种传统网络协议与rdma协议逻辑隔离的数据摆渡方案。在处理传统协议栈的网络数据时,借助用户态协议栈技术,实现了用户态和网卡之间数据的直接交互,提高传统网络协议流量的处理速度。针对数据摆渡系统流量协议转换问题,设计出一种基于平行队列的高速流量协议转换策略,降低流量协议转换带来的性能损耗。针对大规模的流量摆渡需求,提出基于rdma的数据摆渡动态负载均衡调度算法,对摆渡数据进行优化分批处理,进行动态负载均衡调度,充分提高数据摆渡性能。为解决数据摆渡系统的安全隔离问题,本文跨网络协议逻辑隔离的基础上进一步引入安全认证机制、单边操作机制等提高安全性。在不同安全等级网域间使用rdma协议和传统网络协议进行逻辑协议隔离。数据摆渡系统通过token标识信息对访问者用户信息和访问设备信息进行验证,采用基于SM2国密算法的数字签名技术公钥加密token标识信息。在数据摆渡过程中,本文将Data Pump技术理念融入数据摆渡技术,实现基于rdma的单向数据摆渡机制,保证数据摆渡过程中除控制信息外所有信息只能单向流动。同时,实时监控系统中的资源开销避免洪泛资源耗尽攻击,并对摆渡过程进行全程审计记录。本文最后将实现的基于rdma的数据摆渡系统与国内团队提出的OPTP私有摆渡协议和传统UDP摆渡协议进行性能测试对比。本文系统在同等实验条件下摆渡性能提升性能约为4-6倍,加入动态负载调度算法后在大规模数据下性能提升3倍。同时,对数据摆渡系统进行合法性安全验证和多级预警触发验证。

关键词：数据摆渡 rdma 高性能摆渡逻辑隔离

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种面向不可靠网络的快速rdma通信方法

湖南大学学报（自然科学版） 2015年第8期42卷 100-107页

作者：王绍刚徐炜遐吴丹庞征斌夏军国防科学技术大学计算机学院湖南长沙410073

大数据量的远程内存访问(rdma)传输是并行计算机中最基本的通信模式之一,对系统整体性能的影响很大.随着并行计算机系统的规模扩大,系统的容错性设计面临着很大的挑战,互连网络具有链路不可靠、自适应路由等特点,如何面向不可靠网络实... 详细信息

大数据量的远程内存访问(rdma)传输是并行计算机中最基本的通信模式之一,对系统整体性能的影响很大.随着并行计算机系统的规模扩大,系统的容错性设计面临着很大的挑战,互连网络具有链路不可靠、自适应路由等特点,如何面向不可靠网络实现可靠的端到端rdma传输是并行系统体系结构设计的一大难题.提出一种面向不可靠网络下的快速rdma传输方法,方法能够在节点控制器芯片上高效实现,对上层驱动软件和应用提供可靠的端到端rdma传输服务.与传统的建立连接的方法相比,方法的硬件设计复杂度大大降低;方法另一优点是实现了按需重传,避免了传统方法中一次rdma传输出现错误时,需要重传整个rdma数据的开销,在相同的错误概率下,新方法的传输效率得到了很大的提升.

关键词：远程内存访问 rdma MPI 滑动窗口