检索结果-南通市图书馆

High-availability in-memory key-value store using RDMA and Optane DCPMM

在线全文

学校读者我要写书评

暂无评论

Frontiers of Computer Science 2023年第1期17卷 221-223页

作者： Xuecheng QI Huiqi HU Jinwei GUO Chenchen HUANG Xuan ZHOU Ning XU Yu FU Aoying ZHOU School of Data Science and Engineering East China Normal UniversityShanghai 200062China China Construction Bank Financial Technology Co.Ltd. Shanghai 200120China

1 Introduction and main contributiions Emerging hardwares like remote Direct Memory Access(RDMA)capable networks and persistent memory(PM)are promising to build fast high availability in-memory key-value stores.The recent advent of Intel Optane DC Persistent Memory Modules(Optane DCPMM)brings the future closer.However,existing studies to combine the two devices cannot deliver the desired performance due to their two-phase protocols for log shipping and most of them were based on emulation that perform sub-optimally on real PM hardware.

关键词： hardware RDMA value

RDMA高速网络状态感知与度量指标体系研究

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

计算机应用与软件 2022年第2期39卷 128-137页

作者：徐佳玮严明吴杰复旦大学计算机科学技术学院上海200433 复旦大学教育部网络信息安全审计与监控工程研究中心上海200433

随着数据中心网络承载的数据量的爆炸式增长,越来越多的框架、模型和应用选择使用RDMA技术来加速网络传输。RoCE是RDMA技术在以太网上的实现,但针对RoCE网络目前还没有有效的状态感知和度量体系,无法全面展现RDMA网络状态。对此,提出针... 详细信息

随着数据中心网络承载的数据量的爆炸式增长,越来越多的框架、模型和应用选择使用RDMA技术来加速网络传输。RoCE是RDMA技术在以太网上的实现,但针对RoCE网络目前还没有有效的状态感知和度量体系,无法全面展现RDMA网络状态。对此,提出针对RoCE的实时状态感知系统和多维度多层次的RDMA度量指标体系。采用旁路分布式流量捕获方式,运用Sketch算法全方位度量RDMA网络状态。系统易于部署且成本低,具有可扩展性和灵活性。实验结果表明,该系统能在较低误差下客观反映出RoCE网络状态,提供故障定位建议。

关键词： RDMA 状态感知网络度量 Sketch算法

Direct xPU:一种新型节点间通信优化的分布式异构计算架构

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2024年第6期61卷 1388-1400页

作者：李仁刚王彦伟郝锐肖麟阁杨乐杨广文阚宏伟清华大学计算机科学与技术系北京100084 浪潮(北京)电子信息产业有限公司北京100085 广东浪潮智慧计算技术有限公司广州510623

人工智能大模型应用的爆发式增长,使得难以依靠单一节点、单一类型的算力实现应用的规模部署,分布式异构计算成为主流选择,而节点间通信成为大模型训练或推理过程中的主要瓶颈之一.目前,主要由GPU,FPGA等头部芯片厂商所主导的各种计算... 详细信息

人工智能大模型应用的爆发式增长,使得难以依靠单一节点、单一类型的算力实现应用的规模部署,分布式异构计算成为主流选择,而节点间通信成为大模型训练或推理过程中的主要瓶颈之一.目前,主要由GPU,FPGA等头部芯片厂商所主导的各种计算架构的节点间通信方案还存在一些问题.一方面,为了追求极致的节点间通信性能,一部分架构选择使用协议简单而可扩展性差的点对点传输方案.另一方面,传统的异构计算引擎(例如GPU)虽然在内存、计算管线等算力要素方面独立于CPU,但在通信要素方面却缺少专属的网络通信设备,需要完全或部分借助于CPU通过PCIe等物理链路来处理异构计算引擎与共享网络通信设备之间的通信.所实现的Direct xPU分布式异构计算架构,使得异构计算引擎在算力要素和通信要素两方面均具有独立的、专属的设备,实现了数据的零拷贝,并进一步消除了节点间通信过程中处理跨芯片传输数据所带来的能耗和延迟.测试结果表明,Direct xPU取得了与追求极致的节点间通信性能的计算架构相当的通信延迟,带宽接近物理通信带宽的上限.

关键词：节点间通信 FPGA GPU RDMA 零拷贝

在线全文

学校读者我要写书评

暂无评论

面向大模型预训练的智算网络技术研究

电信科学 2024年

作者：王学聪冀思伟李聪中国电信股份有限公司研究院

随着人工智能的发展，大规模预训练模型在自然语言处理和计算机视觉等领域都取得了显著成果，促进了智算中心的建设。本文针对面向大模型预训练的智算网络关键技术展开研究，系统梳理了智算网络国内外最新的标准化进展，提出了一种面向... 详细信息

随着人工智能的发展，大规模预训练模型在自然语言处理和计算机视觉等领域都取得了显著成果，促进了智算中心的建设。本文针对面向大模型预训练的智算网络关键技术展开研究，系统梳理了智算网络国内外最新的标准化进展，提出了一种面向智算网络的目标架构，探讨了智算网络关键技术的原理，包括远程直接内存访问（remote direct memory access，RDMA）、IB（infiniband）、基于以太网的RDMA（RDMA over converged ethernet，RoCE）、集合通信等，同时也分析了智算网络目前存在的问题以及未来的发展趋势，本研究在推动智算网络技术发展、指导智算中心建设等方面具有重要意义。

关键词：智算网络 RDMA 大模型

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

数据中心的RDMA网络拥塞控制算法研究

数据中心的RDMA网络拥塞控制算法研究

作者：魏浩然北京邮电大学

学位级别：硕士

随着远程直接内存访问(Remote Direct Memory Access,RDMA)这一网络技术在数据中心内的大规模部署,分布式应用能够在高吞吐(200Gbps)和超低时延(低于10us每跳)的高性能网络下,以很低的CPU开销来传输数据。然而,随着分布式应用规模的扩大... 详细信息

随着远程直接内存访问(Remote Direct Memory Access,RDMA)这一网络技术在数据中心内的大规模部署,分布式应用能够在高吞吐(200Gbps)和超低时延(低于10us每跳)的高性能网络下,以很低的CPU开销来传输数据。然而,随着分布式应用规模的扩大,商用网卡使用的DCQCN拥塞控制算法已经无法有效缓解的大量Incast负载造成的拥塞。尽管利用基于优先级的流量控制(Priority-based Flow Control,PFC)的机制尽管可以避免拥塞造成的丢包,但是PFC可能引发拥塞扩散,队头阻塞等问题。因此,需要新的拥塞控制算法来实现高速网络低延迟、高带宽和高可靠性的目标。(1)提出了一种软件实现的拥塞控制机制。本文设计了 SECC这一拥塞控制机制。SECC利用RDMA语义的特点,通过零拷贝的分片和组装,实现了对上层应用的透明的、低开销的速率控制。实验结果表明,在不更换网卡的情况下,SECC能有效增强网卡对Incast流量的承载能力,在Incast负载任务下,开启SECC后可以分别降低了18.8%的平均完成时间和79.5%的尾部完成时间。(2)本研究提出了一种硬件综合利用RTT和ECN的硬件拥塞控制算法。本文设计了一种可以部署在最新的可编程硬件网卡(例如Mellanox ConnectX6-DX)中,无需对交换机进行修改的拥塞控制算法RECC。具体来说,RECC结合了 RTT的精确测量和ECN的快速拥塞响应,在发送端快速、精确地调整发送速率。此外,RECC有效识别间歇性Incast造成的拥塞,避免低负载期间的过度增速的情况,从而防止由于训练流量产生的开关Incast而导致错误的速率决策。本研究在商用RoCEv2网卡上实现RECC算法,实验结果表明,在无损网络的条件下,模拟分布式训练的流量,相比DCQCN,RECC最多降低了 34.8%的流完成时间和95%的PAUSE帧的持续时间。

关键词： RDMA 拥塞控制高速网络数据中心网络

面向数据中心网络的高性能无状态RDMA网卡研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向数据中心网络的高性能无状态RDMA网卡研究

作者：汪锡峥湖南大学

学位级别：硕士

为了应对不断扩大的应用规模并提供更好的服务质量,各服务提供商纷纷建立大型的数据中心。作为当代互联网的核心基础设施,数据中心对外表现出超强的算力、巨大的存储资源、超低的访问延时。这除了需要数据中心内部众多机器共同工作之外... 详细信息

为了应对不断扩大的应用规模并提供更好的服务质量,各服务提供商纷纷建立大型的数据中心。作为当代互联网的核心基础设施,数据中心对外表现出超强的算力、巨大的存储资源、超低的访问延时。这除了需要数据中心内部众多机器共同工作之外,还必须有足够高效的数据中心网络进行互联。运行在端系统上的协议栈是构成高性能网络的重要组成部分。由于卓越的性能表现,RDMA(远端内存直接访问,一种硬件协议栈)被广泛应用于数据中心网络。RDMA硬件协议栈为应用程序提供了超高的网络吞吐量、超低的访问延时和远低于TCP/IP网络协议栈的CPU利用率。但是由于协议栈运行所需的状态必须存储在网卡上,且网卡内存过小,导致了RDMA的可扩展性差。这具体体现在当网卡需要维护大量并发连接时,性能将会明显大幅下降。针对RDMA可扩展性差的问题,本文测量、分析了RDMA网卡可扩展性,并设计和实现了一种适用于高并发场景的新型无状态RDMA网卡StaR(Stateless RDMA NIC),本文的主要工作如下:(1)提出了对端存储连接状态的无状态网卡结构。本文通过分析得知RDMA网卡弱可扩展性的原因在于板卡内存难以存储大量连接状态。利用数据中心内部传输流量的不对称性,本文设计了利用低并发网卡来协助存储高并发网卡的状态信息的无状态网卡方案StaR。相比对称式的RDMA网卡架构,StaR提出了连接两端存储异构的网卡结构,通过在连接初期将状态信息从高并发网卡转移到低并发网卡的方式,取缔了高并发网卡的状态存储以及相应的状态获取行为。(2)设计了StaR网卡的整套传输协议。StaR针对一端完全无状态的网卡结构设计了新的专用数据包格式以及全套的传输协议。在不修改上层程序接口的前提下,StaR设计了连接建立阶段的状态传输流程、基于“数据包对”的数据传输流程、传输事务初始化/结束流程以及相应的可靠性与安全性机制。在一端完全无状态的前提下,StaR仅引入少量的传输开销,解决了RDMA的可扩展性瓶颈。(3)完成了StaR的原型系统实现与实验评估。本文在FPGA上实现了StaR方案,包括网卡架构和整套传输流程。基于仿真平台和小型实验床验证了StaR的可实现性。此外,本文测量评估了StaR在不同场景下的性能并与最新的相关工作进行比较。实验结果表明,在400个并发连接的场景下,StaR相比RDMA方案(使用与StaR相同的FPGA)和最新的软件解决方案Scala RDMA(一种软件调度方案)分别取得了4.13倍和1.35倍的吞吐量提升。

关键词：数据中心网络硬件网卡协议栈 RDMA 状态存储

基于RDMA的虚拟化安全网关系统设计与实现

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于RDMA的虚拟化安全网关系统设计与实现

作者：李永康中国科学院大学(中国科学院深圳先进技术研究院)

学位级别：硕士

远程直接内存访问(Remote Direct Memory Access,RDMA)技术以其数据零拷贝、绕过内核等特性实现了低延迟、高带宽的优势,被广泛地应用在数据中心应用中。同时随着虚拟化解决方案的提出,该技术逐渐被部署在云环境上。鉴于云中数据存储和... 详细信息

远程直接内存访问(Remote Direct Memory Access,RDMA)技术以其数据零拷贝、绕过内核等特性实现了低延迟、高带宽的优势,被广泛地应用在数据中心应用中。同时随着虚拟化解决方案的提出,该技术逐渐被部署在云环境上。鉴于云中数据存储和计算的敏感性,这种部署将使RDMA安全性成为保护用户数据访问的关键部分。然而,由于RDMA的数据传输绕过内核导致在内核上监测异常非常困难并且修改网络协议需要付出巨大的成本,基于RDMA网络通信的潜在安全问题一直没有得到有效的解决。具体而言,RDMA的安全问题主要是由协议设计和技术实现的特性所导致的,如数据包明文传输、网卡缓存数据以及数据传输绕过内核等。这些特性降低了通信延迟,但同时会引发RDMA网络中的内存未授权访问和拒绝服务攻击等问题,严重威胁网络安全。同时,RDMA技术将网络数据包的处理从CPU内核卸载到网卡设备上,使得直接在内核协议栈中实施安全机制变得不可能。为了解决这些问题,绝大多数研究工作都采用了优化协议和重新设计网卡的方法。这些方法虽然取得了较好的效果,但是有很高的部署成本。因此,如何在降低成本的同时保障云环境中的RDMA网络安全,是目前亟需解决的问题。受虚拟化中间层对网络流转发和控制的启发,本文通过对RDMA协议的分析以及模拟攻击的实验明确了RDMA网络在数据传输与资源占用方面的安全问题,并提出了一个基于RDMA的虚拟化安全网关系统。该系统不仅能够在软件层面实现更加灵活的网络安全防护,而且从控制路径和数据路径上提供了全面的安全保障,有效解决了目前RDMA安全研究上面遇到的困难和挑战。本文具体的工作包括以下几方面:(1)研究了RDMA在数据传输和资源占用方面的安全问题。本文分析了内存秘钥的明文传输、网卡缓存有限以及数据包元素的高度规律性等协议缺陷对RDMA数据传输造成的安全隐患,并通过模拟攻击实验明确了未授权的内存访问、队列对状态攻击及硬件资源拒绝访问攻击等安全问题。(2)探索了RDMA硬件计数器的机制并将其应用到安全防护中。本文分析了RDMA硬件计数器的具体含义和影响因素,并利用了长期被忽视的硬件计数器来检测数据路径的异常事件,在保证数据传输不被干扰的前提下实现了对RDMA数据路径的安全防护。(3)设计了一个虚拟化安全网关系统sv RDMA。物理世界中的网关负责网络流的转发与控制,其概念可以映射到网络虚拟化框架的中间层(即虚拟化网关)中。通过在虚拟化网关中施加安全机制,可以从软件上解决RDMA绕过内核导致无法有效监控的痛点,从而更加灵活地保障RDMA网络控制路径的安全且部署成本低。因此,本文利用该思想从虚拟化层面强化了RDMA的安全控制,并结合上述数据路径的检测提供了更加全面的安全机制。此外,本文还提出了一种硬件资源预分配方法来动态分析实例对资源的需求并防止恶意占用资源的发生。(4)实现了基于开源RDMA虚拟化框架Free Flow的原型系统。本文在Docker容器环境下通过系统各组件的协同以及共享内存、netlink等技术完成了sv RDMA系统的实现,并籍此对所提方法和机制进行了功能测试和性能测试。结果显示,sv RDMA系统可以实现秒级的RDMA网络异常事件检测与防御以及3%以内的额外开销。总而言之,本文针对RDMA网络安全形势严峻但无法受到有效监控的问题,从软件层面出发在虚拟化中间层上强化了RDMA安全控制,通过控制路径和数据路径的全面防护实现了高效、低损耗且低成本的虚拟化安全网关系统,提供了保护RDMA网络安全的新思路。本工作可以更有效地促进RDMA技术在云计算环境下的安全部署与应用,对高性能网络传输下的数据中心安全具有重要的应用价值。

关键词： RDMA 虚拟化安全网关拒绝服务攻击硬件计数器

Infiniband网络架构下RTI通信机制研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电子学报 2016年第2期44卷 327-333页

作者：邢驰李伯虎北京航空航天大学自动化科学与电气工程学院北京100191 北京仿真中心北京100854 北京市复杂产品先进制造系统工程技术研究中心北京100854 复杂产品智能制造系统技术国家重点实验室北京100854

复杂系统的协同仿真中需要运行支撑软件RTI(Run Time Infrastructure)来解决异构模型、异构仿真软件间的数据交互的问题.但RTI的TCP/IP通信机制却无法使得HPC(High Performance Computer)的高速网络Infiniband(IB)在仿真中发挥最大的优... 详细信息

复杂系统的协同仿真中需要运行支撑软件RTI(Run Time Infrastructure)来解决异构模型、异构仿真软件间的数据交互的问题.但RTI的TCP/IP通信机制却无法使得HPC(High Performance Computer)的高速网络Infiniband(IB)在仿真中发挥最大的优势.针对这一问题,本文提出在IB网络架构下基于RDMA(Remote Direct Memory Access)通信机制对RTI进行优化,并以开源HLA项目CERTI软件为基础,研制运行在IB网络下的IB-CERTI软件,最后在不同网络环境下进行对比实验,实验结果证明了IB—CERTI软件在仿真通信中的高效性,特别是仿真邦员间的交互数据量越大,越能提高仿真数据传输效率.

关键词： Infiniband网络 RDMA CERTI 高层体系结构高性能计算机

在线全文

学校读者我要写书评

暂无评论

一种面向不可靠网络的快速RDMA通信方法

湖南大学学报（自然科学版） 2015年第8期42卷 100-107页

作者：王绍刚徐炜遐吴丹庞征斌夏军国防科学技术大学计算机学院湖南长沙410073

大数据量的远程内存访问(RDMA)传输是并行计算机中最基本的通信模式之一,对系统整体性能的影响很大.随着并行计算机系统的规模扩大,系统的容错性设计面临着很大的挑战,互连网络具有链路不可靠、自适应路由等特点,如何面向不可靠网络实... 详细信息

大数据量的远程内存访问(RDMA)传输是并行计算机中最基本的通信模式之一,对系统整体性能的影响很大.随着并行计算机系统的规模扩大,系统的容错性设计面临着很大的挑战,互连网络具有链路不可靠、自适应路由等特点,如何面向不可靠网络实现可靠的端到端RDMA传输是并行系统体系结构设计的一大难题.提出一种面向不可靠网络下的快速RDMA传输方法,方法能够在节点控制器芯片上高效实现,对上层驱动软件和应用提供可靠的端到端RDMA传输服务.与传统的建立连接的方法相比,方法的硬件设计复杂度大大降低;方法另一优点是实现了按需重传,避免了传统方法中一次RDMA传输出现错误时,需要重传整个RDMA数据的开销,在相同的错误概率下,新方法的传输效率得到了很大的提升.

关键词：远程内存访问 RDMA MPI 滑动窗口