检索结果-南通市图书馆

面向NVMe和rdma的分布式存储系统研究与实现

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

面向NVMe和RDMA的分布式存储系统研究与实现

作者：涂云山华东师范大学

学位级别：硕士

近十年中,随着新型存储和高速网络技术的飞速发展,硬件技术取得了显著的进步,进而使得设备的访问延迟也明显地降低。在存储方面,新型非易失性存储协议(NVMe)的浮现,使得固态盘的存取时延可低至十微秒,带宽可高达五十五万IOPS,并且,面向... 详细信息

近十年中,随着新型存储和高速网络技术的飞速发展,硬件技术取得了显著的进步,进而使得设备的访问延迟也明显地降低。在存储方面,新型非易失性存储协议(NVMe)的浮现,使得固态盘的存取时延可低至十微秒,带宽可高达五十五万IOPS,并且,面向数据中心的非易失性内存系列产品性能已经可以与DRAM相媲美,例如,英特尔?傲腾?技术。在网络方面,传统高性能领域所采用的高速远程内存直接访问(rdma)技术,逐渐开始在数据中心普及,这也使不同节点间一次数据传输的往返时延可以小于五微秒。因此,对于大规模数据处理应用来说,传统的软件技术已经很难适应于新型硬件,已经成为新的性能瓶颈。针对这些问题,本文展开了一系列研究和讨论,设计实现了一个面向新型硬件的、极低时延的、支持混合多种负载的分布式存储原型系统,PlutoX。在这个原型系统中,本文提出了一整套面向新型硬件的、定制化的分布式存储技术,并且,通过大量的实验,从多个角度评估了原型系统的整体性能。本文的主要贡献,如下:(1)提出了一种面向新型硬件的、定制化的分布式系统框架。系统内部应该具有更高的内部相关性,没有功能重叠,采用轻量级用户空间的I/O软件堆栈,进一步释放了新型高速硬件的潜在性能。(2)提出了一个面向关系表的编程接口,上层执行引擎可以像关系型数据库中一样的方式进行数据操作,以至于上层执行引擎可以快速实现不同的查询优化器,从而进一步支持OLTP、OLAP和HTAP多种混合工作负载。(3)提出了一种专用的I/O队列策略。考虑到NVMe协议的多队列特性,本文提出了一种用于隔离读写请求的专用队列,进一步改善了读写请求的响应延迟。与此同时,PlutoX原型系统也减少了I/O路径上的内存拷贝,既提高了内存的使用效率,又降低了不必要的拷贝开销。(4)实现了一种混合的数据传输策略。在存储原型系统中,基于两种不同的rdma通信模型,本文逐步地分析了多种不同组合方式下数据传输的开销。鉴于不同模块的需求,PlutoX系统分别采用不同的数据传输方式,这种混合的方式提高了分布式系统内部数据传输效率。综上所述,这两种新型硬件技术不仅提高硬件性能,也推动了软件技术的变革。本文研究了基于NVMe和rdma的分布式存储系统存在的问题,设计一整套面向新硬件的、定制化的存储技术,并实现了一个可工作的原型系统,PlutoX,与主流的分布式存储系统进行了对比。

关键词：新硬件 NVMe rdma 分布式存储数据处理

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于rdma和NVM的分布式消息队列研究

基于RDMA和NVM的分布式消息队列研究

作者：罗威重庆大学

学位级别：硕士

在分布式环境中,消息队列的引入可有效地解决不同子系统之间的通信问题,同时降低各系统之间的耦合度,保证消息的异步消费和流量削峰。现有的消息队列将消息存放在内存或磁盘中,通过以太网传输数据,无法同时兼顾消息持久化和高吞吐量。... 详细信息

在分布式环境中,消息队列的引入可有效地解决不同子系统之间的通信问题,同时降低各系统之间的耦合度,保证消息的异步消费和流量削峰。现有的消息队列将消息存放在内存或磁盘中,通过以太网传输数据,无法同时兼顾消息持久化和高吞吐量。近年来出现的新型存储与网络技术带来了突破此困境的机遇。一方面,新型的非易失存储器(Non-Volatile Memory,NVM)具有内存级的读写速度和可按字节寻址等优点;另一方面,远程内存直接存取技术(Remote Direct Memmory Access,rdma)可以直接读写远端内存,不需要占用远端的CPU。本文从消息的持久化存储和消息的传输机制两方面进行优化,利用NVM和rdma的特性,提出兼顾消息持久化和高吞吐量的分布式消息队列FlashQ,在保证消息可靠交付的同时,实现高吞吐量和低时延的消息传输。本文的主要贡献如下:(1)提出基于NVM的高性能消息存储技术。现有的消息队列大都将消息保存在基于磁盘等块设备的文件系统中实现消息的持久化保存,存取消息需要经过复杂的I/O软件栈。FlashQ利用NVM的特性,通过进程的虚拟地址访问消息文件,避免慢速I/O软件栈。此外,FlashQ将消息元数据映射在进程的虚拟地址空间,实现对消息的快速随机定位。(2)提出基于rdma单边操作的快速消息无锁传输机制。通过rdma WRITE、rdma READ单边操作直接存取远端消息数据,无需远端CPU的参与,实现高吞吐量、低时延的消息传输。本文通过将Topic划分为多个Partition的分区机制,避免消息发布流程中远程写入消息冲突,实现远程写入消息的无锁化。针对远程消息写入流程,本文提出基于消息生产速度和传输速度的自适应消息批处理策略,降低传输时延,提高传输带宽。(3)提出基于生产时间的消息快速索引机制。FlashQ设计了基于消息生产时间的消息索引机制,通过建立多精确度的分层索引结构以及检索机制,快速定位到每秒生产的消息,从而提高消息回溯的效率。(4)设计系统容灾机制和负载均衡策略保证FlashQ的高可用性。针对系统容灾机制,FlashQ对所有消息文件进行冗余备份,在服务器发生单点故障时快速恢复。针对负载均衡策略,FlashQ将各Topic Partition尽量均匀的分布在不同的消息服务器上,避免单机存储空间不足,同时避免由于单机连接数量过多争夺带宽而引起的传输性能下降。最后,基于提出的设计,本文在Linux环境中实现了分布式消息队列FlashQ,并设计实现了消息生产、消费的测试工具进行验证实验。实验结果表明,FlashQ在传输常用的长度为1KB的消息时,单Topic Partition发布消息的吞吐量接近69万条/秒,是Qpid(rdma)的6.4倍,是Kafka的7.5倍;连续生产1000条消息时,平均发布延迟仅13微秒左右,是相同环境下Qpid(rdma)的1/20左右,Kafka的1/1400左右;以推模式消费时,吞吐量接近69万条/秒,是同样采用推模式的Qpid(rdma)的6.4倍;以拉模式消费时,在每次只拉取一条消息的情况下,吞吐量达到近16万条/秒,是Kafka的近4倍。

关键词：分布式消息队列持久化新型非易失存储器 rdma

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

使用rdma加速分布式深度学习

使用RDMA加速分布式深度学习

作者：刘畅上海交通大学

学位级别：硕士

在深度学习领域,增加训练样本数量或增加模型参数数量是极大提升深度学习应用解决现实问题准确率的重要手段。单个GPU无论在计算能力还是内存大小方面都无法满足大规模深度学习训练的需求。为了使用更多的计算能力并且缩短训练时间,使... 详细信息

在深度学习领域,增加训练样本数量或增加模型参数数量是极大提升深度学习应用解决现实问题准确率的重要手段。单个GPU无论在计算能力还是内存大小方面都无法满足大规模深度学习训练的需求。为了使用更多的计算能力并且缩短训练时间,使用大量GPU节点的分布式训练已经成为解决大规模深度学习问题的关键方法。拥有极高带宽与极低延迟特性的rdma网络,例如InfiniBand与RoCE,在需要大量数据通信的大规模分布式训练过程中可以发挥重要的作用。已有深度学习框架大部分是基于传统的TCP/IP技术实现数据通信,在向rdma网络移植时,有不同的技术方法可以选择:IPoIB、MPI以及rdma Verbs。在这三种方法的选择上,需要在易用性以及性能方面做出权衡。不合适的决策可能导致复杂且难以维护的代码实现。本文提出了修改模块化的深度学习框架MXNet使其可以在rdma网络上运行的移植与应用方法。我们将深度学习训练过程的通信部分划分为三个层次,分别是点对点通信,Allreduce通信以及端到端训练。依据这种层次划分,我们提出了增量式的移植与优化方法,使得性能的提升更有据可循,包括动态切换、用户管理的注册缓存池和轻量级队列等。实验结果表明我们的方法在使用100个GPU时并行效率可以从IPoIB版本的53%提升到96%,接近线性加速。而且对比于MPI版本,我们的移植方法仅需要修改最底层的数据通信部分,所需改动量小,却能够对上层应用模块保持透明,使得很多例如自动恢复、松散的一致性模型等高级特性得以保留。

关键词： rdma 深度学习计算机网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于rdma的键值存储系统性能优化

基于RDMA的键值存储系统性能优化

作者：王成南京大学

学位级别：硕士

随着电子商务、社交网络以及移动互联网的蓬勃发展,互联网用户群体正伴随着这种高速发展的浪潮逐渐壮大,与此同时海量的数据正不断地产生、汇集。这些巨量的数据对传统的关系型数据库带来了重大挑战,而键值存储系统作为一种非关系型数... 详细信息

随着电子商务、社交网络以及移动互联网的蓬勃发展,互联网用户群体正伴随着这种高速发展的浪潮逐渐壮大,与此同时海量的数据正不断地产生、汇集。这些巨量的数据对传统的关系型数据库带来了重大挑战,而键值存储系统作为一种非关系型数据存储系统,拥有着更好的性能和可扩展性。然而面对动态数据的不断增加和集群规模的不断扩大,网络的性能开销成为了基于内存的键值存储系统的性能瓶颈。由于高性能网络的发展,数据中心逐渐引入了高速网络中的rdma(Remote Direct Memory Access)技术。rdma有着高带宽、低延迟、轻CPU负荷的特点,对应用起到了性能保障,为键值存储系统设计提供了新的思路。以目前的技术,虽然可以在不改写应用的情况下,直接利用IPoIB(Internet Protocol over InfiniBand)的方式使用rdma网络,但是这种方式并没有最大化rdma的性能。为了获取rdma高速网络传输服务,键值系统需要在应用层面使用rdma的单边元语,并负责管理网络传输。针对以上问题,本文结合高性能网络中的rdma技术,设计并实现了高性能、低CPU负载的键值存储系统Chequer。主要的工作包括以下几个方面:(1)首先结合rdma元语的特性,重新设计了键值系统的操作流程:get操作为了降低服务器端负载,使用了 rdma的read元语,真正做到服务器的CPU旁路;put操作为了减少数据的拷贝操作,兼顾性能和工作负载,提供了两种传输模式。设计了带有自校验功能的数据结构,来解决客户端与服务器端的读写竞争问题。(2)其次设计了基于线性探测的共享hash表,来解决客户端缓存失效的问题以及提高hash命中率减少客户端的读取轮数,进一步提高了系统的性能。(3)最后Chequer系统实现的时候,针对网络模块、内存管理以及客户端传输模式选择这三个方面进行了进一步的优化。rdma网络传输模块使用队列复用的方式解决了网络连接的可扩展性问题,并基于事件驱动的模式处理消息,达到了高吞吐量和低时延的效果。针对服务器可能成为性能瓶颈的问题,设计并实现了基于Buddy内存管理算法的缓冲区内存池,以快速响应服务器端的申请和释放内存块的请求。结合服务器端的负载以及相关硬件性能,以自适应调节参数的方式,为客户端的put操作选择合适的传输模式。通过实验测试与分析对比,Chequer系统有着较大性能的提升。

关键词：键值存储 rdma hash表高性能网络内存管理

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于rdma的键值存储系统传输优化与容错

基于RDMA的键值存储系统传输优化与容错

作者：蒋源南京大学

学位级别：硕士

随着内存计算逐渐成为主流的大数据分析方式,内存键值存储系统因其访问速度快、可扩展性强而被广泛应用。但是面对日益增长的大规模数据处理需求,网络性能逐渐成为了键值存储系统的一个主要瓶颈。另一方面,远程直接内存访问（Remote Dir... 详细信息

随着内存计算逐渐成为主流的大数据分析方式,内存键值存储系统因其访问速度快、可扩展性强而被广泛应用。但是面对日益增长的大规模数据处理需求,网络性能逐渐成为了键值存储系统的一个主要瓶颈。另一方面,远程直接内存访问（Remote Direct Memory Access,rdma）技术允许机器从另一台机器的预先注册存储区中读写内存而不涉及远程CPU中断,能够实现低延迟、高吞吐量和低CPU开销,为消除上述瓶颈提供了机遇。然而,现有基于rdma的键值存储系统大多简单直接地应用rdma,缺乏对键值存储系统自身特征的考虑,从而难以充分挖掘rdma的传输性能优势。此外,针对键值存储系统常见的存储节点故障问题,现有系统主要采用多副本备份策略或纠删码容错策略,但前者会造成高额内存开销,而后者会带来高额CPU占用,从而影响系统整体性能。针对内存键值存储系统的上述问题,本文基于rdma verb通信语义提出了一种传输优化方案,并建立了基于纠删码与rdma计算卸载的容错机制,从而提高了传输效率、降低了CPU占用与容错冗余开销。具体贡献如下:（1）针对rdma传输性能未能充分挖掘的问题,本文采用更低时延的单边rdma write语义重新设计内存键值存储系统的GET指令与PUT指令,使得一次往返传输,即可完成数据访问的GET指令,从而极大地降低传输时延,并释放客户端CPU开销。针对单边write操作旁路远端内核带来的远端读写竞争问题,提出了在服务器端rdma内存中引入监听线程与优先队列,将多客户端并行指令转成轮询式串行处理的解决方案。（2）针对键值存储系统节点故障常态化问题,建立了基于纠删码与rdma计算卸载的容错机制。该机制使用存储冗余较小的纠删码方案进行数据冗余与校验,并针对采用纠删码带来的高额CPU计算量的问题,利用rdma网卡硬件的可编程能力,将纠删码的编解码计算由CPU卸载到网卡进行,与发送端write高性能传输组成流水线交替式工作,从而解放发送端CPU资源,降低服务器端容错存储和恢复解码的开销。基于真实环境的实验结果表明,与原有键值存储系统相比,本文提出的设计能够降低时延32%,提升客户端吞吐率16%,降低客户端CPU负载60%,且减少存储开销65%。

关键词：键值存储 rdma 高性能传输容错卸载

基于rdma非对称性的异步图处理系统优化研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于RDMA非对称性的异步图处理系统优化研究

作者：姜志浩华中科技大学

学位级别：硕士

现实世界中的许多问题都可以建模为图问题,图数据的规模也处于不断增长的状态。为了能够有效地对大规模图数据进行分析和计算,分布式图处理系统应运而生。经典的分布式图处理系统通常采用传统的TCP/IP通信,然而在呈现幂律分布的真实图... 详细信息

现实世界中的许多问题都可以建模为图问题,图数据的规模也处于不断增长的状态。为了能够有效地对大规模图数据进行分析和计算,分布式图处理系统应运而生。经典的分布式图处理系统通常采用传统的TCP/IP通信,然而在呈现幂律分布的真实图场景下,基于点切分的异步图处理系统的顶点平均副本数迅速增加,TCP/IP通信的速度又较为缓慢,从而导致主副本之间的通信开销明显增长,成为系统开销的瓶颈。主副本之间的频繁通信是造成系统通信开销过大的主要原因。由于远程直接内存访问（Remote Direct Memory Access,简称rdma）具有低延迟、高带宽和低CPU开销的特点,将TCP/IP通信更换为rdma通信便会带来少量的加速效果。而且,幂律图的主副本之间的通信结构呈现一对多的特性,利用这种结构设计了一种基于rdma非对称性（即一对多的环境下,out-bound rdma的开销比in-bound rdma的开销要高得多）的高效通信机制。在这种机制下,in-bound rdma通信和out-bound rdma通信能分开分布在两部分机器上,以便更好地利用rdma非对称性,从而减少通信开销。为了对所提出的优化方案进行评价,在经典的异步图处理系统Power Graph上实现了该优化方案,并采用大规模真实图数据集进行测试。实验结果表明,在不同类型的图上运行Page Rank算法,基于rdma非对称性的优化后的系统的运行时间相比于Power Graph系统降低了约35%。

关键词：大数据图处理通信瓶颈 rdma 非对称性

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

FC-AE-rdma技术的研究与实现

FC-AE-RDMA技术的研究与实现

作者：罗烨电子科技大学

学位级别：硕士

随着军用武器系统电子综合化技术的日益发展,数据总线技术已成为系统综合化的关键技术。它为整个的武器电子系统间信息的交互提供了高可靠且实时的通信链路,成为影响系统性能的关键因素之一。由于光纤通道独特的性能,并在长期的应用过... 详细信息

随着军用武器系统电子综合化技术的日益发展,数据总线技术已成为系统综合化的关键技术。它为整个的武器电子系统间信息的交互提供了高可靠且实时的通信链路,成为影响系统性能的关键因素之一。由于光纤通道独特的性能,并在长期的应用过程中表现出的优异的特性,使其能够适应军用平台这样苛刻环境,并满足对于数据传输(音频流,视频流,分布式数据流)的高要求,无疑使其作为了军用数据总线技术的最佳选择。光纤通道(Fibre Channel)协议是美国国家标准委员会(ANSI)的X3T11小组制定的一种高速串行协议。光纤通道是一种基于标准的网络结构,它的标准定义了物理层,传输控制方式以及与TCP/IP、SCSI-3、HIPPI(High Performance Parallel Interface,高性能并行接口)和其他一些协议的上层接口。为了更好的应用于航空电子环境,光纤通道提供了一组协议子集FC-AE(Fibre Channel Avionics Environment),该协议子集能够在航空电子环境中应用,为了明确该套协议在整个电子环境系统中的应用方式,其规范了航空环境中光纤通道交换网络与拓扑连接设备的选择。其中FC-AE-rdma作为FC-AE的子协议,定义了FC-AE对rdma的上层协议映射,其目的之一就是允许利用FCP协议,通过建立映射而使用熟悉的rdma概念,在航空系统的节点所提供的必要服务中支持低延迟,低通信消耗。本文首先对光纤通道协议进行介绍,对FC协议栈进行了重点分析,包括了FC端口类型,拓扑结构,FC帧头信息和服务类型等。然后对传统rdma协议的产生背景,工作原理进行介绍,通过对FCP标准与应用于航空电子环境下的基于FC技术的FC-AE-rdma协议,以及网络软件所捕获的数据的分析,详细阐述了FC-AE-rdma的数据传输的通信流程,提出了一个可以实现的原型节点样机模型。并介绍了模型的组成结构,给出了各组成结构的详细设计方案。最后,为了考察设计的合理性和可行性,我们搭建了测试环境,并对测试结果进行分析。

关键词：光纤通道协议 FCP协议 rdma FC-AE-rdma PCI-Express Linux驱动程序

基于rdma的大数据系统通信机制优化与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于RDMA的大数据系统通信机制优化与实现

作者：梁龙龙国防科学技术大学

学位级别：硕士

随着大数据时代的来临,数据量的日益剧增,计算机系统发生了重大的变革,很多应用需要扩展到大型的集群上去,才能满足大数据计算和存储的急切需求。然而应用场景的多样性导致了集群非常低的性能,比如流式计算、迭代算法和交互式处理,从而... 详细信息

随着大数据时代的来临,数据量的日益剧增,计算机系统发生了重大的变革,很多应用需要扩展到大型的集群上去,才能满足大数据计算和存储的急切需求。然而应用场景的多样性导致了集群非常低的性能,比如流式计算、迭代算法和交互式处理,从而引发了针对不同应用而设计计算模型的快速发展。Spark是一个基于内存计算的开源的集群计算系统,提供了比Hadoop更加丰富的MapReduce模型,可以快速在内存中对数据集进行多次迭代。因此,Spark非常适合迭代式的机器学习,以及交互式数据分析。Tachyon作为分布式的内存文件系统,将内存存储的功能从Spark系统中分离出来,使得Spark更专注于计算,达到系统更高的执行效率。而如今,大数据系统中主流的网络数据传输技术都是基于以太网的套接字编程,其上层是TCP/IP协议,这种传统方式中所有的数据要在用户缓冲区和内核缓冲区进行多次数据拷贝,需要极大的内存带宽和大量的读写操作,从而降低了CPU的利用率,消耗内存带宽,大大增加了端到端的延迟网络带宽在很大程度上影响了系统的传输性能。网络通信已成为大数据系统的一个非常关键的性能瓶颈和需要解决的重大问题,特别是面对网络I/O密集型的应用。本文通过充分挖掘rdma(Remote Direct Memory Access)网络技术低延迟和操作系统旁路的特征,利用InfiniBand高性能互联的优势重新构建Spark系统和Tachyon系统的网络数据通信模块,从而提升了大数据系统的运行效率,降低了CPU占用率。首先,本文针对Spark系统中网络传输数据Shuffle涉及的NIO通信机制,设计和实现了基于rdma技术的网络数据传输模块,同时针对新建rdma连接时延迟较大和消息池数据传输速率等问题进行优化工作,设计了动态建立网络连接与适应性数据消息池,从而提高高性能网络的利用效率。最后通过实验证明了基于rdma的Spark系统,不仅使得系统整体运行效率得到了显著提升,而且同时降低了系统平均内存使用率和CPU占用率。其次,本文针对Tachyon系统中的远程读操作的网络数据传输模块,设计与实现了基于rdma技术的网络数据传输方式。同时一方面设计了一个零字节的请求消息,降低网络通信开销;另一方面将数据块传输转变为数据流模式,减小重复数据请求。最终通过实验测试,显示了基于rdma的Tachyon系统的远程读操作性能显著提升,同时CPU占用率降低。

关键词： rdma InfiniBand 套接字 Spark Tachyon

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于rdma的数据传输策略优化与实现

基于RDMA的数据传输策略优化与实现

作者：刘冰国防科技大学

学位级别：硕士

在大数据的时代背景下,海量数据的增长,大数据处理框架和深度学习平台不断演进,以更加高效地从海量数据中获取得到有用信息。Apache Spark作为大规模数据处理的快速通用计算引擎,其Shuffle阶段需要访问许多本地和远程机器上的文件,磁盘... 详细信息

在大数据的时代背景下,海量数据的增长,大数据处理框架和深度学习平台不断演进,以更加高效地从海量数据中获取得到有用信息。Apache Spark作为大规模数据处理的快速通用计算引擎,其Shuffle阶段需要访问许多本地和远程机器上的文件,磁盘I/O和网络I/O密集,会对源机器和目标机器上的操作系统造成很大负担。使得Apache Spark无法充分利用高速互连网络所提供的性能优势,致使系统的整体性能不佳。这已成为Apache Spark的主要性能瓶颈。对于深度学习平台技术,研究人员快速认识到深度学习与大规模高性能计算具有着非常相似的特征,开始使用MPI语义的AllReduce进行数据通信。另一方面,随着硬件价格急剧下降,目前大多数数据中心都配备了高性能的高速互连网络InfiniBand,可以利用其高带宽低延迟的特性来实现更为高效的数据传输策略,以加速Spark Shuffle的数据传输和提升深度学习的训练效率。本文基于rdma技术的特性来进行数据传输策略的研究与优化,主要工作和创新点如下:（1）基于rdma的Spark Shuffle的设计与实现。基于Apache Spark的系统架构设计,分析Shuffle阶段的数据流动。提出了一种混合方法来支持Apache Spark中的数据通信,将传统的套接字通信与基于InfiniBand的rdma数据传输相结合,使用rdma经由Java本地接口（Java Native Interface,简称JNI）来执行Shuffle操作,而Spark中所有其他通信操作仍然调用Netty模块。基于rdma的设计使用分层内存池来避免频繁的内存分配,并采用使用SEND/RECV和rdma READ来分别传输小型消息和大型消息。基于rdma技术来加速Spark Shuffle的数据传输,能够透明地为现有的Spark应用程序带来极大的性能收益。（2）基于rdma的高性能聚合通信库的研究与实现。针对深度学习中的分布式训练场景,提出了Mobius聚合通信库,其逻辑架构分为传输层、算法层、策略层和输入层。在传输层封装TCP Sockets和rdma通信,算法层经由接口调用传输层实现,策略层提供对通信协议和通信算法的动态选择。Mobius聚合通信库的性能优于gloo,但距离NCCL2还有一定差距。

关键词： rdma InfiniBand Spark Shuffle 聚合通信库