检索结果-南通市图书馆

基于MXNet和Horovod的分布式深度神经网络训练通信分析与优化

在线全文

学校读者我要写书评

暂无评论

基于MXNet和Horovod的分布式深度神经网络训练通信分析与优化

作者：汪杨海国防科技大学

学位级别：硕士

分布式深度神经网络训练已被广泛部署在大规模计算集群上,训练过程中梯度和参数的密集通信和同步代价正成为分布式深度学习训练的性能瓶颈。有效地测量通信过程,理解训练整体流程对于发现和优化此类通信瓶颈至关重要,然而,现有的许多通... 详细信息

分布式深度神经网络训练已被广泛部署在大规模计算集群上,训练过程中梯度和参数的密集通信和同步代价正成为分布式深度学习训练的性能瓶颈。有效地测量通信过程,理解训练整体流程对于发现和优化此类通信瓶颈至关重要,然而,现有的许多通信测量工具和通信优化方法仍然存在严重的局限性。本文在分布式深度学习通信优化领域进行了两项研究。一、优化深度学习框架MXNet中的通信测量工具。二、解决流行通信框架Horovod使用TCP协议时的通信瓶颈。首先,本文首次尝试在深度学习框架MXNet中提出一种开源的、细粒度的、用户友好的通信测量工具v Sketch DLC。现有的许多通信测量工具,如MXNet profiler,不能同时满足三个要求,即细粒度地测量低层次的通信操作,占用尽量少的计算资源,和提供便于用户分析的综合测量结果,因此用户难以快速发现通信瓶颈。v Sketch DLC可以追踪深度学习框架和通信库接口之间的低层通信事件,捕获设备间的端到端通信。它支持以标准格式生成通信记录,因此用户只需使用Chrome Trace Viewer等标准可视化工具即可分析通信记录。此外,v Sketch DLC还能够使测量行为不影响训练性能。我们进行了大量实验以验证v Sketch DLC对MXNet的有效性。实验结果表明,v Sketch DLC使用户可以通过友好的交互分析通信记录,观察不同通信之间的关系,从时间、迭代、DNN层等多个角度识别潜在的训练瓶颈,以寻求提高训练性能的途径。其次,本文从分布式训练的整体角度出发对现有公有云上Horovod框架中的通信瓶颈进行优化。在公有云GPU集群上进行分布式深度学习训练是最受推荐的做法之一,现有的公有云GPU数据中心,如Amazon EC2和Alibaba GPU云,通常配备商品高速以太网和TCP网络。然而,在这种配置的公有云上,当前最流行的分布式通信框架之一Horovod难以取得与集群配置相匹配的性能。这与Horovod难以很好地利用CPU资源来缓解TCP协议栈开销有关,此时只对上层算法进行优化或提升网络性能都无法解决通信瓶颈。本文首次尝试改进Horovod的消息传递接口,解决在基于TCP的公有云GPU集群中部署Horovod时计算和通信能力不匹配的问题。我们提出了Fast Horovod,利用更多低成本的辅助CPU通信进程并行传输消息来加快通信速度,提升对高成本GPU资源和网络带宽资源的利用率,实现具有成本效益的分布式训练。实验结果表明,Fast Horovod可以在配备TCP的公有云集群上明显加速分布式训练中的通信,其分别使训练Alex Net和VGG16模型的速度提高了64.5%和72.6%。

关键词：分布式深度学习通信测量工具通信优化 Horovod MXNet

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

关于城市供暖系统通信优化升级的建议

中国新通信 2012年第24期14卷 55-55页

作者：陈秋良陈轶南京天石软件技术有限公司

一、我国城市供热系统通信技术发展现状随着我国改革开放的不断扩大与深入，我国的能源工业也有了很大的进步与发展。在这二十年中，各式电站的建设已经有了很大的飞跃。我国城市集中供热广泛应用的热源主要是热电厂和集中锅炉房。目前... 详细信息

一、我国城市供热系统通信技术发展现状随着我国改革开放的不断扩大与深入，我国的能源工业也有了很大的进步与发展。在这二十年中，各式电站的建设已经有了很大的飞跃。我国城市集中供热广泛应用的热源主要是热电厂和集中锅炉房。目前集体供热所采用的能源主要是煤炭，并且在今后很长一点拾起之内，煤炭仍然是城市集体供热的主要能源。

关键词：城市供暖系统通信优化城市供热系统技术发展现状能源工业城市集中供热改革开放锅炉房

维普期刊数据库博看期刊

信息战电子对抗中大数据引导通信优化仿真技术研究

在线全文

学校读者我要写书评

暂无评论

移动信息 2015年第12期 28-28页

作者：孙艳广东省电信规划设计院有限公司广东广州510630

随着现代电子技术的发展,在当代信息战中,电子对抗大数据需要依赖先进的通信技术.而在实际的电子对战中,大量的数据信息会一起涌入网络,轻则系统运行变慢,重则导致系统瘫痪,这是电子对抗中面临的严重问题.从传统角度讲,通常的做法是将... 详细信息

随着现代电子技术的发展,在当代信息战中,电子对抗大数据需要依赖先进的通信技术.而在实际的电子对战中,大量的数据信息会一起涌入网络,轻则系统运行变慢,重则导致系统瘫痪,这是电子对抗中面临的严重问题.从传统角度讲,通常的做法是将信息源屏蔽或者增加通信通道容量,但是这种做法具有明显的滞后性、被动性,迫切需要新的优化方案.基于此,对信息战电子对抗中大数据引导通信优化仿真技术进行了研究,希望能够对相关工作人员有所助益.

关键词：信息战电子对抗大数据引导通信优化

来源：评论

学校读者我要写书评

暂无评论

无线传感网络通信优化仿真分析

电子技术与软件工程 2014年第9期 79-79页

作者：谢娅娅荆楚理工学院湖北省荆门市448000

在无线传感网络的设计运行过程中,选择合理的通信方式对于整个网络的工作效率的提升具有非常重要的作用,在传统的通信方式构建方法中,无法满足具有较大数量离群节点的无线传感网络的通信需求,本文就在对传统的节点计算方式进行简单分析... 详细信息

在无线传感网络的设计运行过程中,选择合理的通信方式对于整个网络的工作效率的提升具有非常重要的作用,在传统的通信方式构建方法中,无法满足具有较大数量离群节点的无线传感网络的通信需求,本文就在对传统的节点计算方式进行简单分析的基础上,提出了相关的无线传感网络通信优化计算方法,对于整个网络的通信效率的提升都具有积极的作用。

关键词：无线传感网络通信优化仿真分析

在线全文

学校读者我要写书评

暂无评论

分布存储系统中优化通信的冗余计算分割

计算机学报 2003年第2期26卷 180-187页

作者：陈莉张兆庆冯晓兵中国科学院计算技术研究所北京100080

针对并行循环套序列 ,提出一种冗余计算分割的通信优化方法 .根据数据流分析 ,文中给出用以确定每个循环套的冗余计算量的一般方法 ,并在此基础上提出冗余计算分割的实现和判定 .针对规则依赖的程序 ,该文还提出了一个高效的冗余计算分... 详细信息

针对并行循环套序列 ,提出一种冗余计算分割的通信优化方法 .根据数据流分析 ,文中给出用以确定每个循环套的冗余计算量的一般方法 ,并在此基础上提出冗余计算分割的实现和判定 .针对规则依赖的程序 ,该文还提出了一个高效的冗余计算分割的实现方法 .该技术已经在一个并行编译器中实现 ,试验结果表明 ,它比传统的通信优化技术有明显的优越性 .

关键词：分布存储系统冗余计算分割并行编译冗余计算计算分割通信优化

在线全文

学校读者我要写书评

暂无评论

SMP机群系统上优化通信的并行任务调度

中国科学（E辑） 2001年第5期31卷 442-454页

作者：郑纬民杨博林伟坚李志光清华大学计算机系北京100084 香港理工大学电子与信息工程系

讨论了在SMP机群系统上用于通信优化的并行任务调度问题 .首先对该问题进行了形式化描述 ,并将其转化为图划分问题MMP ,证明了该问题是NP完全问题 ,然后提出了启发式算法MMP Solver.实验结果表明 ,针对SMP机群系统对并行程序进行任务调... 详细信息

讨论了在SMP机群系统上用于通信优化的并行任务调度问题 .首先对该问题进行了形式化描述 ,并将其转化为图划分问题MMP ,证明了该问题是NP完全问题 ,然后提出了启发式算法MMP Solver.实验结果表明 ,针对SMP机群系统对并行程序进行任务调度用以优化通信是很有意义的 ,MMP

关键词： SMP 机群系统通信优化任务调度图划分并行编译并行程序启发式算法

二维宏观拟颗粒并行模拟程序通信性能优化策略

在线全文

学校读者我要写书评

暂无评论

计算机与应用化学 2009年第7期26卷 833-837页

作者：严历郭力中国科学院过程工程研究所多相复杂系统国家重点实验室北京100190 中国科学院研究生院北京100049

随着粒子模拟并行计算在相关领域应用的不断深入和并行节点计算能力的不断增强,粒子模拟并行程序中通信耗时对整体性能的影响越来越显著,甚至成为主要性能瓶颈。本文在分析影响并行程序通信性能多种因素的基础上,从进程划分方式选择、... 详细信息

随着粒子模拟并行计算在相关领域应用的不断深入和并行节点计算能力的不断增强,粒子模拟并行程序中通信耗时对整体性能的影响越来越显著,甚至成为主要性能瓶颈。本文在分析影响并行程序通信性能多种因素的基础上,从进程划分方式选择、通信协议优化的角度,对1个典型粒子模拟并行程序——二维宏观拟颗粒并行模拟程序在千兆以太网环境下的通信性能的优化策略进行了测试研究,通过改进并行进程划分方式,采用用户级通信协议等方法,使测试程序通信性能获得明显提高,进而提出了粒子模拟并行程序通信性能优化的思路和建议。

关键词：粒子模拟并行计算通信优化进程划分用户层通信协议

先锋光纤通道交换网通信性能优化的研究与实现

在线全文

学校读者我要写书评

暂无评论

计算机测量与控制 2009年第1期17卷 135-137,239页

作者：郭旭东冯萍康继昌许伟西北工业大学计算机学院陕西西安710072

原先锋交换网每传送1帧(2KB)数据,发送方和接收方都分别要启动1次DMA,1M字节的数据需要发送方和接收方都启动512次DMA,启动1次DMA花费的时间几乎占了消息在网络上传送时间的一半;针对这个问题,分析了每次DMA的消息块长度与通信速率的关... 详细信息

原先锋交换网每传送1帧(2KB)数据,发送方和接收方都分别要启动1次DMA,1M字节的数据需要发送方和接收方都启动512次DMA,启动1次DMA花费的时间几乎占了消息在网络上传送时间的一半;针对这个问题,分析了每次DMA的消息块长度与通信速率的关系,提出并实现了"大缓存方案";在网卡上采用大容量存储器作为缓存,发送方还可不等待接收方是否准备好,就发送数据,接收方网卡自动接收数据,传送长度小于1MB的消息时,收发双方各只需进行1次DMA,收发双方网卡自动完成512帧数据的传送;经实验测试,大尺寸消息的传送带宽有了很大提高。

关键词：光纤通道高速通信通信协议通信优化

在线全文

学校读者我要写书评

暂无评论

无线网络阴影区域优化通信方法研究与仿真

计算机仿真 2014年第6期31卷 278-281页

作者：周伟余粟上海工程技术大学电子电气工程学院上海201620

研究无线网络阴影区域优化通信方法,降低通信的误码率。由于无线频谱资源受限特性,移动通信系统通常采用宏蜂窝组网方式。由于无线通信信号在传播过程中遇到障碍物而造成的阴影区域,传统通信方法通过增加微蜂窝的方法解决阴影区域,但是... 详细信息

研究无线网络阴影区域优化通信方法,降低通信的误码率。由于无线频谱资源受限特性,移动通信系统通常采用宏蜂窝组网方式。由于无线通信信号在传播过程中遇到障碍物而造成的阴影区域,传统通信方法通过增加微蜂窝的方法解决阴影区域,但是由于微蜂窝使得热点间距离缩小,使得小区间同道干扰增加,效果不好。为此,提出了一种基于干扰对齐算法的无线网络阴影区域优化通信方法。对无线网络阴影区域的通信信号进行抗干扰处理,为阴影区域优化通信提供依据。通过调节信道的有效通信概率与阴影区域的通信数据量,完成无线网络阴影区域的通信。实验结果表明,利用改进算法进行阴影区域通信,能够避免由于无线频谱资源受限特性造成的小区间同道干扰增加的缺陷,降低了阴影区域通信的误码率。

关键词：无线网络阴影区域通信优化抗干扰