检索结果-南通市图书馆

基于计算与通信重叠的全球谱模式并行算法优化研究

在线全文

学校读者我要写书评

暂无评论

基于计算与通信重叠的全球谱模式并行算法优化研究

作者：刘达政国防科技大学

学位级别：硕士

本文以数值预报全球谱模式为研究对象,针对银河全球谱模式(YHGSM)和北京气候中心大气环流模式(BCC＿AGCM)中随着使用核数增多带来通信开销较大的问题,分别提出了基于垂直层分组的计算与通信重叠并行优化方案、纬圈分组和流水线的计算与... 详细信息

本文以数值预报全球谱模式为研究对象,针对银河全球谱模式(YHGSM)和北京气候中心大气环流模式(BCC＿AGCM)中随着使用核数增多带来通信开销较大的问题,分别提出了基于垂直层分组的计算与通信重叠并行优化方案、纬圈分组和流水线的计算与通信重叠并行优化方案,优化模式的通信开销。通过多种进程配置下的两种模式优化前后的对比试验,发现基于计算与通信重叠的优化方案能够有效地隐藏数值预报全球谱模式的通信开销,减少模式的运行墙钟时间,并且能确保优化方案的正确性。在YHGSM格点空间的半拉格朗日插值方案中,需要先进行通信再进行插值计算,由于垂直层方向层数较多,由此带来的通信开销较大。为了解决上述问题,本文提出了一种基于垂直层分组的计算与通信重叠优化方案,将垂直层分为三组,采用非阻塞通信方式,将后一组的计算与前一组的通信重叠,由此隐藏了两组的通信。通过试验表明,基于垂直层分组的计算与通信重叠方案能够减少YHGSM半拉格朗日插值方案和模式的运行时间,在半拉格朗日方案一百步的平均运行时间中,纬度和经度方向进程为8*16配置时,优化方案的时间减少了0.05s,运行速度提高了12.50%。在模式的100步运行时间中,由于半拉格朗日插值方案只占整个模式的10%左右,纬度和经度进程为8*16的配置时,模式时间最高减少了6.32s。当总进程数为定值时,纬度方向进程越多,运行时间越少,性能越好。随着进程的增多,加速比有增大的趋势,而并行效率逐渐减小。通过模拟YHGSM优化方案前后第60层的温度以及850h Pa的东西方向风速可知,优化前后的模拟结果一致,由此验证了优化方案的正确性。在BCC＿AGCM二维并行版本PAGCM中,格点空间、傅里叶空间和谱空间二维区域剖分的维度不一致,因此在各个空间需要进行三维数据的重分布。而傅里叶变换阶段所占比例较大,且格点计算和傅里叶正逆变换都逐纬圈进行,因此可以按纬圈分组,将各组数据重分布的通信与傅里叶变换的计算相重叠,由此来隐藏通信开销。通过可变参数调整分组的数目,可以实现计算与通信的流水线方式作业,进一步提高通信开销的重叠效率。试验结果表明,通过计算与通信重叠的并行优化,BCC＿AGCM的10天运行时间中,总的动力框架过程运行时间有所减少,在纬度和经度方向的进程为配置为16*4,最佳分组为10,运行时间减少了6.19%;傅里叶变换阶段在纬度和经度方向进程配置为4*16,最优分组为8时,运行时间减少了18.84%;傅里叶逆变换阶段在纬度和经度方向进程为16*4,最佳组数为10时,运行时间减少了25.41%。在流水线的重叠方案中,能够找到最优的分组数目。在可扩展性试验中发现,纬度方向进程数目越大,优化方案的运行时间越少,纬度和经度方向的进程配置为32*4时效果最佳,总进程超过128时可扩展效果不明显。综上可知,基于计算与通信重叠的三维数组重分布方案能够有效地隐藏通信开销,并通过改变分组的数目,找到最佳的分组方案,最大限度地提高模式运行效率,减少模式的运行时间。通过模拟BCC＿AGCM优化方案前后13层的温度以及东西方向风速可知,优化前后的模拟结果一致,由此验证了优化方案的正确性。

关键词：数值预报技术全球谱模式并行计算 YHGSM BCC_AGCM 计算与通信重叠

基于计算与通信重叠的稀疏矩阵-向量乘积及其在AMG中的应用

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

数值计算与计算机应用 2015年第3期36卷 197-214页

作者：赵莲赵永华迟学斌中国科学院计算机网络信息中心北京100190 中国科学院大学北京100190

本文针对代数多重网格(algebraic multigrid,AMG)并行实现中的稀疏矩阵-向量乘,建立了稀疏矩阵新的分布和数据存储模式,提出了一类具有最小通信量以及隐藏通信的新稀疏矩阵-向量乘并行算法,并实现了基于K-循环迭代的求解阶段并行算法.... 详细信息

本文针对代数多重网格(algebraic multigrid,AMG)并行实现中的稀疏矩阵-向量乘,建立了稀疏矩阵新的分布和数据存储模式,提出了一类具有最小通信量以及隐藏通信的新稀疏矩阵-向量乘并行算法,并实现了基于K-循环迭代的求解阶段并行算法.针对现代多核处理器,结合细粒度的并行编程模型,实现了MPI+OpenMP混合编程并行算法.通过同hypre软件包测试比较,在深腾7000集群上求解三维Laplace方程并行规模达到512核心时,并行求解阶段运行时间较hypre(high performance preconditioners)软件包提高了56%,在元集群上提高了39%,验证了算法的有效性.

关键词：代数多重网格预处理过程数据存储格式计算与通信重叠

在线全文

学校读者我要写书评

暂无评论

大规模海洋数据同化的并行优化

计算机研究与发展 2023年第5期60卷 1177-1190页

作者：蔡迪洪学海肖俊敏谭光明中国科学院计算技术研究所北京100190

海洋数据同化是一种同时利用海洋观测资料和海洋数值模式对海洋数据进行修正的有效方法,经过处理的海洋数据更加接近海洋的真实情况.在高分辨率下,基于中国科学院大气物理研究所(Institute of Atmospheric Physics,Chinese Academy of S... 详细信息

海洋数据同化是一种同时利用海洋观测资料和海洋数值模式对海洋数据进行修正的有效方法,经过处理的海洋数据更加接近海洋的真实情况.在高分辨率下,基于中国科学院大气物理研究所(Institute of Atmospheric Physics,Chinese Academy of Sciences,IAP)和大气科学和地球流体力学数值模拟国家重点实验室(State Key Laboratory Modelling for Atmospheric Sciences and Geophysical Fluid Dynamics,LASG)发展的LASG/IAP气候系统海洋模式(LASG/IAP climate ocean model,LICOM)的同化并行程序往往涉及大量的文件读取、通信和计算,以往的研究虽然对这些方面进行了优化,但是由于优化只是停留在上层算法层面,没有考虑底层的文件系统以及超算集群的架构,因此优化的效果不太明显.针对以往研究存在的问题,进一步将海洋数据同化的数据特性、计算特性与所使用的超算平台的架构特性相结合,在此基础上结合时间局部性和空间局部性,提出了基于计算拓扑图的负载均衡策略、基于Lustre文件存储架构和超算集群特性的并行优化策略,以及计算、读取通信、写回3层重叠策略.最后,使用高分辨率数据集,在天河2号超算集群上对所提算法进行了测试.相比于现有算法,所提的算法在4 000核下对总体同化性能上提升了18倍.另外,还在曙光7 000超算集群上开展了测试.在4 000块DCU加速卡上,相比于已有算法,所提算法提升总体计算性能8倍左右.

关键词：数据同化负载均衡 I/O优化并行优化计算与通信重叠

基于软硬件的协同支持在众核上对1-DFFT算法的优化研究

在线全文

学校读者我要写书评

暂无评论

计算机学报 2008年第11期31卷 2005-2014页

作者：周永彬张军超张帅张浩中国科学院计算技术研究所系统结构重点实验室北京100190

随着高性能计算需求的日益增加,片上众核(many-core)处理器成为未来处理器架构的发展方向.快速傅立叶变换(FFT)作为高性能计算中的重要应用,对计算能力和通信带宽都有较高的要求.因此基于众核处理器平台,实现高效、可扩展的FFT算法是算... 详细信息

随着高性能计算需求的日益增加,片上众核(many-core)处理器成为未来处理器架构的发展方向.快速傅立叶变换(FFT)作为高性能计算中的重要应用,对计算能力和通信带宽都有较高的要求.因此基于众核处理器平台,实现高效、可扩展的FFT算法是算法和体系结构设计者共同面临的挑战.文中在众核处理器Godson-T平台上对1-D FFT算法进行了优化和评估,在节省几乎三分之一L2 Cache存储开销的情况下,通过隐藏矩阵转置,计算与通信重叠等优化策略,使得优化后的1-D FFT算法达到3倍以上的性能提升.并通过片上网络拥塞状况的实验分析,发现对于像FFT这样访存带宽受限的应用,增加L2 Cache的访问带宽,可以缓解因为爆发式读写带给片上网络和L2 Cache的压力,进一步提高程序的性能和扩展性.

关键词：众核 Godson-T 快速傅立叶变换计算与通信重叠

在线全文

学校读者我要写书评

暂无评论

聚合通信操作的实现和优化现状综述

计算机与数字工程 2019年第11期47卷 2749-2752,2790页

作者：张鑫董德尊庞征斌国防科技大学计算机学院

大数据和人工智能领域的快速发展迫切需要强大的计算能力。目前高性能计算机通过增加处理器数量和高速并行工作模式相配合,峰值计算速度和持续速度不断提升。但随着系统规模扩大,并行系统的性能受到互连网络的限制,而其中聚合通信操作... 详细信息

大数据和人工智能领域的快速发展迫切需要强大的计算能力。目前高性能计算机通过增加处理器数量和高速并行工作模式相配合,峰值计算速度和持续速度不断提升。但随着系统规模扩大,并行系统的性能受到互连网络的限制,而其中聚合通信操作在高性能计算中的科学计算消耗上占据很大比例。聚合通信的实现与优化一直是高性能计算中一项关键的任务。近年来,针对软硬件平台,存在大量聚合通信优化的研究。论文通过调查研究,对常见聚合通信操作的算法进行了归类和总结,并对基于软件以及软硬件结合方式实现的最新优化策略进行介绍。通过对两类优化方式进行对比和分析,预测聚合通信研究的发展方向。

关键词：聚合通信算法软硬件结合计算与通信重叠

全球(z)双三次数值模式并行算法设计与实现

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2013年第5期30卷 1337-1339页

作者：赵军吴建平宋君强张磊国防科学技术大学计算机学院软件研究所长沙410073

针对双三次数值天气预报模式进行了并行算法研究。采用一维区域分解算法,借鉴块棋盘划分矩阵转置算法,设计和实现了数据转置通信算法,并采取计算与通信重叠技术减小通信时间对并行效率的影响,最终实现了双三次数值天气预报模式的并行算... 详细信息

针对双三次数值天气预报模式进行了并行算法研究。采用一维区域分解算法,借鉴块棋盘划分矩阵转置算法,设计和实现了数据转置通信算法,并采取计算与通信重叠技术减小通信时间对并行效率的影响,最终实现了双三次数值天气预报模式的并行算法,并在机群系统上进行了并行性能测试评估。结果表明,实现的双三次数值预报模式并行算法的并行效率较高,设计实现的数据转置通信算法、计算与通信重叠技术取得了较好的效果。

关键词：双三次数值模式并行算法数据转置通信算法计算与通信重叠

在线全文

学校读者我要写书评

暂无评论

YHGSM半拉格朗日方案优化技术研究

YHGSM半拉格朗日方案优化技术研究

作者：蒋涛国防科技大学

学位级别：硕士

国防科技大学自主研发的确定性预报模式银河全球谱模式中（YHGSM）,在针对半拉格朗日并行计算部分已存在最大风方案和按需通信两种方案。最大风方案设置全局最大风速进行通信,具有固定和简单的数值传输模式,但同时造成了许多额外通信。... 详细信息

国防科技大学自主研发的确定性预报模式银河全球谱模式中（YHGSM）,在针对半拉格朗日并行计算部分已存在最大风方案和按需通信两种方案。最大风方案设置全局最大风速进行通信,具有固定和简单的数值传输模式,但同时造成了许多额外通信。为了解决这一问题,在YHGSM中引入按需通信方案。尽管按需通信方案能依据通信时所需进行数据传输,相比于最大风方案取得了较大性能提升,但仍存在可以提升的空间。本文针对当前YHGSM中所存在的不足,制定了从通信方式、通信HALO区、通信策略三个优化方向。在通信方式上,引入了单边通信技术进行优化。在数值模式中常用的双边通信机制在匹配过程中,由于事先需要获取通信目标的相关信息才能进行后续通信,这种方式容易造成不必要的通信开销。同时,单边通信时的直接获取方式相比于双边通信的显示发送和接收来说,通信次数减少了一半左右,从理论上提供了降低通信开销的可能。在通信HALO区上,通过引入统计累年风场所得的自适应最大风速来取代原先设定固定的全局最大风速,这使得通信过程中的最大风速能够依据时间而自适应变化,进而提供一个合理大小的HALO区进行通信。在采用最大风方案中,通信量的减少在10.57%至41.16%之间;在按需通信方案中,通信量的减少在5.50%至21.66%之间。采用按需通信方案执行十天业务预报,在使用八个节点时,半拉格朗日阶段的总开销和以及十天业务预报总并行执行时间分别减少了6.25%和1.44%;在使用十六个节点时,分别减少了13.87%和2.10%。在通信策略上,采用计算与通信重叠的思想。通过将半拉格朗日计算部分分组插值的方式,将一个通信过程和计算过程分为多个子通信过程和子计算过程。利用这些子通信过程和子计算过程的独立性进行重组,通过非阻塞通信的形式,将下一个子通信过程隐藏于下一个子计算过程中,实现通信和计算的重叠。采用新策略后单步半拉格朗日插值计算部分开销有较大幅度的减少,其加速比随着核个数增加有先减少后增加的趋势,当核个数为128时,加速比最小为11.78%;当核个数较多时,计算与通讯重叠策略带来的收益将更加可观;分别使用128和224个核时,十天业务预报总并行执行时间分别减少了264s和260s（2.15%和3.41%）。

关键词： YHGSM 半拉格朗日单边通信自适应最大风速计算与通信重叠