检索结果-南通市图书馆

作者：翟金亭山东科技大学

学位级别：硕士

近几年来,众核处理器的不断发展,对并行编程模型在并行编程简单化、高并行效率方面提出了高的要求,成为了高性能计算领域的研究热点。“神威·太湖之光”是我国自主研发的高性能众核平台,申威众核处理器支持加速线程库和OpenACC并行编... 详细信息

近几年来,众核处理器的不断发展,对并行编程模型在并行编程简单化、高并行效率方面提出了高的要求,成为了高性能计算领域的研究热点。“神威·太湖之光”是我国自主研发的高性能众核平台,申威众核处理器支持加速线程库和OpenACC并行编程模型。其中,加速线程库采用修饰符(Modifier)的方式来对局部数据存储器(Local Data Memory,LDM)空间中的常量或者变量进行定义,用户直接对线程和LDM空间进行分配和管理,编程层次较低。申威并行编程模型OpenACC以编译制导的方式实现应用程序并行化,并提供对中间代码的二次开发解决方案,解决仅靠编译制导方式存在的计算性能局限问题,但申威OpenACC并未发掘不同任务之间的LDM数据重用。AceMesh任务调度系统在多核众核平台实现针对网格应用的并行调度。通过API接口的方式自动发掘结构化网格应用中存在的数据驱动任务图的并行性,并提供多种手段发掘任务图执行中的数据局部性,克服多核、众核平台带来的编程挑战。本文基于“神威·太湖之光”的申威众核处理器,在对某流体力学应用的OpenACC并行版本分析研究的基础上,实现该流体力学应用的任务图并行优化,并对其进行调优和性能评估。具体地,在已有的申威众核平台上AceMesh任务调度系统上,实现了某流体力学应用的任务图并行化。在分析DMA访问机制特点的基础上,保持已有的进程网格划分方式,在线程层面实现任务图并行。然后,采用数据对齐、合并传输等方式来加速DMA传输速度。通过数据打包、数组维序转换等方法在任务内实现存储优化,任务间采用数据重用方式进行优化。最后,对比已有的OpenACC优化版本,得到各计算核心的性能提升,其中algorithm1获得2.4倍加速度,algorithm3获得2.39倍加速度,fcta1获得2.76倍加速,fcta 02获得2.79倍加速,fita获得1.18倍提升,fksi获得10.42倍加速,gauss02获得1.20倍加速,应用整体获得近2.5倍提升。

关键词：申威众核处理器流体力学应用任务图并行 DMA 存储优化

基于神威平台的生物数据库混合序列比对算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于神威平台的生物数据库混合序列比对算法研究

作者：张浩山东科技大学

学位级别：硕士

在生物信息学研究中,生物序列比对是其基本组成和重要基础。序列比对的基本思想是基于生物学中序列决定结构,结构决定功能的普遍规律,将核酸序列和蛋白质一级结构上的序列都看成由基本字符组成的字符串,目的是找出序列之间的相似性,发... 详细信息

在生物信息学研究中,生物序列比对是其基本组成和重要基础。序列比对的基本思想是基于生物学中序列决定结构,结构决定功能的普遍规律,将核酸序列和蛋白质一级结构上的序列都看成由基本字符组成的字符串,目的是找出序列之间的相似性,发现序列之间的内在联系,进一步探索生物序列中的功能、结构和进化的信息。如今随着生物数据库规模的爆炸性增长,序列比对过程的复杂性也迅速增加,导致计算时间的大量增加。为加速生物数据库的搜索过程,通常在大规模超级计算机上进行。“神威·太湖之光”是世界上第一台性能峰值超过100 PFlops的异构超级计算机,其完全采用国产异构众核处理器SW26010处理器构建而成,为生物数据库搜索提供了一个全新的硬件平台。到目前为止,已经有许多高性能应用在神威平台上进行了移植优化并取得了很好的加速效果,其中不乏一些优秀应用获得高性能应用领域杰出奖项——戈登贝尔奖。但由于神威平台特殊的片上异构众核体系结构,现有的序列比对算法无法直接在神威平台的从核集群上进行移植加速。本文提出了一种基于国产众核平台的混合序列比对生物数据库搜索算法,即针对序列比对生物数据库搜索程序的核心——序列比对算法,融合Smith-Waterman（SW）局部比对算法和Needleman-Wunsch（NW）全局比对算法提出混合序列比对算法对生物数据库进行搜索,并通过消息传递接口（MPI）和加速线程库（Athread）进行实现。为充分发挥SW26010处理器的性能,根据申威众核体系架构的硬件特性以及混合比对算法的软件特点,分别从编译优化、众核访存优化以及负载均衡等方面对移植后的算法进行优化,有效地提升了算法的运行效率。采用EBI（European Bioinformatics Institute）维护的蛋白质序列数据库Swiss-Prot对算法分别进行了单节点和多节点测试,实验结果表明,该算法可以有效地利用SW26010处理器的特殊硬件架构,在单个节点上与申威主核版本相比实现了最大15.92的加速比,相比Intel Xeon E5620平台也实现了 4.33倍的加速。此外,本文在“神威·太湖之光”平台上对并行算法进行多节点测试,当使用64个节点时,所提算法的加速比超过1000倍,结果表明,本文提出的混合序列比对生物数据库搜索算法的并行实现具有良好的可扩展性。

关键词：神威·太湖之光申威众核处理器生物数据库搜索序列比对优化

基于申威处理器的PETSc异构并行算法设计和研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于申威处理器的PETSc异构并行算法设计和研究

作者：洪文杰湖南大学

学位级别：硕士

随着科学技术的不断发展,世界上的各国都在大力研制自己的超级计算机,超级计算的性能排名也彰显了一个国家的综合国力。近年来,我国的超级计算机的性能排名一直高居世界第一,离不开国家的大力支持和投入。在该前提下,国家并行计算机工... 详细信息

随着科学技术的不断发展,世界上的各国都在大力研制自己的超级计算机,超级计算的性能排名也彰显了一个国家的综合国力。近年来,我国的超级计算机的性能排名一直高居世界第一,离不开国家的大力支持和投入。在该前提下,国家并行计算机工程技术研究中心自主研发了申威众核处理器,并以此为基础芯片搭建了目前世界上性能最好的超级计算机——神威·太湖之光。为加快国产自主设计的超级计算机更快、更好地投入大科学的数值计算中,需要科研工作者对国产申为众核处理器的体系结构有深入理解,所以本文的第一个工作是对申威众核处理器架构的研究和学习,并对神威·太湖之光的总体架构进行理解。PETSc工具箱由美国能源部支持开发,广泛用于大规模的偏微分方程的求解,是大规模科学数值计算的基础库。在许多的超级计算机的应用中都需要调用通用的共性数学库,其中PETSc函数库就是这一类数学库,PETSc函数库已经在CPU+GPU异构体系中得到充分的运用,但是在国产的众核异构芯片上的运用基础为零,要想实现其在国产众核异构芯片上的运用,首先需要深入了解PETSc函数库的软件结构,所以本文的第二个工作是对PETSc函数库的学习和研究。在完成对硬件和软件的学习和研究后,本文的第三个工作是根据软件特点和硬件特点来实现整个PETSc函数库的移植,并根据研究需要,对PETSc函数库中部分的核心函数进行优化,运行时,最多用到神威·太湖之光8192个计算节点,最后的实验结果表明:部分核心函数的并行算法在优化后,单节点的加速比最大达到16.4,基本达到理论加速比;在输入规模较大的多节点MPI可扩展性测试中,8192个节点的运行时间与256个节点的运行时间之比为32,,且加速比随着异构处理器数目的线性增加接近线性增加,表明PETSc核心函数并行算法在神威·太湖之光超级计算机上具有良好的可扩展性。

关键词：并行算法设计 PETSc数学库可扩展性神威·太湖之光申威众核处理器

面向申威众核架构的FHI-aims并行实现与优化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向申威众核架构的FHI-aims并行实现与优化

作者：赵恩源哈尔滨工程大学

学位级别：硕士

近年来,超级计算机在国家安全,科技创新,经济发展等方面发挥的作用日益凸显,神威·太湖之光是我国自主研制的新一代超级计算机系统,其峰值计算能力达每秒12.54亿亿次,是世界上首台100P系统,排行世界第四。该系统整机Linpack性能高达PFlo... 详细信息

近年来,超级计算机在国家安全,科技创新,经济发展等方面发挥的作用日益凸显,神威·太湖之光是我国自主研制的新一代超级计算机系统,其峰值计算能力达每秒12.54亿亿次,是世界上首台100P系统,排行世界第四。该系统整机Linpack性能高达PFlops,采用SW26010处理器作为主要运算节点。整机共有1040万个核心构成的40960个SW26010处理器。FHI-aims是一款采用第一性原理方法进行计算模拟的商业软件,可以同时模拟分子和固体体系,因其强大的功能,出色的精度和流畅的用户体验,目前在世界各地的大学和研究机构中被广泛使用,被认为是VASP的主要竞争对手之一。本文的研究目标是实现系统上移植和优化FHI-aims软件,为其它大规模并行软件的移植和优化提供借鉴。研究具有广泛应用前景的纳米材料的特性、模拟甚至设计下一代光电子器件以及大型分子晶体的拉曼光谱模拟,理解化学反应机理。本文的研究工作及成果主要包括:（1）进行FHI-aims在众核平台上的并行工作,专注于第一性原理大规模并行程序的研制和开发。充分利用众核处理器体系结构特点实现众核线程级的任务并行,数据并行和流水线并行的混合并行,提高众核并行效率;采用高效通信来提高访存性能,并利用向量化优化等方法来提高计算性能。（2）进行FHI-aims在众核上的优化工作,首先进行众核访存优化,在充分使用LDM的同时,通过优化数据结构,降低访存的开销。又使用向量化指令完成对不同的操作数据源同时进行相同的运算操作,发掘源代码中蕴含的数据级并行,在可执行代码用SIMD指令替换标量指令,提升程序的运行效率。提出通信计算隐藏并行策略,通信时间可以被计算时间完全隐藏,将FHI-aims在CPE上的任务划分、从核计算、更新迭代的时间进行隐藏。（3）提出了一种面向高性能多核系统的智能拟合全局实时任务的调度策略。利用改进智能拟合算法,建立一个基于任务缓存访问能力强弱的调度模型。利用该模型可对任务进行分类,从而优化高性能多核系统中的全局实时任务调度策略。

关键词：并行计算 FHI-aims 神威·太湖之光申威众核处理器任务调度

基于“神威·蓝光Ⅱ”超级计算机的特征线方法并行优化研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于“神威·蓝光Ⅱ”超级计算机的特征线方法并行优化研究

作者：陈仁江齐鲁工业大学

学位级别：硕士

近年来,随着计算机技术的不断发展和升级,能够通过聚合结构,使用多台计算机和存储设备进行计算,称之为高性能计算。高性能计算已经成为各个领域进行科学研究的必要条件,例如,在物理仿真、工程设计、数据分析、人工智能等研究领域。随着... 详细信息

近年来,随着计算机技术的不断发展和升级,能够通过聚合结构,使用多台计算机和存储设备进行计算,称之为高性能计算。高性能计算已经成为各个领域进行科学研究的必要条件,例如,在物理仿真、工程设计、数据分析、人工智能等研究领域。随着处理器多核和众核技术的发展,高性能计算机也拥有了更多的硬件计算资源。但是,单纯的硬件提升不能带来同比例的软件性能提升。因此,并行计算成为了高性能计算领域研究的重点之一。为了提高程序的计算效率,研究人员致力于实现程序的并行计算,从软件层面对高性能计算机的硬件进行匹配。并行计算研究对于推动科学技术的发展和进步具有重要的意义。“神威·蓝光Ⅱ”超级计算机是我国自主研发的高性能计算机,也是神威系列最新一代的超级计算机,其峰值性能可以达到3.13 PFLOPS。它不仅能够加速计算任务的执行速度,还能够提高计算资源的利用率,同时降低了能源消耗和成本。目前广泛应用于科学计算、人工智能、大数据分析等各种领域。随着核能技术的发展,反应堆物理计算对计算精度和速度的要求越来越高,使用高性能计算机进行反应堆模拟计算已经成为必然选择。特征线方法(MOC)由于可以处理任意的几何结构,是目前公认的、针对核能全堆芯中子输运计算模拟的首选方法。本文基于申威众核处理器和“神威·蓝光Ⅱ”超级计算机,提出了一种细粒度的、通用的两级并行优化策略,包括线程级并行优化和进程级并行优化。在线程级并行优化中,提出了作业流水线优化、从核负载均衡优化和I/O优化方法;在进程级并行优化中,提出了一种从软件到硬件的映射方法,该方法可以充分利用神威超级计算机的硬件,提高计算效率和数据传输效率。本文首次将Open MOC程序在神威系列超级计算机上进行了移植和并行优化,丰富了神威系列超级计算机的应用生态。与原程序相比,线程级并行优化可实现高达5.4倍的加速比,进程级并行优化可实现高达4.8倍的加速比。最后,两级并行化可以实现高达18.6倍的加速比。此外,我们实现了Open MOC程序在“神威·蓝光Ⅱ”超级计算机的3750个进程上运行,并且具有良好的强、弱可扩展性。

关键词：高性能计算神威超级计算机申威众核处理器并行优化特征线方法

典型结构稀疏线性方程组的异构并行优化方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

典型结构稀疏线性方程组的异构并行优化方法研究

作者：刘淇齐鲁工业大学

学位级别：硕士

数值模拟在科学计算和工程计算领域扮演着至关重要的角色。天气预报、流体动力学、计算金融学等数值模拟问题往往归结为三对角、块三角等典型结构稀疏线性方程组的求解。随着科技的日新月异,超级计算机架构的革新突破,异构众核架构逐渐... 详细信息

数值模拟在科学计算和工程计算领域扮演着至关重要的角色。天气预报、流体动力学、计算金融学等数值模拟问题往往归结为三对角、块三角等典型结构稀疏线性方程组的求解。随着科技的日新月异,超级计算机架构的革新突破,异构众核架构逐渐成为高端系统的首要选择。本文面向新一代神威超级计算机,设计典型结构稀疏线性方程组的并行求解算法,并结合申威26010pro众核处理器结构特征,实现高效的异构并行优化。本文的研究工作主要有:(1)结合Thomas算法和并行分裂法的优点,提出一种并行Thomas分裂算法。对求解三对角线性方程组的Thomas算法和并行分裂法进行综合分析,具体分析数据依赖性、算法的计算复杂度、通信开销、内存占用,从而提出并行Thomas分裂算法,将Thomas算法用于缩减三对角线性方程组模块的求解。通过减少数据传输量降低通信开销,提高算法效率。该算法对比并行分裂法最高加速比为10.34,相比Thomas算法有2.12倍的加速比。(2)在(1)的基础上设计并实现了异构并行Thomas分裂算法。使用主从加速并行的模式完成进程以及从核间的并行,使用批量传输来完成数据的分块及反复读取。提出一种缩减策略完成缩减方程组模块的任务,更新回代求解模块。该算法相比纯主核的并行Thomas分裂算法,计算热点最高有38.31倍的加速比,总时间有2.78倍的加速比。(3)基于申威26010Pro众核处理器平台,对PaScal＿TDMA移植和热点分析,提出一种三对角线性方程组自适应异构算法。对三维热传导问题用PaScal＿TDMA进行求解的过程进行性能热点分析,结果表明并行消元模块占比达94.5%,更新模块占比5.4%。对计算热点问题--三对角线性方程组求解进行申威异构众核优化,通过优化循环结构提出一种自适应的数据分块方案,利用共享LDM空间实现离散数据的连续传输,大幅提高了算法的计算效率。与PaScal＿TDMA相比,本文的算法加速59.4倍。三对角线性方程组自适应异构算法具有良好的可扩展性,以2个核组为基准,并行规模扩展至2048个核组,并行效率保持69.2%。(4)设计实现块三对角方程组的一种异构并行求解算法。提出一种计算与通信重叠的MPI并行方案,根据数据特性划分数据块以实现负载均衡,在申威架构上调用x Math中的swblas数学库实现块三对角方程组的一种异构并行算法。以130主从核为基准,并行规模扩展至4160个主从核,并行效率达30%以上。

关键词：典型结构稀疏线性方程组申威众核处理器异构并行优化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于神威国产超算平台的张量库实现与优化

基于神威国产超算平台的张量库实现与优化

作者：高捷战略支援部队信息工程大学

学位级别：硕士

随着我国自主研发的神威国产超算系统的快速迭代发展,诸多应用领域的大型复杂应用课题先后在该平台上完成了计算任务,为我国尖端科技的发展提供了有力支撑。然而,相比于多核CPU、GPU等主流硬件架构上的高性能张量算子库,基于新一代国产... 详细信息

随着我国自主研发的神威国产超算系统的快速迭代发展,诸多应用领域的大型复杂应用课题先后在该平台上完成了计算任务,为我国尖端科技的发展提供了有力支撑。然而,相比于多核CPU、GPU等主流硬件架构上的高性能张量算子库,基于新一代国产自研申威26010 pro众核处理器开发的张量算子库在性能和种类上都略有不足,不足以在神威国产超算平台上形成成熟的张量算子库生态环境,从而支撑各个尖端科研应用的高效开发。因此,探索神威国产超算平台上面向不同领域的张量算子库的并行优化方法和成熟设计方案,对于帮助大型复杂科研应用在神威国产超算平台上的高效开发有着极为重要的意义。本文的主要研究内容和创新点如下:1.矩阵乘法方面,面向传统科学计算应用,针对原有的矩阵乘法库在新一代申威26010pro处理器上低效的问题,本文优化并构建了level-3的矩阵乘法库SWBLAS:提出了矩阵扩展来对输入矩阵进行预处理,从而实现对任意形状输入矩阵的并行矩阵乘;提出了均衡分块将矩阵乘任务并行化,保证了所有运算核心之间的负载均衡;提出了对角广播来调度运算核心阵列执行DMA访问主存,并利用RMA操作分别进行行、列广播,解决了访存竞争和数据重复读入的问题;提出了核心循环实现矩阵乘核心计算部分的矢量化加速、多指令融合,提高计算并行效率。实验表明,SWBLAS张量算子库相比于运算控制核心实现的基本方法实现了四个数量级的指数加速,计算性能达到了硬件峰值性能的91.4%。2.深度神经网络算子方面,面向深度学习大型神经网络模型应用,针对现有算子库SWDNN无法充分发挥申威处理器的性能,也无法满足大规模模型对内存和访存带宽需要的问题,本文在SWDNN单核组张量算子库的基础上优化并构建了多核组张量加速库SWTensor:提出了基于多核组的三级并行和神经网络算子任务调度方案,在满足大型模型训练内存需求的同时,提高了并行效率和整体计算性能;提出了三级异步流水机制和计算访存重叠的访存优化方法,显著缓解了神经网络算子的访存性能瓶颈。自然语言处理模型GPT-2的实验结果表明,SWTensor中的典型计算密集型算子和访存密集型算子在单精度浮点计算性能和访存带宽上分别达到了理论峰值的90.4%和88.7%。3.张量转置方面,面向量子计算模拟领域张量网络相关应用,针对传统张量转置库不适应申威异构众核硬件架构同时也不满足高维张量收缩对性能需求的问题,本文在SWBLAS矩阵乘法库的基础上实现了张量转置库SWTT:提出了张量转置优化算法,通过分块跨步访存、并行局部转置,解决了输出元素位置分散,无法合并访存的问题;提出了张量收缩优化算法,在传统TTGT方法上将张量转置和矩阵乘融合成了一个聚合算子,解决了中间转置矩阵的重复写回读入和额外内存开销的问题,通过内存复用和Ring-RMA方法进一步提升访存利用率。实验表明,SWTT张量转置库相比于运算控制核心实现的基本方法实现了三个数量级的指数加速,访存性能最高达到了硬件峰值性能的85.5%。

关键词：张量算子库矩阵乘法深度神经网络张量转置申威众核处理器

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

多级混合并行编程模型及方法研究

多级混合并行编程模型及方法研究

作者：刘加伟齐鲁工业大学

学位级别：硕士

随着未来计算机微处理器朝着众核处理器方向的发展,以及大规模机群的不断出现,基于异构平台的混合并行编程在今后的大规模并行应用中必将成为主流。在多核体系上,传统的并行编程技术并不能高效地适用,针对多核集群的特殊体系结构,研究... 详细信息

随着未来计算机微处理器朝着众核处理器方向的发展,以及大规模机群的不断出现,基于异构平台的混合并行编程在今后的大规模并行应用中必将成为主流。在多核体系上,传统的并行编程技术并不能高效地适用,针对多核集群的特殊体系结构,研究相应的编程模型和并行编程技术使其具有更高的性能,具有普遍的研究意义。此外,对超算用户而言,不同架构之间的程序移植带来的编程工作量是巨大的,直接影响了工作效率。通过神威·太湖之光超级计算机的应用优化表明,程序移植工作中编码方式具有较大的模板特性,可以通过概括出一个格式化的模板,然后通过代码转换技术自动生成基础代码。本文针对不同架构下的混合并行编程模型和应用做了如下工作和创新:1.详细研究了基于申威异构众核处理器的采用Athread方式的众核编程,提出一些优化方法和研发一些接口函数,比如使用结构体传参、静态局存变量和从核分区并行等,添加从核间通信接口函数和主从异步混合并行接口函数。经过试验验证,采用上述的优化方法和接口函数对于提高程序性能和易用性有较大的帮助。2.为了解决国产神威环境下众核代码编写工作量大的问题,提高国产异构众核环境下的众核代码编程效率,设计实现了一个可以将核心段的串行代码自动转换为Athread代码的工具。本文基于主程序调用master程序,再由master程序调用slave程序的三层模板程序架构,采用Rust语言进行词法和语法分析,提出一种可以使源程序自动转换为Athread代码的方法。同时,添加一些有助有程序优化的接口函数,进一步提升程序性能和减轻程序移植的代码工作量,最终设计实现了适用于Fortran和C代码到申威众核处理器下Athread代码的转换工具原型系统。经过实验分析,采用该自动转换工具生成的Athread代码相较于人工编写的Open ACC*加速的程序有更高的加速比,特别是对多个核心段进行众核化加速时的加速比相差15%,证明该转换工具具有很好的实用性。该工具能够避免开发人员绝大多数的代码书写错误,极大地提高了开发人员的众核化工作效率。3.为提高采用混合并行编程模型的程序在山河超级计算平台上的执行效率,首先对山河超级计算平台常用的几种混合并行编程模型实现方式和相应的优化方法进行阐述,然后对节点使用的CPU架构进行分析,提出了几种适用于该平台的混合并行运行模式。以此平台为测试对象,采用不同的运行模式对计算密集型和通信密集型两种典型的基准测试程序进行千核和万核规模下的测试,并对其运行性能进行对比分析,结果显示在执行不规则访存的计算密集型程序时每个节点启用8个MPI进程、每个进程采用7个线程级并行所取得的性能最好,相较于单纯使用MPI执行时间降低约20%;在执行不规则访存的通信密集型程序时每个节点采用28进程、每个进程调用2个线程所取得性能会比其他组合方式更优,相较于单纯地使用MPI执行时间降低约10%。该混合并行运行模式对山河平台的用户使用能够提供有用的作业运行参考。

关键词：混合并行编程模型加速线程库代码转换语法分析申威众核处理器

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向申威架构的稀疏矩阵乘法加速技术研究

面向申威架构的稀疏矩阵乘法加速技术研究

作者：彭健江南大学

学位级别：硕士

随着互联网、人工智能技术日新月异的发展,高性能计算需求在学术界和工业界变得越来越多,这极大地促进了高性能计算技术在新兴领域中的发展。异构并行体系结构已成为高性能计算领域中的主流架构,面向基于异构并行体系结构的高性能计算... 详细信息

随着互联网、人工智能技术日新月异的发展,高性能计算需求在学术界和工业界变得越来越多,这极大地促进了高性能计算技术在新兴领域中的发展。异构并行体系结构已成为高性能计算领域中的主流架构,面向基于异构并行体系结构的高性能计算平台的基础算法研究已经成为高性能计算领域中的研究热点之一。稀疏矩阵乘法运算作为各种高性能计算领域中的核心算法,已成为许多科学计算和工程研究领域中的关键技术,其计算的效率直接影响整个应用的性能。稀疏矩阵乘法运算是典型的不规则型运算,计算访存比低,访存不规则,使其相比稠密矩阵乘法更难在异构高性能体系架构上实现并行加速。鉴于这种情况,本文面向国产异构高性能处理器架构,以SW26010P众核处理器为计算平台,针对稀疏矩阵乘法运算,提出高效的并行加速算法设计。主要工作如下。(1)针对稀疏矩阵与稠密向量乘法(Sparse Matrix-Vector Multiplication,Sp MV),提出了一种基于SW26010P众核处理器架构的并行加速Sp MV算法。该并行加速算法中的稀疏矩阵使用了HYB存储格式。针对HYB格式的阈值选取难点,借助OTSU算法的思想提出了一种新的阈值选取方法,叫做多次迭代最大类间方差法。由此,将稀疏矩阵划分成了COO部分和ELL部分,不宜并行化的COO部分的Sp MV在主核上进行串行计算,适合并行化的ELL部分的Sp MV则在从核上进行并行计算。并根据硬件平台的架构特点,采用了两种性能优化方案以提高ELL部分的访存带宽和计算性能。实验测试结果表明,在单个核组下,该并行加速算法可以获得相比于主核串行算法23.36倍的平均加速和34.85倍的最高加速,采用DMA传输带宽优化技术优化后,性能平均提升了5.93%,采用双缓冲机制后,性能平均提升了16.30%。(2)针对稀疏矩阵与稀疏向量乘法(Sparse Matrix-Sparse Vector Multiplication,Sp MSp V),提出了一种基于SW26010P处理器架构的并行加速Sp MSp V算法。首先,针对Sp MSp V中的冗余数据,对原始的稀疏矩阵和稀疏向量都进行了数据预处理操作,以去掉不必要的数据。其次,针对不合适的稀疏矩阵数据划分容易导致从核间负载不均衡,提出了一种新的负载均衡的数据划分策略,尽量使得从核间负载均衡。最后,对经过数据预处理和负载均衡策略后的Sp MSp V提出一种并行化设计。实验测试结果表明,在单个核组下,该并行加速算法在输入稀疏向量的稀疏度较高时取得了不错的加速效果和更好的可扩展性。(3)针对稀疏矩阵与稠密矩阵乘法(Sparse-Dense Matrix-Matrix Multiplication,Sp MM),提出了一种基于SW26010P众核处理器架构的并行加速Sp MM算法。针对从核LDM有限的容量对Sp MM计算规模的限制,提出了一种结合SW26010P处理器内存模式的数据划分策略,并根据数据划分策略提出了一种基于CSR格式的Sp MM并行化设计。该并行化设计将结果矩阵以行为基础划分成多个子矩阵块,相应地,也将输入稀疏矩阵划分成了多个子矩阵块,再以按列分块的方式计算输入稀疏子矩阵块与稠密矩阵乘法。实验测试结果表明,在单个核组上,当稠密矩阵列数为32和128时,该并行算法分别获得了与主核串行算法相比28.22和21.99倍的平均加速。

关键词：稀疏矩阵乘法运算高性能计算并行计算申威众核处理器算法加速

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于申威众核架构的并行演化算法研究

基于申威众核架构的并行演化算法研究

作者：康上江南大学

学位级别：硕士

演化进化算法作为经典的启发式搜索算法,有着优异的性能表现,是解决各类实际问题的重要工具。随着演化进化算法在科学与工业领域的研究与应用越来越广泛,对于其求解效率的要求也在不断地提高。演化进化算法在求解大规模优化问题时的性... 详细信息

演化进化算法作为经典的启发式搜索算法,有着优异的性能表现,是解决各类实际问题的重要工具。随着演化进化算法在科学与工业领域的研究与应用越来越广泛,对于其求解效率的要求也在不断地提高。演化进化算法在求解大规模优化问题时的性能表现难以满足高效率的需求。通过在高性能集群上进行并行化研究来解决这个问题具有重要的现实意义。神威·太湖之光拥有超过125PFlops的峰值运算性能,可以为提升演化进化算法求解大规模问题时的效率提供理想的平台。其采用的申威众核处理器在物理架构上进行了很大的创新,不仅有着强大的计算能力而且在能耗比方面也表现出色,但是架构的变动使得内存模型与编程模型发生了巨大的改变,传统的并行算法无法发挥出申威众核架构的性能优势。这就需要根据架构特点,从进程级与线程级两方面重新设计算法的并行方式。本文针对大规模优化问题,以邻域搜索的自适应差分进化算法(Self-adaptive Differential Evolution with Neighborhood Search,Sa NSDE)为优化算法,对大规模优化问题的求解过程展开了一系列并行化研究,主要工作如下:(1)针对大规模优化问题的维度并行展开研究,设计并实现了基于申威众核架构的并行合作协同Sa NSDE算法(Sunway Cooperative Co-evolution Sa NSDE,sw CCSa NSDE)。进程级以合作协同进化模型为并行模型,将高维问题分解为低维子问题,实现各子问题之间求解过程的并行化。为了缓解单个进程上的计算压力,使用从核阵列对个体适应度计算部分进行了加速。同时针对申威众核处理器内存带宽不足的限制,设计了合理的访存数据粒度,利用DMA方式进行批量访存。实验证明,与串行算法、采用岛屿模型的算法相比,sw CCSa NSDE有着更好的收敛结果。二级并行算法与串行算法相比获得了239.01的最大加速比。(2)针对大规模优化问题的种群并行展开研究,设计并实现了基于申威众核架构的并行池Sa NSDE算法(Sunway Pool Sa NSDE,swPSaNSDE)。进程级以种群分布原则的池模型为并行模型,实现各子种群之间求解过程的并行化。使用从核阵列实现了蜂窝模型,将个体分布在每个从核上,通过寄存器通信实现从核间个体信息的数据共享,有效降低了从核的访存依赖。实验证明,swPSaNSDE算法表现出了良好的可扩展性。(3)针对大规模优化问题的维度和种群两层并行展开研究,设计并实现了基于申威众核架构的并行混合Sa NSDE算法(Sunway Hierarchical Sa NSDE,swHSaNSDE)。对于大规模问题,首先使用合作协同进化模型从维度方面进行分组实现各子问题优化过程的并行。随后,采用池模型从种群方面进行划分实现了各子种群优化过程的并行。最后对从核性能进行了优化:为了解决离散访存的问题,将离散存储的数据调整为连续存储,不仅有利于DMA批量访存,而且可以提高数据的命中率;采用双缓冲方法,将从核访存过程与计算过程相重叠,有效隐匿了从核访存的时间。实验证明,swHSaNSDE算法整体性能有了进一步的提高,取得了良好的加速效果,与串行算法相比获得了290.93的最大加速比。

关键词：大规模优化问题演化算法并行计算申威众核处理器性能优化