检索结果-南通市图书馆

TensorFlow中OpenCL核函数的实现与优化

在线全文

学校读者我要写书评

暂无评论

计算机学报 2022年第11期45卷 2456-2474页

作者：陈锐孙羽菲程大果郭强陈禹乔石昌青隋轶丞张宇哲张玉志南开大学软件学院天津300450

目前,异构计算技术已经被广泛应用于人工智能领域,旨在利用以GPGPU为主的并行加速设备和CPU协同工作,更高效地完成大规模的并行计算.深度学习模型的构建、训练以及推理离不开机器学习框架的支持,但目前主流的机器学习框架基本仅支持CUD... 详细信息

目前,异构计算技术已经被广泛应用于人工智能领域,旨在利用以GPGPU为主的并行加速设备和CPU协同工作,更高效地完成大规模的并行计算.深度学习模型的构建、训练以及推理离不开机器学习框架的支持,但目前主流的机器学习框架基本仅支持CUDA异构编程模型.CUDA的私有性和封闭性导致机器学习框架严重依赖于英伟达GPGPU.众多其它厂商的硬件加速器,尤其是国产加速器难以充分发挥其在深度学习中的潜力.使用开源统一异构编程标准OpenCL代替私有的CUDA编程模型,是打破这一技术壁垒的有效方法.本文提出了TensorFlow中CUDA到OpenCL核函数的代码转换方案,总结整理了核函数转换的基本规则、典型难点问题的解决方法以及OpenCL核函数的性能优化等关键技术.本文首次完成了TensorFlow 2.2版本中135个OpenCL核函数的实现.经一系列测试验证,转换生成的135个OpenCL核函数能够在多种支持OpenCL标准的加速器上正确运行,优化后,近八成的OpenCL核函数在英伟达Tesla V100S上达到了与CUDA核函数相当的计算性能.测试结果验证了本文提出的CUDA到OpenCL核函数转换方案的通用性及有效性,包含OpenCL核函数的TensorFlow版本能够在直接适配跨厂商加速器设备的同时保持较好的计算性能.

关键词：硬件加速器异构编程环境 CUDA OpenCL TensorFlow

面向神威·太湖之光的多核组协同的OpenCL编译方法

在线全文

学校读者我要写书评

暂无评论

高技术通讯 2022年第9期32卷 927-936页

作者：伍明川刘颖李立民冯晓兵中国科学院计算技术研究所计算机体系结构国家重点实验室北京100190 中国科学院大学北京100049

近年来,科学领域对高性能计算的需求与日俱增,如何有效利用新型超算架构的计算能力成为研究重点。我国自主研制的神威·太湖之光超算平台,采用了国产异构众核处理器SW26010,其包含4个核组,但未提供核组间的同步机制。为了增加其易编程性... 详细信息

近年来,科学领域对高性能计算的需求与日俱增,如何有效利用新型超算架构的计算能力成为研究重点。我国自主研制的神威·太湖之光超算平台,采用了国产异构众核处理器SW26010,其包含4个核组,但未提供核组间的同步机制。为了增加其易编程性,本文提出了面向神威·太湖之光的核组间同步方法,并在SWCL OpenCL编译器中实现了该核组间同步方法。该方法利用跨OpenCL主机内核的数据依赖分析来标识必要的同步操作位置,并通过SW26010的交叉段进行低开销的核组间通信,程序员在不使用消息传递接口(MPI)进行显式控制同步的情况下,可以自动地将一个OpenCL Kernel程序部署到多个核组上。使用SPEC ACCEL 1.2中的OpenCL测试用例在神威太湖之光平台的实验表明,本方法的加速效果明显优于传统的MPI实现版本。

关键词： OpenCL 国产众核处理器异构同步数据依赖分析

基于OpenCL的TensorFlow框架中Element-Wise算子实现

在线全文

学校读者我要写书评

暂无评论

数据与计算发展前沿 2022年第3期4卷 19-29页

作者：隋轶丞石昌青孙羽菲张玉志陈禹乔张宇哲南开大学软件学院天津300350 先进计算与关键软件海河实验室天津300350

【目的】深度学习模型以较强的建模性能和优秀的多场景适应能力被广泛应用于各类典型人工智能领域。目前通常采用异构并行计算技术满足深度学习模型的算力需求,然而目前深度学习框架普遍使用CUDA或ROCm等编程模型,仅能支持特定厂商设备... 详细信息

【目的】深度学习模型以较强的建模性能和优秀的多场景适应能力被广泛应用于各类典型人工智能领域。目前通常采用异构并行计算技术满足深度学习模型的算力需求,然而目前深度学习框架普遍使用CUDA或ROCm等编程模型,仅能支持特定厂商设备;对于通用异构计算设备,需要通过OpenCL编程标准实现支持,因此我们着力于实现TensorFlow框架的OpenCL版本。【方法】本文对TensorFlow框架中主要基于Eigen库提供的接口实现的Element-Wise算子进行代码分析,拆解对应结构体和类的封装方式,并基于OpenCL的编程标准对Element-Wise算子进行实现和封装,确保了代码的规范性和可扩展性。【结果】本文以CUDA算子为基准,对OpenCL的Element-Wise算子进行测试和对比,实验结果分别从正确性和计算效率两方面验证了本文OpenCL版本算子实现的可行性。【结论】作为实现OpenCL版本的TensorFlow框架这一工作的重要组成部分,本文成功实现了TensorFlow框架中Element-Wise算子的OpenCL版本,并经过实验验证了本文实现的算子的计算准确性和计算效率。

关键词： OpenCL TensorFlow 核函数

TensorFlow框架中OpenCL核函数的测试验证方案设计与实现

在线全文

学校读者我要写书评

暂无评论

数据与计算发展前沿 2022年第2期4卷 17-28页

作者：陈禹乔孙羽菲程大果张玉志周建宇隋轶丞石昌青南开大学软件学院天津300350

【目的】TensorFlow是人工智能领域最具代表性的深度学习框架。国产加速设备需要一个支持OpenCL的TensorFlow才能发挥其加速性能,为此需要将TensorFlow框架下的CUDA代码向OpenCL转换。如何验证OpenCL核函数的正确性,是研发任务面对的重... 详细信息

【目的】TensorFlow是人工智能领域最具代表性的深度学习框架。国产加速设备需要一个支持OpenCL的TensorFlow才能发挥其加速性能,为此需要将TensorFlow框架下的CUDA代码向OpenCL转换。如何验证OpenCL核函数的正确性,是研发任务面对的重要问题。【方法】基于TensorFlow动态链接库自定义算子和raw_ops测试接口,本文提出了一套OpenCL核函数的测试解决方案,包括自定义算子的源码设计规范、测试代码规范、代码审核方法和测试流程。【结果】本文实现了对135个OpenCL核函数代码的审核与测试,在各种数据类型及多种数据规模下进行了测试对比,完成了OpenCL核函数正确性的验证,及其与CUDA核函数的性能比较。【结论】本文为TensorFlow下OpenCL核函数的测试提供了可靠而有效的解决方案。

关键词： TensorFlow CUDA OpenCL 代码审核代码测试

基于Shan-Chen多相流耦合气孔PF-LBM模型OpenCL并行研究

在线全文

学校读者我要写书评

暂无评论

基于Shan-Chen多相流耦合气孔PF-LBM模型OpenCL并行研究

作者：雷瑶兰州理工大学

学位级别：硕士

高性能计算作为有效可靠的计算技术已经渗透到各个研究领域,目前在材料工程学中的应用也非常广泛。优质金属的生产依赖于对凝固过程中显微组织及缺陷的有效控制,受到多种因素的影响,若采取数值模拟对其进行定量研究,可极大降低传统实验... 详细信息

高性能计算作为有效可靠的计算技术已经渗透到各个研究领域,目前在材料工程学中的应用也非常广泛。优质金属的生产依赖于对凝固过程中显微组织及缺陷的有效控制,受到多种因素的影响,若采取数值模拟对其进行定量研究,可极大降低传统实验所需成本。合金的凝固涉及气/液/固三相之间的复合转变,气孔是造成凝固缺陷的主要因素之一。相场法(PF)以不用显示跟踪区分界面、易于结合其他外场的特点被应用于凝固动力学及流体动力学的数值模拟。格子玻尔兹曼方法(LBM)可有效模拟复杂多变的流体流动,所以被应用于气体和液体等多相流系统。因此,本文结合相场与磁场建立了研究气泡的动力学模型,耦合PF模型与LBM模型建立了基于Shan-Chen多相流耦合气孔PF-LBM模型,模拟了受磁场影响下气泡在流体中的运动情况以及合金凝固过程中枝晶与气泡运动变化。LBM方法的边界易处理,非常适合并行计算,针对PF-LBM耦合模型计算量大、计算效率低等问题,借助了OpenCL并行编程框架来实现对模型的并行求解。主要研究内容及结论如下:(1)耦合控制流体流动的连续性方程、动量方程、相场方程以及磁场方程建立了气泡动力学模型,研究了受垂直与水平方向磁场影响下气泡在流体中的上升过程及形态变化。结果表明,施加垂直磁场后气泡的上升速度加快,而添加水平磁场之后减速,气泡被沿着磁场线的方向拉伸,且形变的程度与磁标量的强度成正比。(2)利用基于PF法的二元合金模型模拟了枝晶微观组织的演化过程,研究了各向异性及溶质浓度对凝固枝晶的影响,基于Shan-Chen多相流LBM验证了气泡在液相中运动的正确性,通过气/液/固三相界面湿润问题验证了耦合PF-LBM模型的可行性。模拟了Al-4.0wt%Cu微观组织中枝晶与气泡的耦合生长,气泡从形核到生长再到合并的自然现象,结果显示,气泡与枝晶间是协同竞争的关系。(3)基于OpenCL采用异构编程平台对PF-LBM耦合模型进行求解计算。对模型做进一步优化,通过改变数据存储方式,设计同步操作以及去除数据依赖等充分发挥CPU+GPU的运算能力。将基于OpenCL异构平台与CPU串行计算系统两者求解所需的时间作对比,分析不同条件及模型下的并行计算结果。结果表明,在基于OpenCL的CPU+GPU异构平台下并行求解的计算时间大幅度减少,相比于CPU计算平台来说在定向枝晶中模拟区域为1000×1500时最高达到了20倍的加速比,在等轴枝晶中模拟区域为1500×1500时最高达到了22倍的加速比。求解时间之间的对比验证了异构系统加速并行的有效性。

关键词：相场法 PF-LBM 数值模拟 OpenCL 并行计算

基于硬件属性的OpenCL参数自动优化研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于硬件属性的OpenCL参数自动优化研究

作者：李嘉鹏西安电子科技大学

学位级别：硕士

OpenCL凭借其开放性和代码可移植性成为异构并行计算中热门的并行编程框架。OpenCL程序不具备良好的性能可移植性,当OpenCL程序跨平台移植时需要重新对其进行参数优化,该过程耗时耗力,故OpenCL程序的参数自动优化一直是研究重点。在Ope... 详细信息

OpenCL凭借其开放性和代码可移植性成为异构并行计算中热门的并行编程框架。OpenCL程序不具备良好的性能可移植性,当OpenCL程序跨平台移植时需要重新对其进行参数优化,该过程耗时耗力,故OpenCL程序的参数自动优化一直是研究重点。在OpenCL程序参数自动优化中,存在调优参数选择不合适而无法有效发挥设备性能的情况。在搜索空间的选择上通常会选择较大的搜索空间以保证对多种设备的兼容性,该方式会导致自动调优效率低下。而借助经验来进行搜索空间优化,则无法保证对陌生设备的调优效果。在搜索过程中,存在着执行失败的情况,会产生额外的时间花销。针对以上问题,本文提出一种OpenCL程序参数自动调优框架,有效利用设备硬件属性对参数自动优化过程进行优化。本文主要对调优参数确定、搜索空间生成、搜索过程优化进行研究,本文主要工作如下:(1)总结OpenCL内核优化方式并对基准算法的OpenCL内核进行优化,在传统调优参数基础上加入新的调优参数,提高对OpenCL程序执行过程的细粒化控制。对非2的n次方规模问题调优参数取值范围进行优化。总结调优参数取值范围并确定通用搜索空间,确保通过调整参数能够有效发挥设备性能。(2)提出一种自动生成精简搜索空间的方法。该方法借助硬件属性从计算单元负载、调度批利用率、调度并行度等角度对通用搜索空间进行过滤,获得精简搜索空间。本文提出并设计微基准程序来提取设备硬件属性。该方法有效的减小了搜索空间的规模,减少了搜索过程的时间花销。(3)提出了一种基于资源消耗分析的搜索过程优化方法,该方法能够有效减少搜索过程执行失败的情况。同时引入萤火虫算法和模拟退火算法加速搜索过程。(4)基于上述研究,设计了一种新的OpenCL参数自动调优框架。该框架具有良好的易用性,将复杂的OpenCL实现过程和搜索空间优化过程对用户隐藏并提供简单的接口用于参数自动优化。该框架通过迭代参数配置来进行参数优化。本文通过实验验证了参数自动调优框架调优精度和调优速度。实验结果表明,优化后的OpenCL内核在目标设备上性能提高至少20%。精简搜索空间对于最优参数配置和近似最优配置覆盖率达到80%以上。对比其他主流调优框架,参数调优速度至少提高了28%。改善了非2规模计算问题搜索空间后,其性能在2500×2500问题规模下提高至少10%。

关键词：异构计算 OpenCL 自动调参微基准程序硬件参数

基于OpenCL的细胞数字全息异构加速聚焦重建

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于OpenCL的细胞数字全息异构加速聚焦重建

作者：郭洪重庆大学

学位级别：硕士

数字全息技术利用光电传感器记录数字化全息图,然后通过计算机对再现光衍射过程进行数值模拟,最终实现了记录物体的重建和再现。该技术具备成像光路简单、制作成本低、成像视野大、成像结果包含三维结构信息等优势,尤其是非接触性、无... 详细信息

数字全息技术利用光电传感器记录数字化全息图,然后通过计算机对再现光衍射过程进行数值模拟,最终实现了记录物体的重建和再现。该技术具备成像光路简单、制作成本低、成像视野大、成像结果包含三维结构信息等优势,尤其是非接触性、无损性和定量性等特点,在细胞显微成像领域有广泛应用前景。但是数字全息的再现过程由数值重建和自动聚焦构成,涉及到大数据量、高复杂度运算,特别是自动聚焦过程需要重复多次重建和聚焦运算,因此传统基于CPU串行计算模式对数字全息图进行聚焦重建的速度难以满足生物医学工程应用中对于细胞实时观测的需要,而基于GPU异构并行计算平台的并行化计算模式是极具潜力的解决途径。但现有GPU异构加速方案极少是针对角谱重建算法提出的,且往往只进行数据并行化加速而缺少针对算法结构特点的优化设计导致GPU资源利用效率低。此外,大量方案利用CUDA平台实现限制其跨平台应用。为了解决上述问题,本文提出了采用开源且具有跨平台移植特性的OpenCL开放运算语言作为主要的GPU编程语言,利用GPU异构并行计算平台以数据并行和任务并行相结合的模式实现基于角谱重建的数字全息自动聚焦重建算法优化加速方案以进一步提高算法执行效率。具体而言,根据数字全息聚焦重建算法原理,从数据并行和任务并行两方面进行并行化分析,设计出整个聚焦重建算法的并行计算方案并编程实现,然后从CPU串行和GPU并行、GPU数据并行和GPU数据+任务并行、两个不同硬件平台下的CPU串行和GPU数据+任务并行对比、不同版本的GPU异构并行算法对比等四个方面开展了对比测试以验证加速方案的性能。实验结果表明:在两种不同的CPU+GPU硬件平台下进行OpenCL数据+任务并行聚集重建优化方案配置,都取得了良好的加速效果,分别最高可达48倍和59.7倍加速比。以NVIDIA公司GPU硬件平台为例,在单次聚焦重建过程中,针对不同分辨率的全息图进行聚焦重建,GPU数据并行和GPU数据+任务并行明显高于CPU串行的执行效率,最高分别可达21.8倍和25.9倍加速比;在多次聚焦重建过程中,GPU数据+任务并行方式相比GPU数据并行方式的执行效率明显更高,最高可达1.8倍加速比。由此可见,此GPU异构并行计算方案有效提高了聚焦重建算法的计算效率,且借助OpenCL的跨平台移植特性为数字全息成像技术进一步扩展到各个平台进行并行算法移植提供了一个范例,有助于推动数字全息技术在细胞实时观测方面的应用。

关键词：数字全息聚焦重建算法 GPU异构并行计算 OpenCL

面向神威·太湖之光的国产异构众核处理器OpenCL编译系统

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机学报 2018年第10期41卷 2236-2250页

作者：伍明川黄磊刘颖何先波冯晓兵中国科学院计算技术研究所计算机体系结构国家重点实验室北京100190 中国科学院大学北京100049 西华师范大学计算机学院四川南充637009

近年来硬件设计呈现出异构化的趋势,如何有效开发并行程序成为制约异构系统发展的瓶颈之一已成为业界共识.我国自主研制的"神威·太湖之光"超级计算机,采用了国产片上异构众核处理器SW26010,为了降低程序员的编程难度,同时提高软件的移... 详细信息

近年来硬件设计呈现出异构化的趋势,如何有效开发并行程序成为制约异构系统发展的瓶颈之一已成为业界共识.我国自主研制的"神威·太湖之光"超级计算机,采用了国产片上异构众核处理器SW26010,为了降低程序员的编程难度,同时提高软件的移植效率,作者设计并实现了支持国产SW26010众核处理器的OpenCL编译系统.该编译系统实现了OpenCL平台模型、内存模型和执行模型到SW26010众核处理器的映射与优化机制,同时生成性能良好的可执行文件.最后通过实验验证了该编译系统的正确性和有效性,典型OpenCL应用经该编译系统编译后,在中小输入规模下,性能显著优于Intel Xeon Phi,与NVIDIA GPU可比;在较大输入规模下,受限于局存SPM的容量限制,性能略低于NVIDIA GPU.

关键词： OpenCL 异构国产众核处理器编译系统

基于OpenCL的多GPU调度系统的设计与实现

在线全文

学校读者我要写书评

暂无评论

基于OpenCL的多GPU调度系统的设计与实现

作者：袁野浙江大学

学位级别：硕士

近年来,尽管图形处理器(GPU)在通用计算中取得了很大进展,但在GPU中编程仍然存在不少难点,例如需要用户显式的管理GPU内存以及手动进行CPU-GPU之间的数据传输。随着应用程序的计算结构逐渐变得复杂,计算数据也在不断增长,专注于利用单个... 详细信息

近年来,尽管图形处理器(GPU)在通用计算中取得了很大进展,但在GPU中编程仍然存在不少难点,例如需要用户显式的管理GPU内存以及手动进行CPU-GPU之间的数据传输。随着应用程序的计算结构逐渐变得复杂,计算数据也在不断增长,专注于利用单个GPU的计算能力已经无法满足用户的需求,越来越多的研究人员投向多GPU系统的使用,但由于GPU内部没有成熟的内存管理机制,充分了解应用程序的特性和通过编程模型来调度多个GPU需要花费用户大量时间,而不充分的修改又会出现计算资源分配不均衡等问题,因此面对不同应用程序亟需一个相对通用的解决方案。为此,本文设计了一个单机多GPU调度系统,在多GPU情况下利用虚拟GPU内存给用户提供单个GPU的映像,并且在无需用户进行任何手动代码修改的情况下,使得为单个GPU编写的OpenCL应用程序能在具有多GPU的GPGPU系统中运行。系统中主要包括静态调度和动态调度两个模块:在静态调度中,系统首先通过预处理模块对用户代码进行自动改造,其次在运行时将多个GPU进行工作负载划分,并利用模拟采样运行得到的内存访问范围进行资源的分配,使应用程序可以利用多个GPU的全部计算能力和内存空间。为了有效地管理数据,系统在OpenCL运行时通过数据备份来维护CPU-GPU之间的缓存一致性;其次,系统提供动态调度机制以实现计算任务在运行时的实时迁移,通过引入抢占式调度来提升系统的灵活性和容错性。最后,选取九个测试用例来验证调度系统的科学性,实验结果表明调度系统在面对常规的并行计算算法时具有很好的适用性,同时调度策略可以提高多GPU系统的计算性能,实现应用程序被多个GPU设备高效协同处理。

关键词： OpenCL 多GPU 静态调度工作负载动态调度