检索结果-南通市图书馆

基于gpu集群系统的MapReduce编程模型研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于GPU集群系统的MapReduce编程模型研究

作者：郭钇汝山东大学

学位级别：硕士

我们生活在数据爆炸的时代,每时每刻都有着成千上万的数据产生,信息总量以几何级数的方式增长。但数据量的快速增长也同时给我们带来了很多困扰,如何能够快速高效的对这些数据进行分析和处理成为了一个急需解决的难题。MapReduce是一种... 详细信息

我们生活在数据爆炸的时代,每时每刻都有着成千上万的数据产生,信息总量以几何级数的方式增长。但数据量的快速增长也同时给我们带来了很多困扰,如何能够快速高效的对这些数据进行分析和处理成为了一个急需解决的难题。MapReduce是一种最先由Google公司提出来的可用于大数据处理的分布式并行编程模型,它通过把大数据集分发到集群中各个节点共同处理来实现数据的快速处理。因此,利用不同的并行结构来加速MapReduce计算成为了当前的研究热点。不同于CPU,图形处理单元gpu有着特殊的硬件结构,在处理能力和存储器带宽上相对CPU有着明显优势。同时,随着GPgpu计算技术的快速发展,利用gpu完成通用计算的研究渐渐活跃起来,越来越多的数据密集型的传统应用可以通过gpu来完成,并且可以获得几十倍甚至几百倍的性能提升。因此,利用gpu来加速MapReduce计算得到了广泛关注。然而之前那些基于gpu的MapReduce模型都有着自身的缺陷,它们大多只能以单节点单gpu或者单节点多gpu的方式运行,不能充分利用计算集群的优势去加速计算过程,而且所处理的数据量也十分有限。在本文中,我们通过CUDA和MPI技术实现了一个基于gpu集群系统并且支持大数据处理的MapReduce编程模型GCMR。在该模型中,我们通过一个双层并行机制(节点间并行和节点内并行)把MapReduce计算扩展到了gpu集群上,利用原子操作实现了一个gpu上的动态存储机制,并且通过一个多线程流水线机制优化了模型的整体性能。与之前的实现Mars相比,在处理小规模数据时,GCMR带来了单节点2.6倍到四个节点9.1倍的性能提升。而在gpu集群上处理大数据集时,则表现出了良好的扩展性。

关键词： MapReduce编程模型 gpu集群 CUDA 并行计算大数据处理

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向通用计算gpu集群的任务自动分配系统

面向通用计算GPU集群的任务自动分配系统

作者：胡新明复旦大学

学位级别：硕士

面向通用计算的gpu具有超强的大规模数据并行计算能力,以及高吞吐量、高性价比等特点,而采用其作为加速设备的gpu集群则成为高性能计算领域的研究热点。由于gpu的加入,gpu集群呈现了多层次、复杂的的异构特征,使得应用程序开发、运行带... 详细信息

面向通用计算的gpu具有超强的大规模数据并行计算能力,以及高吞吐量、高性价比等特点,而采用其作为加速设备的gpu集群则成为高性能计算领域的研究热点。由于gpu的加入,gpu集群呈现了多层次、复杂的的异构特征,使得应用程序开发、运行带来了很大的难度。当前对这一体系结构进行编程,是通过将传统的节点级通信模型MPI和具体的加速器设备编程模型(如CUDA)进行简单的松散耦合,形成的直观、可用的gpu集群编程模型(如MPI+CUDA)。在MPI+CUDA编程模型中,程序员需要手工的完成任务到节点的分配,这需要了解底层的体系结构细节信息。当集群规模较大时,采用手工的方式进行任务分配难度非常大。而且手工分配的结果和具体的底层集群体系结构高度相关,这也影响了程序的可移植性和可扩展性。此外,该模型按照任务控制逻辑对应用进行划分,这使之难以有效的挖掘应用中的数据并行性,并难以获得任务间的数据流依赖关系,因而难以实施有效地细粒度任务分配策略。基于MPI+CUDA编程模型存在的上述缺陷,本文引入了DISPAR数据流模型这样一种公认的适合于描述数据密集型应用的模型,并试图在这样一个新的编程模型下实施自动、优化的任务分配机制。DISPAR编程模型将数据密集型应用中的计算抽象为虚拟计算单元VNODE。 VNODE之间具有统一的、明确自定义的通信接口PIPE,因此任务之间的数据流依赖关系能够方便的获得。本文设计并实现了基于DISPAR编程模型的任务自动分配系统StreamMAP:(1)通过对DISPAR源程序中的任务资源需求和数据流通信关系进行分析获得整个集群应用的任务资源需求拓扑图,完成对集群任务的抽象表达。(2)提出了由“控制节点发出询问、各节点响应”这样一个获取集群当前资源分布信息(当前节点资源表)的方案,这样只需依赖一个普通的MPI程序就可动态获取集群的资源分布信息,不涉及任何操作系统层面的改造。通过这种较为简单的方式获得底层集群系统的资源模型。(3)在此基础上,提出并实现了一种兼顾高并行度、负载均衡、减少任务见通信代价等多个优化目标的任务分配算法。实验结果表明,通过streamMAP能够达到自动、优化地分配异构gpu集群任务的目标。本文对异构gpu集群任务调度的研究具有一定的指导意义。

关键词： gpu集群 MPI+CUDA编程模型数据流模型任务分配

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

gpu集群加速CT图像重建

GPU集群加速CT图像重建

基于gpu集群的科学计算可视化平台的性能测试与分析

全国射线数字成像与CT新技术研讨会

作者：孟凡勇王维中国科学院过程工程研究所多相复杂系统国家重点实验室中国科学院研究生院

CT图像重建具有高计算密集性、高并行性、大数据量的特点,特别适用于单指令多线程并行操作的流处理架构,图形处理单元正是基于这样架构的一种硬件。本文基于消息传递接口与CUDA混合编程,实现了多个图形处理单元计算结点组成的集群对CT... 详细信息

CT图像重建具有高计算密集性、高并行性、大数据量的特点,特别适用于单指令多线程并行操作的流处理架构,图形处理单元正是基于这样架构的一种硬件。本文基于消息传递接口与CUDA混合编程,实现了多个图形处理单元计算结点组成的集群对CT图像重建的滤波反投影算法的加速。实验结果表明,重建图像尺寸越大,图形处理单元/CPU加速比越高;且随着结点数的增多,图形处理单元设备初始化的时间逐渐成为重建速度的瓶颈。

关键词： CT 图像重建 gpu集群 MPI

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

科研信息化技术与应用 2011年第6期2卷 22-28页

作者：张亚南田东阚圣哲单桂华中国科学院计算机网络信息中心北京100190 中国科学院研究生院北京100190

应用于高性能计算集群的科学计算可视化软件发展日趋成熟,gpu加速的应用使得这类软件处理大规模数据的能力不断提高。本文介绍了可视化软件VisIt在gpu集群上安装及性能测试的一些工作,探讨了包括VisIt的基本架构、安装过程中遇到的问题... 详细信息

应用于高性能计算集群的科学计算可视化软件发展日趋成熟,gpu加速的应用使得这类软件处理大规模数据的能力不断提高。本文介绍了可视化软件VisIt在gpu集群上安装及性能测试的一些工作,探讨了包括VisIt的基本架构、安装过程中遇到的问题及其解决方案、VisIt图像绘制中的并行性能测试、计算过程可视化的实现。

关键词：可视化 VisIt gpu集群计算过程可视化科学计算可视化

基于gpu集群的科学计算可视化平台的性能测试与分析

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

数据与计算发展前沿 2011年第6期2卷 22-28页

作者：张亚南田东阚圣哲单桂华中国科学院计算机网络信息中心中国科学院研究生院

关键词：可视化 VisIt gpu集群计算过程可视化科学计算可视化

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于gpu集群实现MD5的快速破解

电脑与信息技术 2013年第2期21卷 54-56页

作者：杨胜斌肇庆工商学院广东肇庆526020

从单个gpu异构并行系统来看,其性能还是比较有限,文章阐述了基于gpu集群的CUDA架构实现过程,详细分析基于gpu集群进行MD5快速破解的编译过程,并对破解程序进行测试研究,对其运行结果进行测试和分析,探讨搭建gpu高性能计算集群及其进行MD... 详细信息

从单个gpu异构并行系统来看,其性能还是比较有限,文章阐述了基于gpu集群的CUDA架构实现过程,详细分析基于gpu集群进行MD5快速破解的编译过程,并对破解程序进行测试研究,对其运行结果进行测试和分析,探讨搭建gpu高性能计算集群及其进行MD5算法的快速破解的过程。

关键词： gpu集群 MD5 破解

维普期刊数据库

利用LSF API实现gpu集群的并行机时统计

在线全文

学校读者我要写书评

暂无评论

计算机时代 2020年第11期 63-65,69页

作者：盛乐标游伟倩张予倩周庆林南京大学高性能计算中心江苏南京210093

近年来gpu的使用越来越广泛,更多的高性能计算集群采用CPU和gpu的异构架构。准确的gpu计算机时统计,是大型计算机集群执行计费政策的基础,但作业调度软件LSF并未提供简便直观的gpu计算机时统计功能。文章提出利用LSF API结合C语言、MPI... 详细信息

近年来gpu的使用越来越广泛,更多的高性能计算集群采用CPU和gpu的异构架构。准确的gpu计算机时统计,是大型计算机集群执行计费政策的基础,但作业调度软件LSF并未提供简便直观的gpu计算机时统计功能。文章提出利用LSF API结合C语言、MPI和Shell脚本语言等进行编程来解决,实现多样化、可定制的gpu计算机时统计和报表制作,为高性能计算中心和超级计算中心的管理带来便利。

关键词：高性能计算集群管理 gpu集群机时统计

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

面向分布式深度学习的集群资源调度机制研究

面向分布式深度学习的集群资源调度机制研究

作者：傅懋钟杭州电子科技大学

学位级别：硕士

随着深度学习技术在人工智能各个领域的快速发展,深度神经网络(Deep neural network,DNN)模型日益复杂,数据集规模不断增大。在单机单卡环境下的DNN模型训练速度已经无法满足日常的研发需求,因此研发人员开始将DNN模型训练过程逐渐转移... 详细信息

随着深度学习技术在人工智能各个领域的快速发展,深度神经网络(Deep neural network,DNN)模型日益复杂,数据集规模不断增大。在单机单卡环境下的DNN模型训练速度已经无法满足日常的研发需求,因此研发人员开始将DNN模型训练过程逐渐转移到多机多卡环境下使用多个计算设备进行并行训练,从而加快DNN模型训练速度。分布式深度学习(Distributed deep learning,DDL)开始成为大规模深度学习的重要支撑技术。然而,现有的通用集群调度器所采用的调度策略没有针对DDL任务的特性进行优化,导致DDL任务运行效率以及集群资源利用率低下。针对多个DDL任务的资源调度场景,存在着资源分配不均、任务随机到达、任务与资源之间存在异构性、集群带宽性能瓶颈等问题。故如何在分布式环境(gpu集群/数据中心)下完成对多个DDL任务的资源调度,提高DNN模型训练效率和集群资源利用率,是当前亟待解决的问题。基于以上描述,本文根据多个DDL任务到达集群的不同方式研究了gpu集群上多个DDL任务的资源调度问题,主要工作如下:(1)当多个DDL任务以周期性的方式到达gpu集群时,用户主要关心多任务的完工时间。本文提出了一种优化完工时间和资源利用率的资源调度方法(Optimizing makespan and resource utilization,OMRU),解决多任务的任务调度和资源分配的联合优化问题。本文首先通过在不同数量的gpu上对DNN模型运行一个Epoch迭代来收集所有DNN模型的训练时间数据。然后将任务调度、资源分配和gpu复用相结合设计了OMRU算法。并在分布式环境下采用线性缩放规则调整DNN模型学习率,以保证DNN模型的精确度。最后,本文实现了OMRU算法并在gpu集群上使用图像分类和动作识别领域的多个DNN模型进行了调度实验。实验结果表明,OMRU算法相较于其它调度算法最多减少了30%的完工时间,并在图像分类和动作识别领域中分别达到了98.4%和99.2%的平均资源利用率,且DNN模型精确度与单机单卡环境下相近。(2)当多个DDL任务以随机的方式到达gpu集群时,用户主要关心任务的运行需求(如截止时间)是否被满足。本文提出了一种优化集群截止时间保证率的动态资源调度方法(Dynamic resource scheduling,DRS),解决异构带宽环境下DDL任务的资源布局问题。本文首先根据Ring-All Reduce架构下DDL任务的迭代特性构建了资源-时间模型,以衡量DDL任务在不同资源配置下的运行时间。然后基于截止时间需求构建了资源-性能模型,以实现高效的资源利用。DRS算法基于上述模型并结合资源布局确定任务的最优资源配置,再基于最近截止时间原则选择最优调度任务进行物理资源分配,并引入迁移机制减少调度过程中出现的资源碎片场景的影响。最后在一个异构带宽gpu集群上进行了调度实验,实验结果表明,DRS算法相较于其它调度算法最多能够提升39.5%的截止时间保证率,并在调度过程中令集群总体节点的平均资源利用率达到了91.2%。

关键词：分布式深度学习资源调度 gpu集群数据并行 Ring-AllReduce

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

图形处理器通用计算关键技术研究综述

计算机学报 2013年第4期36卷 757-772页

作者：王海峰陈庆奎上海理工大学管理学院上海200093 临沂大学信息学院山东临沂276002 上海理工大学光电信息与计算机工程学院上海200093

当前图形处理器的通用计算取得长足发展,为适应通用计算图形处理器在硬件体系结构和软件支持方面完成相应调整和改变,面对各种应用领域中数据规模增大的趋势,多gpu系统和gpu集群的研究应用日趋增多.以流处理器及图形处理器硬件体系为依... 详细信息

当前图形处理器的通用计算取得长足发展,为适应通用计算图形处理器在硬件体系结构和软件支持方面完成相应调整和改变,面对各种应用领域中数据规模增大的趋势,多gpu系统和gpu集群的研究应用日趋增多.以流处理器及图形处理器硬件体系为依据,介绍学术和工业领域中流处理器及图形处理器体系变化趋势.从软件编程环境、硬件计算与通信等方面展开讨论,阐述通用计算中图形处理器的关键问题,包括编程模型及语言的发展和方向,存储模型的量化研究、访存模式和行为的优化以及分布式存储管理的热点问题,典型通信原型系统的对比及通信难点的分析,gpu片内和片间的负载均衡,可靠性和容错计算,gpu功耗评测及低功耗优化的研究进展.综述在海量数据处理、智能计算、复杂网络、集群应用领域中图形处理器的研究进展及成果.总结在通用计算发展中存在的技术问题和未来挑战.

关键词：图形处理器通用计算可编程性 gpu集群

维普期刊数据库