检索结果-南通市图书馆

作者：陆路华中科技大学

学位级别：硕士

为满足日益增长的海量数据分析处理需求,学术界和工业界设计开发了多种大数据处理系统来解耦数据分析应用的业务逻辑和底层作业执行环境,使得用户可以高效地在数据中心、云计算等并行分布式计算环境下开发、部署和运行分析作业。这些系... 详细信息

为满足日益增长的海量数据分析处理需求,学术界和工业界设计开发了多种大数据处理系统来解耦数据分析应用的业务逻辑和底层作业执行环境,使得用户可以高效地在数据中心、云计算等并行分布式计算环境下开发、部署和运行分析作业。这些系统通常使用以Map Reduce为代表的数据并行编程模型,为用户提供直观、面向应用领域的编程原语,简化应用开发。同时,系统底层实现为用户屏蔽作业的并行分布式执行细节,包括任务划分、负载均衡调度、数据分发和容错执行机制等。随着大数据处理的应用范围从最初的离线ETL批处理扩展到交互式查询、流计算和复杂迭代计算等实时、准实时计算场景,用户对作业的性能指标愈加重视,大数据处理系统的效率问题也显得越来越重要。纵观目前的大数据处理系统,其系统结构大体包括三个层面的核心组件:分布式硬件计算资源、数据处理软件引擎以及应用支撑环境。目前国内外针对大数据处理系统性能优化也多围绕这三个层面展开。本论文针对以上三个层面,分析其对作业运行的影响给出相应的优化措施。首先,在分布式硬件层面,当前的分布式计算环境中硬件计算资源往往是地理分散、异构且高度动态变化的,针对资源同构、稳定计算平台的任务调度机制难以充分保证作业执行时的硬件资源利用率;其次,在软件处理引擎层面,当前流行的大数据处理系统通常采用Java等高级面向对象语言开发,这些语言的托管型软件执行环境在实现抽象隔离、对象封装和自动内存管理等高级特性的同时,也引入了显著的额外开销、严重降低了作业执行效率;最后,在应用支撑层面,目前大数据应用呈现稀疏特性,导致数据处理效率低下,比如图数据处理中由于访存不均、通信复杂等原因导致计算效率不高。稀疏矩阵、图结构数据的分布式划分组织方式对于机器学习、图挖掘等迭代计算的通信开销具有显著影响,但传统的启发式静态划分算法仅能实现作业的静态负载均衡,难以适应大规模分布式计算平台下的动态负载均衡调度需求。针对上述背景,选取了三个场景,从三个层面探讨大数据处理系统性能优化问题。首先,针对分布式硬件计算平台资源动态性,本文提出了一种基于资源动态性特征的任务调度机制。该机制采用基于数据亲和性的任务调度算法,同时容忍短时间的数据传输/通信故障,从而避免不必要的任务重执行;并对拖慢任务采取激进的投机性执行来加快作业完成。为了验证方法的有效性,本文以桌面网格作为典型场景,设计实现了基于Grid5000平台的广域分布仿真实验框架;通过仿真节点抖动、节点瞬时故障、节点硬件异构和网络隔离等资源特征,对比了该机制和Hadoop的可扩展性、调度公平性和容错能力。第二,针对典型大数据处理用户程序的数据对象创建和访问特征,本文提出了一种基于生命周期的对象内存管理机制。在充分利用硬件资源的基础上,该机制基于对象拆解设计思想,采用运行时程序转换技术来降低作业执行时对象的内存占用和垃圾收集开销,从而让硬件计算资源消耗更多转化为应用的有效计算。针对转换的安全性,该机制利用静态程序分析技术提取创建对象的生命周期和内存占用特征信息,确保不改变程序的原有语义。而且,通过将同一数据集的对象内存布局调整为按字段连续存储,该机制还可以提升内存数据的压缩比率,进一步降低作业的内存占用。最后,针对分布式图数据划分与通信开销、负载均衡调度的关系特征,本文提出了一种基于顶点副本的两级图划分机制。启发式图划分算法能够降低分布式图计算的消息通信开销,对于避免拖慢作业有效计算十分关键。该机制对输入图数据首先按照计算节点粒度进行划分,在几个子图分片中划分出一个工作节点级别的分片作为原子迁移单元,并保证每个计算节点都有与另一个节点的“迁移亲和性”。基于这一划分机制,本文设计实现了一种动态负载均衡调度方法,在保证划分质量的同时避免频繁使用开销较大的全局图划分算法。另外,利用划分后部分顶点已经存在远端副本的性质,本文还实现了一种差异化备份的检查点机制,缩短作业进度的恢复时间。

关键词：分布式数据处理数据并行模型任务调度容错内存管理垃圾收集图划分动态负载均衡

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于DVM的可视化并行程序开发平台设计

基于DVM的可视化并行程序开发平台设计

引用

作者：彭伟西北工业大学

学位级别：硕士

并行处理是指同时对多个任务或多条指令、或多个数据项进行处理，从而大大提高计算速度。实现这种并行处理的计算机系统称为并行计算机系统。并行计算采用并行程序实现，并行程序设计的算法结构与并行计算机系统结构紧密相关，当前流行... 详细信息

并行处理是指同时对多个任务或多条指令、或多个数据项进行处理，从而大大提高计算速度。实现这种并行处理的计算机系统称为并行计算机系统。并行计算采用并行程序实现，并行程序设计的算法结构与并行计算机系统结构紧密相关，当前流行的算法结构有共享存储、消息传递、数据并行等多种模型。DVM系统是一个基于数据并行的并行程序模型，因其良好的特性而受到越来越多的关注。本文设计了一个基于DVM系统的并行程序设计图形可视化系统。该系统通过一个可视化的编程环境为DVM并行程序设计提供了一条有效的途径，降低了编写并行程序的难度。论文首先讨论了高性能计算的需求，分析了各种并行计算机的特点，阐明了并行计算机的发展方向。并详细阐述了并行算法结构、并行程序设计的基本原则、并行程序设计环境等并行程序设计的基本理论。然后，在详细分析DVM系统模型和DVM程序的执行特性的基础上，设计了图形可视化并行程序设计平台的总体结构并以VC为基本编程工具，具体实现了该平台的主要功能，图形化地显示了数据块在各处理器上的分配、数据对齐，远程数据访问等情况。综上所述，本文设计了一个基于DVM系统的并行程序可视化开发平台，实现了该平台的主要功能，同时也为系统的进一步完善和改进奠定了基础。

关键词： DVM 并行程序设计可视化消息传递模型数据并行模型

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式机器学习中的通信机制研究综述

引用

上海电力大学学报 2021年第5期37卷 496-500,511页

作者：杜海舟黄晟上海电力大学计算机科学与技术学院上海200090

与传统的分布式计算不同,分布式机器学习更加关注参数同步和梯度同步,网络通信是最大的瓶颈。许多研究者针对网络问题提出了多种解决方法。首先介绍了机器学习领域内最热门的深度神经网络的发展背景,然后分别对数据并行模型中参数同步... 详细信息

与传统的分布式计算不同,分布式机器学习更加关注参数同步和梯度同步,网络通信是最大的瓶颈。许多研究者针对网络问题提出了多种解决方法。首先介绍了机器学习领域内最热门的深度神经网络的发展背景,然后分别对数据并行模型中参数同步步调和参数同步方法进行了详细的概述,最后对分布式机器学习的发展趋势和面临的挑战进行了讨论。

关键词：分布式机器学习数据并行模型参数通信并行计算

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于消息传递的并行程序设计应用研究

引用

黄冈职业技术学院学报 2004年第3期6卷 42-45页

作者：周德仿武汉理工大学计算机学院湖北黄冈430063

本文从分布式存储的并行计算机入手,引出了它的两种并行编程模型消息传递模型和数据并行模型。在消息传递模型中,并行程序设计的首要考虑是计算问题的分解。于是,从并行算法中的并行分解开始,讨论了基于消息传递的两种分解方法——域... 详细信息

本文从分布式存储的并行计算机入手,引出了它的两种并行编程模型消息传递模型和数据并行模型。在消息传递模型中,并行程序设计的首要考虑是计算问题的分解。于是,从并行算法中的并行分解开始,讨论了基于消息传递的两种分解方法——域分解法和功能分解法。最后最为重要的是,着重讨论了对应于域分解法的数据并行形式和对应于功能分解法的函数并行形式。

关键词：并行程序设计消息传递模型域分解法功能分解法数据并行模型

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：