检索结果-南通市图书馆

检索条件"主题词=AMDAAH算法"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

Spark计算引擎的内存优化技术研究

Spark计算引擎的内存优化技术研究

引用

作者：张伟哈尔滨工程大学

学位级别：硕士

随着互联网的广泛普及、物联网的兴起与通信技术的快速发展,用户产生的数据呈指数上涨态势,传统的单台高性能服务器已不能满足对超大规模数据进行处理。因此,以集群为单位的大数据分布式系统应运而生,其中Hadoop与Spark为目前最流行的... 详细信息

随着互联网的广泛普及、物联网的兴起与通信技术的快速发展,用户产生的数据呈指数上涨态势,传统的单台高性能服务器已不能满足对超大规模数据进行处理。因此,以集群为单位的大数据分布式系统应运而生,其中Hadoop与Spark为目前最流行的分布式计算框架,与采用基于磁盘和网格计算的Hadoop相比,基于内存计算的Spark计算速度比Hadoop快一个数量级以上,可显著减少数据传输和运算时间。在Spark快速发展的同时,如何充分利用其内存资源,提高内存使用效率,值得进行深入研究。论文对Spark内存管理进行了深入研究。针对Spark框架原理和源代码进行深入研究,为了能判断内存管理方案的优劣,需要获取应用的具体执行情况,因此设计了一个性能分析系统,分别包含了Spark源码插桩层、数据整理层和数据可视化层。根据Spark1.6及之后版本拥有两种不同的内存管理方案,分析了新旧内存管理方案的具体实现方式,通过理论推导得出新内存管理方案存在在内存较小的情况下应用较易运行失败的不足,并通过实验验证了新内存管理方案在该方面存在不足;针对新内存管理方案该方面存在的不足进行了改进,使改进后的内存管理方案能在较小内存时成功运行。在分析新旧内存管理方案原理时,发现两种方案的核心都是使用静态配置算法实现。由于静态配置算法并不能根据应用运行过程中两种内存需求比例的不断变化而动态调整配置比例大小。本文提出了一种基于溢出历史的自适应内存动态配置算法amdaah。该算法能够根据应用在运行过程中需要的不同内存类型的相对大小动态调整各内存类型比例关系,从而提高内存的使用效率;并将其分别与先来先服务算法、静态配置算法进行性能比较,实验验证了amdaah算法能够在SparkPi和PageRank两种不同类型的应用中都能表现出较好的内存使用效率,整体性能最优。

关键词： Spark框架内存管理 amdaah算法性能分析 Hadoop

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：