检索结果-南通市图书馆

检索条件"主题词=IOE Hadoop"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

从传统架构ioe到hadoop云平台的应用迁移研究与实现

从传统架构IOE到Hadoop云平台的应用迁移研究与实现

引用

作者：刘长亮北京邮电大学

学位级别：硕士

随着“大数据”时代的来临,企业的数据量以成倍的速度增长,企业使用传统架构ioe (IBM小型机,Oracle数据库以及EMC存储组成的大型商用数据库系统)对数据进行统计分析。如今,ioe架构在企业数据量达到一定程度后出现了磁盘IO瓶颈、计算瓶... 详细信息

随着“大数据”时代的来临,企业的数据量以成倍的速度增长,企业使用传统架构ioe (IBM小型机,Oracle数据库以及EMC存储组成的大型商用数据库系统)对数据进行统计分析。如今,ioe架构在企业数据量达到一定程度后出现了磁盘IO瓶颈、计算瓶颈、带宽瓶颈。而hadoop云平台对这些问题提出了解决方案。它采用HDFS用于数据的存储管理,并行计算框架MapReduce用于数据的计算,以及计算向数据移动的思想减轻网络带宽的压力。当企业选择hadoop云平台对数据进行分析统计时就需要将原本运行于ioe架构下的应用迁移到hadoop云平台。本论文针对ETL应用迁移提出了解决方案,并且在某企业ETL应用从ioe架构迁移到hadoop云平台的项目中得以实践。本课题研究的主要内容包括：1、 ETL应用的迁移。包括：关系型数据库表到Hive数据仓库表之间的数据迁移程序开发,服务器与HDFS之间日志文件传输程序开发,将ETL工具IBM WebSphere DataStage导出的结构化XML配置文件解析为Hive脚本的应用程序开发,将ETL工具E-transform的半结构化函数式配置文件解析为MapReduce序列化文件的应用程序开发,Hive脚本解析程序开发。2、hadoop云平台及Hive应用的优化。包括：Linux相关参数以及hadoop相关参数的配置规则研究,编写高效Hive ql语句的规则研究,Hive ql语句优化前后的性能比较以及原理分析,运行在hadoop云平台与ioe架构下应用的性能比较分析。3、hadoop单个Job监控程序的开发。通过调用hadoop API收集Job的信息,通过列表的形式展示Job的基本信息,并对Job资源的使用情况进行可视化。

关键词： ioe hadoop 应用迁移优化监控

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：