检索结果-南通市图书馆

检索条件"主题词=直方图数据立方体"

共 3 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

封闭直方图数据立方体的构建算法的研究与实现

封闭直方图数据立方体的构建算法的研究与实现

引用

作者：郑虎东北大学

学位级别：硕士

随着信息科学与技术在生产实践中的大量应用,每天企业都积累了大量数据,这使得企业决策者为了从数据中发现知识越来越依赖于决策分析工具,OLAP就是这样一种工具。然而受数据海量化和高维化影响,OLAP技术中的一些方面受到了严峻的挑战,... 详细信息

随着信息科学与技术在生产实践中的大量应用,每天企业都积累了大量数据,这使得企业决策者为了从数据中发现知识越来越依赖于决策分析工具,OLAP就是这样一种工具。然而受数据海量化和高维化影响,OLAP技术中的一些方面受到了严峻的挑战,其中数据立方体技术受到的影响尤其巨大。数据立方体是数据一种预处理技术,它的缺点是构建时的时间开销和空间开销都非常庞大。为了改变它这一缺点,封闭立方体等压缩技术被提出来,大大减小了数据立方体的体积。然而在海量数据和高维度面前,时空开销依然是巨大的挑战。另一方面数据立方体的灵活性也很差,后来出现了直方图数据立方体,能够很大程度上提高数据立方体的灵活性。随着云时代的到来,MapReduce模型和它的开源实现Hadoop大量普及,出现了基于MapReduce模型的封闭立方体构建方法。这种方法能利用集群的力量极大提升计算能力,从而应对构建封闭立方体的挑战。然而这些方法在性能上还有很大不足,尤其是在应对维度比较高的情况。本文采用格分解的思想,提出了一种新的基于MapReduce的构建封闭数据立方体的方法MRC-Cubing,将庞大的计算完整的封闭立方体的任务,分解成若干个易并行的小任务。与过去的MapReduce方法相比,它能够很大程度提升计算封闭立方体的效率,对维度很高的情况也可以有效支持。本文还为这种基于MapReduce的方法提出了负载不均衡问题的解决方案：调整哈希策略以解决边界子封闭立方体元组数不均衡,递进分解边界子封闭立方体以处理超大边界子封闭立方体。本方法同样适用于解决封闭直方图立方体的情况。构建封闭直方图数据立方体是一种很大的开销,因此当对已有的数据集构建了封闭数据立方体后,而随着时间的推移有新的数据来临并积累了一定数据量时,如果能够不用重新构建封闭直方图立方体,而只是在原有立方体的基础上将新来的数据集加入到数据立方体中是更好的。本文基于对增量更新中利用已有的封闭立方体所带来的收益与代价的分析,提出了一种在单机环境下,对已有封闭直方图数据立方体进行增量更新的方法。这种方法能够用比重新构建完整封闭数据立方体小很多的时间,实现封闭直方图数据立方体的批量数据的增量更新。本文在TPC-DS测试数据集上通过实验证明了：MRC-Cubing相比以往基于MapReduce的算法,在大数据规模和高维度数据的处理效率上都有了很大的提升,能够更好的发挥集群的计算能力;另外本文提出的对封闭立方体的增量更新方法也可以比完全构建封闭立方体有效提升效率。

关键词： OLAP 封闭数据立方体直方图数据立方体 MapReduce 增量更新

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

云环境下直方图立方压缩存储与增量更新及查询研究与实现

云环境下直方图立方压缩存储与增量更新及查询研究与实现

引用

作者：陈昌宁东北大学

学位级别：硕士

随着大数据和云计算时代到来,像联机分析处理(On Line Analytical Processing, OLAP)这种需要大量计算和存储开销的问题变得简单许多。然而受数据海量化和高维化影响,OLAP技术在计算和存储方面仍然面临严峻的挑战,分布式环境下的处理方... 详细信息

随着大数据和云计算时代到来,像联机分析处理(On Line Analytical Processing, OLAP)这种需要大量计算和存储开销的问题变得简单许多。然而受数据海量化和高维化影响,OLAP技术在计算和存储方面仍然面临严峻的挑战,分布式环境下的处理方式只是缓解上述挑战。本文提出了直方图数据立方体的压缩架构,分别从直方数据图立方体的底层存储结构,内容压缩,整体压缩三个方面进行了优化处理。首先底层存储结构上,本文基于直方图数据立方体和封闭数据立方体技术对于直方图数据立方体的存储结构进行改进,提出了封闭元祖+直方图的底层存储结构;内容压缩上,本文根据直方图数据立方体的统计结构信息提出计数倒转的压缩方法;整体压缩上,本文借用文件压缩进一步压缩直方图数据立方体;综合上述三种压缩技术,本文实现了对直方图数据立方体的高效压缩。构建数据立方体在时间上是一种很大的开销,前人大多都是在研究如何用尽可能少的时间构建一个完全数据立方体,而数据立方体是面向企业应用的,企业会有不断的新数据需要累加到数据立方体中。本文对数据立方体增量更新的收益与代价进行了分析研究,对数据立方体增量构建方法进行了探索,本文提出了封闭数据立方体增量更新时没有删除只有增加和更新的规律,并在MapReduce分布式环境下实现了MRC-IncreUp算法。封闭数据立方体的查询实现才是OLAP的最终目的,本文提出了基于查询键的直接查询和基于封闭原则编码分类的分类查询,另外为了实现交互式查询,本文引入了Impala大数据实时查询系统,并提出了利用Impala系统完成交互式查询的架构和查询优化策略。本文在TPC-DS测试数据集上通过实验证明了：对数据立方的压缩情况,以及增量更新相对于重新计算的优势和查询算法及实现的相对于以前查询算法的高效性。

关键词： OLAP 封闭数据立方体直方图数据立方体 MapReduce 增量更新查询压缩存储

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

支持大数据多聚集在线查询系统的研究与实现

支持大数据多聚集在线查询系统的研究与实现

引用

作者：党迎光东北大学

学位级别：硕士

随着大数据时代的到来,企业积累的数据程爆炸式增长。并且企业又需要根据这些海量的历史数据做决策,OLAP的出现使对大数据的处理变得简单了许多。然而受数据的海量化和高维化影响,OLAP技术在计算和存储方面仍然面临严峻的挑战,分布式环... 详细信息

随着大数据时代的到来,企业积累的数据程爆炸式增长。并且企业又需要根据这些海量的历史数据做决策,OLAP的出现使对大数据的处理变得简单了许多。然而受数据的海量化和高维化影响,OLAP技术在计算和存储方面仍然面临严峻的挑战,分布式环境下的处理方式只是缓解上述挑战。为了提高大数据的查询效率,出现了数据立方体。然而其构建时间和存储空间开销特别大。为了解决这一问题,后来出现了一种有效的无损压缩技术—封闭数据立方体。但是封闭数据立方体缺少灵活,其聚集往往只支持一类查询,封闭直方图数据立方体使立方体的灵活性有了较大的提高。本文在现有压缩方法的基础上提出了一种新的压缩方法,对封闭直方图数据立方体的存储结构进行优化。将派生出来的封闭元组和生成该封闭元组的基本元组中编号最小的元组存放在一起,并且只存储该封闭元组对应的度量值和封闭元组编码,这样将一个封闭元组用一个整数表示,有效的降低了存储空间。本文采用已有的计数倒转的压缩方法对度量值向量进行处理,使之满足近似查询,从而减小度量值向量部分的开销。并且本文改进了计算封闭直方图数据立方体的MRC-Cubing算法,使其对All元组和基本元组的计算变得简单高效,并提出了对超大封闭元组的计算策略,均衡了各个任务的负载。构建封闭直方图数据立方体在时间上是一种很大的开销,因此希望将新数据快速融入立方体中。本文对增量更新中分析已有的封闭立方体所带来的收益与代价,提出了分布式增量更新的两种方案。一种是将新数据直接和已有立方体合并,另一种是将两个立方体合并。这两种方法与重新计算立方体相比都节省了大量的时间。用户可以根据自己的需要来选择使用哪种增量更新的方法。为了加速封闭直方图数据立方体的查询,本文提出了基于倒排索引的MapReduce查询,在数据量较大时能够有效的提高查询速度。为了实现对封闭直方图数据立方体的在线近实时查询,采用HBase作为直方图立方体和其索引的存储平台,并结合查询键、查询码以及倒排索引实现快速交互式查询。本文在TPC-DS测试数据集上通过实验证明了:对数据立方的压缩情况,以及增量更新相对于重新计算的优势和查询算法及实现的相对于以前查询算法的高效性。

关键词：封闭数据立方体直方图数据立方体增量更新在线查询压缩存储

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：