检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

一种生成封闭数据立方体的新算法

弹箭与制导学报 2010年第3期30卷 247-250页

作者：张亮白振兴周军白云空军工程大学工程学院西安710038

以武器装备故障维修数据为基础,研究了武器装备故障维修数据立方体,重点分析了封闭数据立方体与基本元组集之间的关系,提出一种建立武器装备故障维修封闭数据立方体模型的新算法,并针对冰山封闭数据立方体进行算法改进。最后利用近十年... 详细信息

以武器装备故障维修数据为基础,研究了武器装备故障维修数据立方体,重点分析了封闭数据立方体与基本元组集之间的关系,提出一种建立武器装备故障维修封闭数据立方体模型的新算法,并针对冰山封闭数据立方体进行算法改进。最后利用近十年武器装备故障维修数据对算法进行验证,结果表明文中算法较之基本的封闭数据立方体算法具有更好的时空效率,为分析武器装备故障原因提供了一种更有效的手段。

关键词：数据仓库数据立方体封闭数据立方体 Apriori

封闭直方图数据立方体的构建算法的研究与实现

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

封闭直方图数据立方体的构建算法的研究与实现

作者：郑虎东北大学

学位级别：硕士

随着信息科学与技术在生产实践中的大量应用,每天企业都积累了大量数据,这使得企业决策者为了从数据中发现知识越来越依赖于决策分析工具,OLAP就是这样一种工具。然而受数据海量化和高维化影响,OLAP技术中的一些方面受到了严峻的挑战,... 详细信息

随着信息科学与技术在生产实践中的大量应用,每天企业都积累了大量数据,这使得企业决策者为了从数据中发现知识越来越依赖于决策分析工具,OLAP就是这样一种工具。然而受数据海量化和高维化影响,OLAP技术中的一些方面受到了严峻的挑战,其中数据立方体技术受到的影响尤其巨大。数据立方体是数据一种预处理技术,它的缺点是构建时的时间开销和空间开销都非常庞大。为了改变它这一缺点,封闭立方体等压缩技术被提出来,大大减小了数据立方体的体积。然而在海量数据和高维度面前,时空开销依然是巨大的挑战。另一方面数据立方体的灵活性也很差,后来出现了直方图数据立方体,能够很大程度上提高数据立方体的灵活性。随着云时代的到来,MapReduce模型和它的开源实现Hadoop大量普及,出现了基于MapReduce模型的封闭立方体构建方法。这种方法能利用集群的力量极大提升计算能力,从而应对构建封闭立方体的挑战。然而这些方法在性能上还有很大不足,尤其是在应对维度比较高的情况。本文采用格分解的思想,提出了一种新的基于MapReduce的构建封闭数据立方体的方法MRC-Cubing,将庞大的计算完整的封闭立方体的任务,分解成若干个易并行的小任务。与过去的MapReduce方法相比,它能够很大程度提升计算封闭立方体的效率,对维度很高的情况也可以有效支持。本文还为这种基于MapReduce的方法提出了负载不均衡问题的解决方案：调整哈希策略以解决边界子封闭立方体元组数不均衡,递进分解边界子封闭立方体以处理超大边界子封闭立方体。本方法同样适用于解决封闭直方图立方体的情况。构建封闭直方图数据立方体是一种很大的开销,因此当对已有的数据集构建了封闭数据立方体后,而随着时间的推移有新的数据来临并积累了一定数据量时,如果能够不用重新构建封闭直方图立方体,而只是在原有立方体的基础上将新来的数据集加入到数据立方体中是更好的。本文基于对增量更新中利用已有的封闭立方体所带来的收益与代价的分析,提出了一种在单机环境下,对已有封闭直方图数据立方体进行增量更新的方法。这种方法能够用比重新构建完整封闭数据立方体小很多的时间,实现封闭直方图数据立方体的批量数据的增量更新。本文在TPC-DS测试数据集上通过实验证明了：MRC-Cubing相比以往基于MapReduce的算法,在大数据规模和高维度数据的处理效率上都有了很大的提升,能够更好的发挥集群的计算能力;另外本文提出的对封闭立方体的增量更新方法也可以比完全构建封闭立方体有效提升效率。

关键词： OLAP 封闭数据立方体直方图数据立方体 MapReduce 增量更新

云环境下直方图立方压缩存储与增量更新及查询研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

云环境下直方图立方压缩存储与增量更新及查询研究与实现

作者：陈昌宁东北大学

学位级别：硕士

随着大数据和云计算时代到来,像联机分析处理(On Line Analytical Processing, OLAP)这种需要大量计算和存储开销的问题变得简单许多。然而受数据海量化和高维化影响,OLAP技术在计算和存储方面仍然面临严峻的挑战,分布式环境下的处理方... 详细信息

随着大数据和云计算时代到来,像联机分析处理(On Line Analytical Processing, OLAP)这种需要大量计算和存储开销的问题变得简单许多。然而受数据海量化和高维化影响,OLAP技术在计算和存储方面仍然面临严峻的挑战,分布式环境下的处理方式只是缓解上述挑战。本文提出了直方图数据立方体的压缩架构,分别从直方数据图立方体的底层存储结构,内容压缩,整体压缩三个方面进行了优化处理。首先底层存储结构上,本文基于直方图数据立方体和封闭数据立方体技术对于直方图数据立方体的存储结构进行改进,提出了封闭元祖+直方图的底层存储结构;内容压缩上,本文根据直方图数据立方体的统计结构信息提出计数倒转的压缩方法;整体压缩上,本文借用文件压缩进一步压缩直方图数据立方体;综合上述三种压缩技术,本文实现了对直方图数据立方体的高效压缩。构建数据立方体在时间上是一种很大的开销,前人大多都是在研究如何用尽可能少的时间构建一个完全数据立方体,而数据立方体是面向企业应用的,企业会有不断的新数据需要累加到数据立方体中。本文对数据立方体增量更新的收益与代价进行了分析研究,对数据立方体增量构建方法进行了探索,本文提出了封闭数据立方体增量更新时没有删除只有增加和更新的规律,并在MapReduce分布式环境下实现了MRC-IncreUp算法。封闭数据立方体的查询实现才是OLAP的最终目的,本文提出了基于查询键的直接查询和基于封闭原则编码分类的分类查询,另外为了实现交互式查询,本文引入了Impala大数据实时查询系统,并提出了利用Impala系统完成交互式查询的架构和查询优化策略。本文在TPC-DS测试数据集上通过实验证明了：对数据立方的压缩情况,以及增量更新相对于重新计算的优势和查询算法及实现的相对于以前查询算法的高效性。

关键词： OLAP 封闭数据立方体直方图数据立方体 MapReduce 增量更新查询压缩存储

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

支持大数据多聚集在线查询系统的研究与实现

支持大数据多聚集在线查询系统的研究与实现

作者：党迎光东北大学

学位级别：硕士

随着大数据时代的到来,企业积累的数据程爆炸式增长。并且企业又需要根据这些海量的历史数据做决策,OLAP的出现使对大数据的处理变得简单了许多。然而受数据的海量化和高维化影响,OLAP技术在计算和存储方面仍然面临严峻的挑战,分布式环... 详细信息

随着大数据时代的到来,企业积累的数据程爆炸式增长。并且企业又需要根据这些海量的历史数据做决策,OLAP的出现使对大数据的处理变得简单了许多。然而受数据的海量化和高维化影响,OLAP技术在计算和存储方面仍然面临严峻的挑战,分布式环境下的处理方式只是缓解上述挑战。为了提高大数据的查询效率,出现了数据立方体。然而其构建时间和存储空间开销特别大。为了解决这一问题,后来出现了一种有效的无损压缩技术—封闭数据立方体。但是封闭数据立方体缺少灵活,其聚集往往只支持一类查询,封闭直方图数据立方体使立方体的灵活性有了较大的提高。本文在现有压缩方法的基础上提出了一种新的压缩方法,对封闭直方图数据立方体的存储结构进行优化。将派生出来的封闭元组和生成该封闭元组的基本元组中编号最小的元组存放在一起,并且只存储该封闭元组对应的度量值和封闭元组编码,这样将一个封闭元组用一个整数表示,有效的降低了存储空间。本文采用已有的计数倒转的压缩方法对度量值向量进行处理,使之满足近似查询,从而减小度量值向量部分的开销。并且本文改进了计算封闭直方图数据立方体的MRC-Cubing算法,使其对All元组和基本元组的计算变得简单高效,并提出了对超大封闭元组的计算策略,均衡了各个任务的负载。构建封闭直方图数据立方体在时间上是一种很大的开销,因此希望将新数据快速融入立方体中。本文对增量更新中分析已有的封闭立方体所带来的收益与代价,提出了分布式增量更新的两种方案。一种是将新数据直接和已有立方体合并,另一种是将两个立方体合并。这两种方法与重新计算立方体相比都节省了大量的时间。用户可以根据自己的需要来选择使用哪种增量更新的方法。为了加速封闭直方图数据立方体的查询,本文提出了基于倒排索引的MapReduce查询,在数据量较大时能够有效的提高查询速度。为了实现对封闭直方图数据立方体的在线近实时查询,采用HBase作为直方图立方体和其索引的存储平台,并结合查询键、查询码以及倒排索引实现快速交互式查询。本文在TPC-DS测试数据集上通过实验证明了:对数据立方的压缩情况,以及增量更新相对于重新计算的优势和查询算法及实现的相对于以前查询算法的高效性。

关键词：封闭数据立方体直方图数据立方体增量更新在线查询压缩存储

基于Hadoop的封闭直方图立方的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Hadoop的封闭直方图立方的设计与实现

作者：李炳梁东北大学

学位级别：硕士

随着信息时代的到来,企业需要处理的数据越来越多,而决定企业能否更好发展的关键因素之一就是如何从大量数据中获得准确的决策信息。OLAP就是为解决此问题而被提出来的,为了提高OLAP的查询性能,出现了数据立方体,它把汇总值提前计算出... 详细信息

随着信息时代的到来,企业需要处理的数据越来越多,而决定企业能否更好发展的关键因素之一就是如何从大量数据中获得准确的决策信息。OLAP就是为解决此问题而被提出来的,为了提高OLAP的查询性能,出现了数据立方体,它把汇总值提前计算出来并存储。然而完全的预计算将导致数据立方体的体积呈爆炸式增长,因此有必要研究降低磁盘存储空间的技术并寻找加快计算速度,提高查询性能的方法。数据立方预计算技术是把部分或全部聚集值预先计算出来,这样做存在一些缺陷,如不能使用约束条件对数据立方体过滤后进行聚集分析,导致数据立方体含有信息量较少。近几年来,企业面临海量数据的挑战,在传统的集中式环境下计算和存储数据立方体,不论在计算能力还是存储能力都存在缺陷。为了解决以上问题,本文在深入研究封闭数据立方体技术和Hadoop并行计算平台的基础上,设计并实现了封闭直方图立方。针对完全数据立方体体积巨大的问题,本文使用了封闭数据立方体技术,并在其基础上通过重组元组方法进一步压缩了数据立方体的体积。针对信息量少的问题,本文提出来一个面向多维聚集查询的通用模型,这个模型把多维空间中一个点值(具体汇总值)用一个统计直方图来替换,因为原始度量信息都有效保存,解决了上面提到的问题。针对大数据量以及统计直方图带来的空间开销,本文使用了Hadoop技术,它的MapReduce并行计算模型为数据立方的计算提供了技术支持,它的分布式文件系统HDFS为数据立方体的存储提供了保障。通过多台机器上同时计算封闭直方图立方加快了计算速度。为了加快查询响应并充分利用并行计算特点,本文提出了对封闭直方图立方并行建立倒排索引的方法,通过倒排索引检索数据大大减少了查询时间。本文又对倒排索引采用了两种压缩方法,有效减少了倒排索引的存储空间从而减小了对它的扫描时间,进一步加快查询速度。基于压缩的倒排索引,本文提出了并行环境下索引的求交方法,通过在Map端并行求交,在Reduce端部分求交加快了求交速度,提高了查询性能。通过实验及证明,本文所设计封闭直方图立方能够有效压缩数据立方体的体积,而对倒排索引使用的两次压缩效果非常明显。基于压缩的倒排索引查询能够快速地响应查询分析,同时封闭直方图立方具有良好的可扩展性。

关键词： OLAP 直方图立方封闭数据立方体封闭直方图立方 Hadoop