检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Hadoop的商立方体研究与实现

基于Hadoop的商立方体研究与实现

作者：张娟华东师范大学

学位级别：硕士

随着网络的普及和快速发展,数据积累的速度也随之加快,传统的数据仓库在存储和处理海量数据时遇到了瓶颈。为了解决这些问题,业界提出了数据压缩模型,目前常用的压缩模有有冰山立方体、闭立方体、商立方体等等。数据压缩虽然缓解了大数... 详细信息

随着网络的普及和快速发展,数据积累的速度也随之加快,传统的数据仓库在存储和处理海量数据时遇到了瓶颈。为了解决这些问题,业界提出了数据压缩模型,目前常用的压缩模有有冰山立方体、闭立方体、商立方体等等。数据压缩虽然缓解了大数据带来的存储问题,但对于海量数据而言,这种处理方式能解决的问题仍然有很大的局限性。云计算的出现为更好地解决这个问题提供了可能的途径。随着云计算平台的成熟和完善,云计算技术的运用难度也在一定程度上降低了。Hadoop平台作为一个较成熟的开源云计算平台,在学术界和工业界得到了越来越广泛的应用。传统的商立方体、QC-Tree的构建算法需要处理大量的中间数据,算法中的很多步骤都依赖于中间结果和事实数据,海量数据下的并行度差,构建效率低。针对这些问题,本文基于Hadoop平台对商立方体和QC-Tree提出了新的构建算法,以及相应的查询优化方案,即海量数据下构建商立方体的算法（HQCC算法）和构建QC-Tree的算法（HHCQCT算法）,以及基于QC-Tree的查询算法（HBS算法）。这些算法的主要思想是：提高算法的并行度、利用MapReduce并行模型进行并行构建,提高构建效率;使用Hbase数据库处理临时数据,解决构建过程产生大量中间结果的问题。为了进一步提高查询效率,针对重复查询,本文利用数据仓库中的小部分空间存储历史查询结果集,减少重复搜索和聚集,并通过基于Hbase的最近最少使用替换算法（HLRU算法）进行数据替换,进一步提高重复查询时的命中率。为了验证算法的有效性,我们做了大量的实验。实验结果表明,本文所描述的算法大幅提高了商立方体和QC-Tree在海量数据情况下的构建效率,查询效率页有大幅提高。

关键词： QC-Tree Hadoop Hbase MapReduce 商立方体

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Spark的商立方体分布式查询研究

基于Spark的商立方体分布式查询研究

作者：张正凡昆明理工大学

学位级别：硕士

商立方体是一种数据立方体的压缩技术。因为等价类中所有元组的聚集值相等,所以商立方体通过计算并保存等价类的上下界来达到压缩的目的。然而大数据环境下,传统单机数据库无法满足对于历史数据查询、分析、管理的需求。因此本文利用商... 详细信息

商立方体是一种数据立方体的压缩技术。因为等价类中所有元组的聚集值相等,所以商立方体通过计算并保存等价类的上下界来达到压缩的目的。然而大数据环境下,传统单机数据库无法满足对于历史数据查询、分析、管理的需求。因此本文利用商立方体等价类的上下界,提出了等价区间的模型。同时,基于区间结构端点可扩展的灵活性以及元组和等价区间之间的位置关系,定义了包含、相异、扩展三种关系,并通过这三种关系对区间结构进行维护。在提出了等价区间的概念之后,利用Spark分布式计算框架,定义了商立方体查询模型,并提出分布式环境下的商立方体OLAP查询算法。利用分布式系统的特性将查询并行化来提升算法性能。在验证了商立方体查询在分布式环境下的优异性能之后,本文又基于商立方体的分布式OLAP静态查询算法以及等价区间的概念,建立了商立方体缓存模型。基于该模型,提出了一种分布式商立方体动态OLAP缓存算法。它的优势在于,无需在每次历史数据更新后重新对商立方体进行计算和物化,而是可以通过查询来驱动商立方体的动态生成。最后通过对查询单元数量、层数以及数据倾斜度等参数,多角度分析了该算法在不同条件下的性能。

关键词：大数据分布式文件系统 Spark 商立方体等价区间

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

商立方体分布式查询研究

软件导刊 2018年第11期17卷 37-39,44页

作者：张正凡都仪敏昆明理工大学信息工程与自动化学院云南昆明650500

传统数据库处理分析大量历史数据的性能有限,无法达到满意效果。针对该问题,通过对商立方体的研究,提出等价区间的概念,并利用区间之间的独立性,使商立方体能更好地适应分布式环境下的查询。同时,提出了商立方体在Spark集群上的并行查... 详细信息

传统数据库处理分析大量历史数据的性能有限,无法达到满意效果。针对该问题,通过对商立方体的研究,提出等价区间的概念,并利用区间之间的独立性,使商立方体能更好地适应分布式环境下的查询。同时,提出了商立方体在Spark集群上的并行查询算法,充分利用等价区间点查询面命中的特性,使在保证查询有效的情况下尽可能并行化。最后,通过实验验证了算法高效性。

关键词：商立方体大数据 Spark MapReduce 等价类

在线全文

学校读者我要写书评

暂无评论

一种新的商覆盖立方体生成算法

计算机工程与应用 2008年第17期44卷 151-152页

作者：陈富强奚建清华南理工大学计算机科学与工程学院

提出一种的新的商覆盖立方体生成算法GroupDFS,将待计算的基本表先依据各维属性进行Group By运算,再对得到的结果集采用DFS算法计算其上界集,所得结果即为原待计算基本表的商覆盖立方体。GroupDFS算法结合了2N算法和DFS算法的优点,相对... 详细信息

提出一种的新的商覆盖立方体生成算法GroupDFS,将待计算的基本表先依据各维属性进行Group By运算,再对得到的结果集采用DFS算法计算其上界集,所得结果即为原待计算基本表的商覆盖立方体。GroupDFS算法结合了2N算法和DFS算法的优点,相对于DFS算法缩短了计算所需的时间。采用weather数据集进行的实验结果表明,采用GroupDFS计算商覆盖立方体所需时间仅为采用DFS算法时的45%。

关键词：商覆盖立方体商立方体数据立方体生成 2^N算法

在线全文

学校读者我要写书评

暂无评论

商覆盖立方体的一种增量维护策略

信息技术 2011年第6期35卷 53-55,59页

作者：彭湘凯陈富强广东技术师范学院广州510665

通过建立一种新的商覆盖立方体增量维护策略,将商覆盖立方体分成多个子集,在判断是否需要进行新增或修改操作时,不再需遍历整个商覆盖立方体而只需遍历部分子集,从而缩短了进行增量维护所需的时间。在实现这种策略中提出了基本表中新增... 详细信息

通过建立一种新的商覆盖立方体增量维护策略,将商覆盖立方体分成多个子集,在判断是否需要进行新增或修改操作时,不再需遍历整个商覆盖立方体而只需遍历部分子集,从而缩短了进行增量维护所需的时间。在实现这种策略中提出了基本表中新增记录时的算法Up-dateAddNew。实验结果表明,采用该算法时,需要访问的记录数仅为传统方法的85%。

关键词：商立方体商覆盖立方体增量维护 OLAP

CC-Bitmaps：一种有效的封闭立方体索引技术

在线全文

学校读者我要写书评

暂无评论

CC-Bitmaps：一种有效的封闭立方体索引技术

作者：肖伟吉华南理工大学

学位级别：硕士

数据仓库是伴随着信息与决策支持系统的发展过程产生的。随着数据仓库的发展规模越来越大,对海量数据的有效存储和快速的查询分析能力提出了更高的要求。联机分析处理技术(OLAP,On-Line Analysis Processing)通过对海量数据进行预聚集... 详细信息

数据仓库是伴随着信息与决策支持系统的发展过程产生的。随着数据仓库的发展规模越来越大,对海量数据的有效存储和快速的查询分析能力提出了更高的要求。联机分析处理技术(OLAP,On-Line Analysis Processing)通过对海量数据进行预聚集,生成并保存数据立方体(也称多维数据)从而能够提供快速查询的能力,然而完全的预计算也导致了数据体积的爆炸。因此,需要探索有效降低磁盘存储空间和提高查询性能的OLAP立方体索引技术解决这些问题。商立方体(Quotient Cube)是一种经典的无损压缩数据立方体存储结构,保存了数据立方体的语义信息,但没有解决增量更新等问题。QC-Trees在商立方体的基础上构造了一棵语义查询树,不但保存了原有的语义信息,还进一步降低了存储空间,提供了高效的查询性能并能够进行增量更新。封闭立方体(Closed Cube)对商立方体进行研究,在保存原有上卷下钻语义的基础上,进一步精简了立方体的存储结构。但通过实验发现,现有的封闭立方体上的查询和增量更新算法效率并不高。本课题在深入研究封闭立方体和QC-Trees算法特点的基础上,提出了一种有效的OLAP索引CC-Bitmaps。CC-Bitmaps在封闭立方体构造基础上,结合前后缀共享,位编码等思想,能够进一步的压缩存储需要的磁盘空间,并且提供比QC-Trees更为有效的查询响应性能,同时能够进行有效的增量更新。本课题还提出了一种新的列表求交算法CCListsIntersection,该算法能够在对每一维度值求交的过程中逐渐缩减查找的数据范围,从而比传统的求交算法有更快的查询响应能力。最后,本文实现了CC-Bitmaps,QC-Trees等算法并做了详细的实验对比,从存储空间、查询性能等方面印证CC-Bitmaps数据立方体索引结构的有效性,并指出了下一步的工作。

关键词：商立方体封闭立方体 QC-Trees CC-Bitmaps CCListsIntersection

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

语义OLAP缓存技术研究

小型微型计算机系统 2015年第7期36卷 1470-1475页

作者：游进国董朋志胡宝丽王洋丁家满贾连印昆明理工大学信息工程与自动化学院昆明650093

针对页面缓存,元组缓存,语义缓存等查询缓存技术不能充分利用OLAP较一般SQL查询所具有更强的语义和上下文相关性的特性,提出一种新的OLAP查询缓存技术语义OLAP缓存.该缓存模型只存储等价类所代表的集合信息,而不是大量单个数据单元或数... 详细信息

针对页面缓存,元组缓存,语义缓存等查询缓存技术不能充分利用OLAP较一般SQL查询所具有更强的语义和上下文相关性的特性,提出一种新的OLAP查询缓存技术语义OLAP缓存.该缓存模型只存储等价类所代表的集合信息,而不是大量单个数据单元或数据元组信息.随着查询过程的深入,缓存项的等价类范围动态更新,可在保持缓存大小不变的情况下,扩展等价类范围,从而回答更多查询并提高命中率.此外还提出根据缓存项间的上卷、下钻关系将缓存项连接在一起形成代数格结构,以方便剪枝,从而进一步缩小查找范围.实验结果充分证明了该缓存模型和算法的有效性.

关键词：数据仓库联机分析处理查询缓存商立方体查询

在线全文

学校读者我要写书评

暂无评论

一种新的封闭立方体查询算法

微计算机应用 2008年第4期29卷 63-66页

作者：陈富强奚建清华南理工大学计算机科学与工程学院

提出了一种新的封闭立方体查询算法,缩小了查询时需搜索的记录的范围,提高了查询效率。给出了相关的理论分析和证明,并给出相关的封闭掩码集生成算法。实验结果和理论分析证明了新算法是有效的,在75%的情况下能将需查询范围包含的记录... 详细信息

提出了一种新的封闭立方体查询算法,缩小了查询时需搜索的记录的范围,提高了查询效率。给出了相关的理论分析和证明,并给出相关的封闭掩码集生成算法。实验结果和理论分析证明了新算法是有效的,在75%的情况下能将需查询范围包含的记录数减少到传统方法的92%左右,提高了对封闭立方体的查询效率。

关键词：商立方体封闭立方体点查询数据立方体

在线全文

学校读者我要写书评

暂无评论

基于QC树的数据仓库增量维护和查询算法

计算机应用 2009年第12期29卷 3296-3299,3302页

作者：陈振坤华南理工大学计算机科学与工程学院广州510006

为使通过QC树对数据仓库进行常规的增删改操作和查询操作变得更加方便和高效,提出了QC树增量维护和有效查询的详细实现算法。该实现算法以QC树的结构为基础,结合深度优先算法和等价类的覆盖关系对QC树进行维护和查询。实现算法通过只观... 详细信息

为使通过QC树对数据仓库进行常规的增删改操作和查询操作变得更加方便和高效,提出了QC树增量维护和有效查询的详细实现算法。该实现算法以QC树的结构为基础,结合深度优先算法和等价类的覆盖关系对QC树进行维护和查询。实现算法通过只观察等价类的上界值和考虑所有可能出现的类状态的变化情况,以确保算法的高效性和正确性。与传统的数据立方体维护和查询方法比较,新方法只需要观察等价类上界值的变化情况,较大地减少了需要考虑的数据量,有效地解决了数据量过大导致维护查询效率太低的问题。理论分析与实验结果证明了该实现算法的有效性。

关键词：商立方体 QC树数据立方体增量维护点查询范围查询