检索结果-南通市图书馆

基于划分和压缩数据库的改进Apriori算法

在线全文

学校读者我要写书评

暂无评论

成都理工大学学报（自然科学版） 2015年第1期42卷 110-114页

作者：胡绿慧任玉兰何振林成都中医药大学医学信息工程学院成都610075

针对Apriori算法在面对大规模数据时效率较低的问题,提出了一种基于划分和压缩数据库的改进方法。该方法首先依据特征数据出现的频率将数据按照升序存储在临时数组中;然后将原始事务数据库分为几个互不相交的事务数据库,使得子数据库能... 详细信息

针对Apriori算法在面对大规模数据时效率较低的问题,提出了一种基于划分和压缩数据库的改进方法。该方法首先依据特征数据出现的频率将数据按照升序存储在临时数组中;然后将原始事务数据库分为几个互不相交的事务数据库,使得子数据库能够容纳在内存中;最后根据每个子数据库计算出的频繁项集计算整个数据库的频繁项集,从而消除了不必要的冗余数据。通过改进可以将大规模数据集进行有效的划分和压缩,对子数据库进行关联规则挖掘。实验结果表明,改进的Apriori算法在针对海量数据挖掘的执行速度和效率都有很大提高。

关键词：数据挖掘关联规则压缩数据库

在线全文

学校读者我要写书评

暂无评论

基于压缩数据库的数据挖掘算法的研究

基于压缩数据库的数据挖掘算法的研究

作者：刘尧哈尔滨工业大学

学位级别：硕士

随着当前社会经济的繁荣和科学技术的进步,在各行各业中积累了大量的数据。在科学与统计此类数据库中,存储着科学实验结果、地理测绘、人口普查、经济活动等多种类型的重要数据,且这些数据往往都是静态的,录入数据库之后基本不会发生改... 详细信息

随着当前社会经济的繁荣和科学技术的进步,在各行各业中积累了大量的数据。在科学与统计此类数据库中,存储着科学实验结果、地理测绘、人口普查、经济活动等多种类型的重要数据,且这些数据往往都是静态的,录入数据库之后基本不会发生改变且会被永久保留。这就导致此类数据库中存储的数据往往是海量的,在传统数据库上查询,计算和分析的方法应用在此类数据库上所带来的I/O传输变得十分巨大且难以接受。因此对海量数据库进行压缩处理成为了一个重要的研究方向。目前数据库领域的学者已经提出了许多压缩数据库的相关算法。但是,在压缩数据库上进行数据挖掘和分析的相关研究却很少。本文的研究内容主要是如何在压缩数据库上进行高效地数据挖掘。主要包括以下四个方面:本文根据科学与统计此类数据库具有静态性、稀疏性、聚集性和重复性等特点,提出了一种新的基于Blcok的数据库压缩算法,并对该算法的压缩比进行了理论分析。通过实验与其他数据库压缩算法进行了对比实验,证明该压缩算法在科学与统计数据库上有很高的压缩比。在关联规则挖掘上,本文提出了CApriori算法,该算法是一种直接运行在基于Block压缩方法压缩后的数据库上的挖掘算法。同时本文对CAPriori算法相比于Apriori算法在时间上的提升进行了理论分析。并且通过实验验证了CAPriori算法在压缩后的科学与统计此类数据库上有更优的时间性能。在聚类挖掘上,本文提出了C-kmeans算法,该算法是一种直接运行在压缩数据库上聚类算法,且该算法是一种改进后的Kmeans算法。因为Kmeans算法运行时间与数据记录是线性相关的,所以算法运行时间主要消耗在I/O传输上。C-Kmeans算法直接读取压缩数据库并进行挖掘可以节省大量的时间。目前存在的事务数据库垂直数据布局上的频繁模式挖掘算法,会进行大量tidset的交集运算,从而产生大量的中间结果,这就需要频繁的外存读写。本文针对此问题提出了CONVTV压缩算法,该压缩算法对垂直数据采用了两种不同的格式进行保存,在大部分数据集上都实现了很高的压缩比。

关键词：科学与统计压缩数据库关联规则挖掘聚类挖掘垂直数据布局

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

压缩数据库中大规模电子信息缓存优化方法

电子设计工程 2020年第7期28卷 95-98,103页

作者：孙志勇黑龙江中医药大学现代教育技术与信息中心黑龙江哈尔滨150040

针对现有的压缩数据库中大规模电子信息缓存优化方法存在着缓存效率低、鲁棒性差的缺陷,提出压缩数据库中大规模电子信息缓存优化方法。引入Redis工具搭建大规模电子信息缓存框架,对电子信息的缓存进行优化,对压缩数据库中大规模电子信... 详细信息

针对现有的压缩数据库中大规模电子信息缓存优化方法存在着缓存效率低、鲁棒性差的缺陷,提出压缩数据库中大规模电子信息缓存优化方法。引入Redis工具搭建大规模电子信息缓存框架,对电子信息的缓存进行优化,对压缩数据库中大规模电子信息缓存路径进行分析,以路径分析结果为依据,构建排队论模型,对大规模电子信息缓存配置进行最优化求解,实现了大规模电子信息的缓存优化。通过测试结果得出,与现有的缓存方法相比,所提的缓存优化方法大幅度提升了缓存效率与鲁棒性,充分说明所提方法具备更好的缓存效果。

关键词：压缩数据库大规模电子信息缓存优化

在线全文

学校读者我要写书评

暂无评论

XML压缩数据库的查询优化

电子技术与软件工程 2017年第6期 151-151页

作者：刘胜军仇恒祥王富海安徽中科大国祯信息科技有限责任公司安徽省合肥市230008

本文首先在ETA代数中引入解压缩操作,将原代数扩展到XML压缩数据库领域。提出了一个新的基于代价估计的查询优化算法,该算法采用动态编程技术,对三种解压缩策略皆适用。

关键词： XML数据库压缩数据库查询优化瞬时解压缩

在线全文

学校读者我要写书评

暂无评论

一种有效的关系数据库压缩方法

软件学报 2005年第2期16卷 205-214页

作者：骆吉洲李建中哈尔滨工业大学计算机科学与技术学院黑龙江大学计算机科学与技术学院黑龙江哈尔滨150080

海量关系中经常存在小值域属性,关系不仅在这些属性上的互不相同的值的数量很小,而且在这些属性的组合上的值域也很小.因此,海量关系在这些属性上有很多重复的组合值.一种提高数据库的存储和查询效率的重要方法就是消除这些重复取值.为... 详细信息

海量关系中经常存在小值域属性,关系不仅在这些属性上的互不相同的值的数量很小,而且在这些属性的组合上的值域也很小.因此,海量关系在这些属性上有很多重复的组合值.一种提高数据库的存储和查询效率的重要方法就是消除这些重复取值.为此,提出了拆分压缩技术,它将海量关系拆分成两种较小的关系,其中一种关系的属性由小值域属性组组成,而另一种关系的属性是海量关系的其他属性.该方法的关键是小值域属性っ髁苏飧鑫侍獾?NP-完全性后,给出了两种在海量关系中识别小值域属性组合的算法,并在此基础上提出了海量关系拆分压缩技术,讨论了压缩关系的查询处理方法.实验结果表明,拆分压缩技术可以取得较好的压缩效果,并可以提高数据库查询处理的整体性能.

关键词：海量关系压缩数据库小值域属性组 NP-完全问题

在线全文

学校读者我要写书评

暂无评论

一种基于属性划分的数据库压缩技术研究

一种基于属性划分的数据库压缩技术研究

作者：荆刚东北大学

学位级别：硕士

当今时代,随着各个领域信息量呈爆炸式的速度增长,用于存储和管理信息的数据库系统面临着巨大的挑战,将数据压缩与数据库管理系统相结合的压缩数据库技术也就应运而生。对压缩数据库技术的研究主要集中在增大压缩效率的同时,尽量减小对... 详细信息

当今时代,随着各个领域信息量呈爆炸式的速度增长,用于存储和管理信息的数据库系统面临着巨大的挑战,将数据压缩与数据库管理系统相结合的压缩数据库技术也就应运而生。对压缩数据库技术的研究主要集中在增大压缩效率的同时,尽量减小对数据查询效率的影响。本文的主要工作如下：本文首先深入研究了现有的数据库压缩方法,进而研究了Bit级数据压缩算法和数据库查询的相关技术,然后分析了当前按行压缩数据库系统和按列压缩数据库系统中存在的缺陷。为本文的研究工作提供了基础理论。本文针对按列压缩数据库系统存在查询效率比较低的问题,使用Bit级编码方法,设计了一种基于属性划分采用同质属性策略的压缩存储模型(SPCS模型),即对关系进行属性划分,将具有某种共同性质的属性分别进行Bit级压缩编码,从而实现对数据的压缩,该压缩方法使得在数据查询时无需进行解压缩操作。结合Bit编码方法和数据库查询相关技术,本文设计了应用于SPCS模型的数据库查询算法,其中包括数据库的选择操作、投影操作、单表等值连接以及多表等值连接等算法,并设计了应用于SPCS模型的查询优化算法。基于SPCS模型,本文实现了SPCSDB数据库系统,并对该系统进行了测试。测试结果显示,当关系中以第一类同质属性为主时,SPCSDB相比于按行压缩数据库系统,增大压缩效率的同时,也提高了查询效率。

关键词：压缩数据库属性划分同质属性策略

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

科学与统计数据库压缩与查询处理方法的研究

科学与统计数据库压缩与查询处理方法的研究

作者：赵锴哈尔滨工业大学

学位级别：硕士

在信息量呈指数级增长的今天,我们需要数据库管理系统(DBMS)能够处理上G、上T、甚至上P的海量数据。这就对数据库管理系统提出了挑战,即如何有效地存储和管理海量数据并高效的支持上层的查询。海量科学与统计数据(例如:地震监测、天气... 详细信息

在信息量呈指数级增长的今天,我们需要数据库管理系统(DBMS)能够处理上G、上T、甚至上P的海量数据。这就对数据库管理系统提出了挑战,即如何有效地存储和管理海量数据并高效的支持上层的查询。海量科学与统计数据(例如:地震监测、天气预报、物理化学实验等数据)中存在着大量的数据冗余,即相同的数据会在不同的地方多次重复出现,这不仅浪费了存储空间,而且降低了查询效率。压缩技术由于节省存储空间和I/O带宽而被广泛应用于数据的存储和传输中。正是海量数据的出现,使得压缩技术与数据库技术结合了起来,产生了压缩数据库技术。压缩数据库技术的研究内容包括数据压缩算法及压缩数据上的查询算法。科学与统计数据库(Scientific and Statistical Database, SSDB)具有如下特点:(1)关系的模式稳定、属性值的值域有限、数据冗余大;(2)新产生的数据只追加到当前数据末尾而不更新已有内容;(3)每个关系都由大量属性组成,但大多数查询只与少数几个属性相关且多为只读操作。上述特征都适合于将压缩数据库技术集成到SSDB中去。因此,本文的研究内容包括:研究适合于科学与统计数据库的数据压缩算法及存储结构;研究在压缩科学与统计数据库上的查询处理技术,包括数据操作算法和查询优化算法。本文的主要研究结果如下:提出了适合科学与统计数据库的两种数据压缩存储策略,其分别为CCSS(Column-Compressed Storage System)和RCSS(Row-Compressed Storage System)。CCSS是一个按列压缩存储系统,它采用不同的存储结构和编码,以不同粒度对关系中的属性按列存储并压缩,从而将对原始数据的查询操作转换为对(压缩)数据的操作,实现不解压直接查询,简化了查询实现。RCSS是一个基于字典压缩的按行存储系统。本文详细介绍了RCSS的压缩存储结构(包括编码字典和压缩数据页的格式、系统字典的扩充)以及具体的压缩、插入和删除算法。RCSS与非压缩数据库存储系统提供相同的接口,可以在维持现有系统上层模块(索引、查询处理等)不变的情况下,实现压缩技术与数据库系统的有效结合。RCSS的压缩方法具有简单、通用的特点,理论分析表明RCSS压缩的有效性;针对CCSS这种存储策略,给出了相应的数据操作算法,包括选择、投

关键词：海量数据科学统计数据库压缩数据库按列压缩存储系统按行压缩存储系统

基于谓词索引的海量数据压缩存储及数据操作算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机科学 2005年第9期32卷 86-90,159页

作者：赵锴李建中骆吉洲哈尔滨工业大学计算机科学与技术学院哈尔滨150001

压缩数据库技术是海量数据管理的重要技术之一。利用海量数据自身及其数据操作的特点,提出了一种海量数据压缩存储结构。该存储结构将第二级和第三级存储器结合起来,以数据操作条件中的谓词为索引,在减少存储空间的同时有效地支持查询... 详细信息

压缩数据库技术是海量数据管理的重要技术之一。利用海量数据自身及其数据操作的特点,提出了一种海量数据压缩存储结构。该存储结构将第二级和第三级存储器结合起来,以数据操作条件中的谓词为索引,在减少存储空间的同时有效地支持查询、删除和更新等数据操作。理论分析和实验结果表明,这种存储结构可以提高海量数据的存储效率和数据操作的性能。

关键词：谓词索引压缩数据库海量数据管理存储结构存储效率

基于BAP的数据压缩、操作与查询处理系统的实现

在线全文

学校读者我要写书评

暂无评论

基于BAP的数据压缩、操作与查询处理系统的实现

作者：贾均刚哈尔滨工业大学

学位级别：硕士

随着信息技术的发展及其在金融、交通、军事、生态环境检测、Web等领域的应用日益深入,海量数据大量涌现,这就要求数据库管理系统能够存储和处理上G、上T、甚至上P的海量数据。存储介质的价格/容量比的迅速下降使得海量数据的存储本身... 详细信息

随着信息技术的发展及其在金融、交通、军事、生态环境检测、Web等领域的应用日益深入,海量数据大量涌现,这就要求数据库管理系统能够存储和处理上G、上T、甚至上P的海量数据。存储介质的价格/容量比的迅速下降使得海量数据的存储本身并不是问题,问题是如何有效存储和管理海量数据,并高效地支持上层查询处理。海量高频度数据中存在着大量的数据冗余,即同一数值会在同一属性列中多次出现。这不仅浪费了存储空间,也大大降低了查询效率。利用压缩数据库技术可以有效节省存储空间和I/O带宽。压缩数据库技术的研究内容包括:数据压缩算法以及压缩数据上的数据操作算法。近来,智能决策支持、在线智能商务以及数据仓库等新应用的出现要求数据库管理系统更好地适应主要面向数据读取应用的新特点。针对这个特点,数据库研究者们进一步审视传统数据库管理系统面向行存储的机制,开始研究并重新架构面向列存储的数据库管理系统。显然,面向列存储对于只读查询来说,因为仅仅从磁盘上读取与查询相关的属性列数据而不是整个元组的数据而大大节省了磁盘I/O。本文以现有关系数据库为基础,主要研究了适合于海量高频度关系数据的压缩算法以及存储结构和适合于压缩数据上的查询处理技术,包括数据操作算法和查询优化策略。本文的主要研究结果如下:提出了适合海量高频度关系数据的无损压缩存储算法TIDC。TIDC是一种基于属性划分的面向列存储的数据压缩方法。它通过整列数据的位置信息(TupleID)把按列存储的各属性列联系起来。对每一属性列的数据用其位置信息和相应的非常量值进行存储,实现了原始数据和压缩后数据的完全映射,有效去除常量数据,能够进行不解压(回算)而直接查询,达到了压缩存储、提高查询效率的目的。针对TIDC压缩存储策略提出了相应的数据操作算法包括选择、投影和连接,并给出了TIDC压缩数据上查询的部分优化策略。实现了BAP方法的压缩存储算法,给出了BAP压缩方法的数据操作算法包括选择、投影和连接,同时给出了部分查询优化策略。根据TIDC和BAP压缩存储方法的特点,设计并实现了一个海量高频度关系数据压缩存储原型系统。理论分析和初步实验表明:通过对原始数据进行属性划分,按列压缩存储,可以有效地减少存储空间,节省磁盘I/O,明显提高查询效率,而且,TIDC查询效率受数据量增加的影响不大。

关键词：海量数据高频度关系数据压缩数据库数据操作按列压缩存储系统