检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

DWMS中数据存储系统的研究与实现

电子科技大学学报 2009年第S1期38卷 90-93页

作者：张龙龙夏小玲东华大学计算机科学与技术学院上海松江区201620

近几年来,数据仓库成为数据库领域的一个研究热点,而现有的数据仓库产品中皆采用关系数据库管理技术来实现,没有把数据仓库作为一个独立的系统来研究。该文提出了DWMS的体系结构,并针对数据仓库中数据存储的特点提出了适合数据仓库的存... 详细信息

近几年来,数据仓库成为数据库领域的一个研究热点,而现有的数据仓库产品中皆采用关系数据库管理技术来实现,没有把数据仓库作为一个独立的系统来研究。该文提出了DWMS的体系结构,并针对数据仓库中数据存储的特点提出了适合数据仓库的存储系统的设计和实现方法,同时给出了减少I/O的文件动态管理的方法。

关键词：数据仓库管理系统存储系统逻辑存储结构文件动态管理

在线全文

学校读者我要写书评

暂无评论

DWMS中列存储的查询优化研究与实现

DWMS中列存储的查询优化研究与实现

作者：张龙龙东华大学

学位级别：硕士

数据仓库技术作为信息技术领域一个主要的研究领域已经有很多关于这方面的研究成果。早期,数据仓库的研究工作都是建立在关系型数据库的基础上,即,数据仓库的构建都是基于一些关系型数据库管理系统。但是随着应用规模的扩大和对性能更... 详细信息

数据仓库技术作为信息技术领域一个主要的研究领域已经有很多关于这方面的研究成果。早期,数据仓库的研究工作都是建立在关系型数据库的基础上,即,数据仓库的构建都是基于一些关系型数据库管理系统。但是随着应用规模的扩大和对性能更进一步的要求,基于关系型数据库的数据仓库已经不能满足当前的要求。将数据仓库作为一个独立的系统,并从底向上采用适合数据仓库的技术实现一个数据仓库管理系统(DWMS)成为数据仓库领域研究的一个方向。针对数据仓库应用的特点,已经有人提出了改变数据仓库底层存储的观点。最著名的就是采用列存储的存储构架。列存储构架是将表格数据结构中的一列作为一个数据单元保存在外存上的方法。这种存储构架经证明可以提升数据仓库应用和OLAP型应用的性能。因为数据仓库中的查询更多的会关注一个实体的部分属性而非整个实体的信息。本文主要研究了三个问题,一是数据仓库管理系统的构架和功能模块,二是列存储技术的实现方法,三是列存储的查询优化技术的研究。基于列存储的查询优化技术本文设计并实现了DWMS中的查询处理系统。首先本文研究了数据仓库的一般构架,介绍了数据仓库各个组成部分的功能,基于此本文给出了数据仓库管理系统的体系结构。其次本文介绍了列存储技术的研究现状和列存储技术的实现方法。采用列存储技术设计DWMS的底层存储引擎。最后本文研究了列存储的查询优化技术。提出了具有创新性的基于列存储的AG-Tree索引结构,给出了元组物化策略的比较模型,并对查询计划的优化进行了研究,在此基础上本文给出了DWMS中查询处理器的设计与实现。

关键词：数据仓库管理系统列存储 AG-Tree 物化策略查询处理

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

列存储DWMS中查询执行的研究与实现

列存储DWMS中查询执行的研究与实现

作者：余文兵东华大学

学位级别：硕士

数据仓库作为信息技术领域一个重要的研究方向,越来越受到人们的重视。早期的数据仓库,其构建和研究工作都是建立在关系型数据库管理系统(RDBMS)的基础之上。随着数据规模的不断扩大,数据仓库应用要求更高的数据处理性能与之匹配,而基于... 详细信息

数据仓库作为信息技术领域一个重要的研究方向,越来越受到人们的重视。早期的数据仓库,其构建和研究工作都是建立在关系型数据库管理系统(RDBMS)的基础之上。随着数据规模的不断扩大,数据仓库应用要求更高的数据处理性能与之匹配,而基于RDBMS方式构建的数据仓库不能满足当前的这种要求。因此实现一个独立的数据仓库管理系统(DWMS)已成为数据仓库技术研究和应用的强烈需求。在数据仓库环境下,相对于行存储,列存储具有非常明显的优势,能够减少非相关列的读入,利于数据压缩和压缩执行,从而提高查询性能。列存储DWMS将对数据存储和查询带来一种全新的改变,而基于行存储的查询执行引擎无法适应底层的列存储,因此研究和实现基于列存储的查询执行引擎是必要的,而且能够更好的挖掘列存储的性能,进一步提高DWMS的查询效率。本文结合实际项目,研究了列存储查询执行的相关技术,并对其中的某些技术做了相应的优化和改进。针对基于rowid的元组重构方法存在组合代价大的缺陷,提出了基于地址映射索引的元组重构,简称AMI。通过在数据索引叶子块中存储查询相关的多个列,建立针对数据索引非查找键列的地址映射索引,在查询执行时,结合数据索引和地址映射索引返回的地址范围就可以得到满足查询条件的地址集,根据地址集从数据索引中取得相应的数据块,从而减少了元组重构的开销,极大程度提高了多列查询的执行效率。针对早期物化存在构造大量不必要的元组以及延迟物化可能导致同一属性列的某些数据块被重复抽取的缺陷,提出了带值路径物化策略,简称VPMS。VPMS使用一个新的中间结果结构传递块,用于将重构的位置信息与实际列值相分离,并根据带值路径将路径起点引用列满足谓词条件的位置信息和列值存储在传递块中,从而避免了同一列的列值被重复抽取。VPMS的物化时机是尽量在中间结果不含无关列值的时候进行元组重构,也即是在WHERE子句中各列经过过滤之后进行元组重构,从而减少了无关元组的构造量。以块迭代方式代替传统的元组迭代来实现物理操作符,减少了执行中递归的次数和迭代的深度,并提出了执行定制技术,用以减少执行中不必要的重复判断,最终提高了查询的执行效率。本文主要有三个部分。首先,研究了列存储的相关技术,描述了DWMS和查询处理器的架构,这部分是深入研究的前提;其次,研究了列存储查询执行的相关技术,包括块迭代、物化策略、元组重构、执行定制,这部分是重点;最后,基于前面的研究基础,详细阐述了执行引擎的设计与实现,这部分是结果。

关键词：列存储数据仓库管理系统查询执行元组重构块迭代执行定制

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电力系统综合数据信息管理平台设计方案

电气时代 2005年第6期 i024-i025页

作者：张伟吴茂俊南京信息工程大学信息与通信系南京东太金智电气自动化有限公司

综合数据平台是一种新型、有效且可靠的数据仓库管理系统,它的实施将会提高电力系统运行效率,优化电力企业的资源和管理模式,从而帮助电力企业更加稳健地实现企业的经营目标。

关键词：信息管理平台设计方案系统综合数据仓库管理系统系统运行效率电力企业数据平台管理模式经营目标

在线全文

学校读者我要写书评

暂无评论

论银行数据大集中的最终目标

华南金融电脑 2005年第6期13卷 9-11页

作者：李勇国家开发银行江西省分行

该文总结了国外银行业数据大集中的发展阶段,认为我国银行业目前基本已经实现了整合集中(DataConsolidation),提出数据整合并不是银行数据大集中的最终目标,银行应该在数据整合的基础上构建分析型客户关系管理系统和数据仓库管理系统,... 详细信息

该文总结了国外银行业数据大集中的发展阶段,认为我国银行业目前基本已经实现了整合集中(DataConsolidation),提出数据整合并不是银行数据大集中的最终目标,银行应该在数据整合的基础上构建分析型客户关系管理系统和数据仓库管理系统,实现经营模式由以“账务”为中心向以“客户”为中心的转变,全面提升市场竞争力。

关键词：数据大集中数据仓库管理系统客户关系管理系统市场竞争力数据整合经营模式银行业分析型

初探数据仓库的安全机制和SQL Server 7的解决方案

在线全文

学校读者我要写书评

暂无评论

管理信息系统 2002年第1期 49-49页

作者：郝春艳唐晓波武汉大学

1.引言近年来,由于在全球范围内市场竞争的加剧和信息社会需求的发展,要求从大量的数据中提取(检索,查询等)制定市场策略的信息.这种需求既要求联机服务,又涉及大量用于决策的数据,传统的数据库系统已无法满足这种需求,数据仓库技术也... 详细信息

1.引言近年来,由于在全球范围内市场竞争的加剧和信息社会需求的发展,要求从大量的数据中提取(检索,查询等)制定市场策略的信息.这种需求既要求联机服务,又涉及大量用于决策的数据,传统的数据库系统已无法满足这种需求,数据仓库技术也就应运而生并得到了迅速的发展.

关键词：数据仓库安全机制 SQL Server7 解决方案数据仓库管理系统数据视图密码机制

江汉石油工程公司一项技术获湖北省科技进步三等奖

在线全文

学校读者我要写书评

暂无评论

江汉石油科技 2019年第2期29卷 62-62页

2019年6月17日,记者从江汉石油工程公司获悉,该公司“涪陵页岩气水平井精准地质导向技术”获湖北省政府颁发的2018年科技进步三等奖证书。涪陵页岩气水平井精准地质导向技术研究团队,以涪陵页岩气田深层页岩储层为研究对象,建立以地层... 详细信息

2019年6月17日,记者从江汉石油工程公司获悉,该公司“涪陵页岩气水平井精准地质导向技术”获湖北省政府颁发的2018年科技进步三等奖证书。涪陵页岩气水平井精准地质导向技术研究团队,以涪陵页岩气田深层页岩储层为研究对象,建立以地层精细对比为基础“五图一表”随钻快速导向工作方法、优质储层预测和随钻随评方法,构建中上扬子地区页岩气工程大数据仓库,形成精准地质导向入靶控制方法与轨迹分段实时控制关键工艺措施,成功开发SGA-850页岩气地质导向分析系统、BDL-1000涪陵页岩气工程大数据仓库管理系统。

关键词：地质导向技术石油工程科技进步湖北省数据仓库管理系统江汉地层精细对比储层预测