检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

关于数据仓库缓慢变化维分区存储的研究

中国水运（下半月） 2023年第3期23卷 45-47页

作者：徐丽娜赵冲昆明理工大学信息与自动化学院云南昆明650504 中软国际科技服务南京有限公司江苏南京210012

在数据仓库中,缓慢变化维(Slowly Changing Dimensions,简称拉链表)及分区存储策略是海量数据的主要存储方式之一。分区技术在数据存储的应用中已十分广泛,大多数据库管理系统都会采用分区表来提高数据检索的性能,对于需要保留全部历史... 详细信息

在数据仓库中,缓慢变化维(Slowly Changing Dimensions,简称拉链表)及分区存储策略是海量数据的主要存储方式之一。分区技术在数据存储的应用中已十分广泛,大多数据库管理系统都会采用分区表来提高数据检索的性能,对于需要保留全部历史的数据仓库尤为如此。拉链表是数据仓库中记录数据历史状态的一种方式。在数据仓库中,结合分区技术对拉链算法进行优化能大幅提高用户对查询效率的要求。因此,研究如何在拉链表上运用分区技术,并通过实验论证分区存储的拉链表对查询效率的影响,对数据仓库的设计与优化有一定的参考价值。

关键词：数据仓库缓慢变化维分区技术

基于Hive的数据仓库变更数据更新算法研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于Hive的数据仓库变更数据更新算法研究

作者：贾骐玮西安电子科技大学

学位级别：硕士

面临着大数据时代的到来,企业间的竞争已经不仅仅局限于业务层面的激烈摩擦,特别是在电子商务等新兴互联网领域,如何深层次的利用数据仓库以科学的方法进行企业战略决策成为当前业内的研究重点。在数据仓库中,随着企业业务线的发展变化... 详细信息

面临着大数据时代的到来,企业间的竞争已经不仅仅局限于业务层面的激烈摩擦,特别是在电子商务等新兴互联网领域,如何深层次的利用数据仓库以科学的方法进行企业战略决策成为当前业内的研究重点。在数据仓库中,随着企业业务线的发展变化,势必会面临着数据仓库中对变更数据进行更新的问题,在数据仓库中对数据进行更新的主要难点是缓慢变化维问题,这也是数据仓库建设和运行中面临的主要问题之一。基于以上背景,本文做了以下工作:1,本文对数据仓库变更数据更新问题的2个核心点,即抽取模式问题和缓慢变化维问题进行了分析,给出了每种方法所适合的业务需求环境,使得本文对数据仓库变更数据更新问题的分析具有适用性和灵活性,并给出了数据关联的一种优化方式。2,本文对传统的数据仓库变更数据更新算法进行分析后,发现传统算法有着严重的缺陷,例如:算法对数据的利用效率低、数据不能回溯、难以保留历史数据变化信息等等。并以此为依据给出了数据仓库变更数据更新问题的解决方向。3,在结合了以上2点的工作后,本文提出了基于Hive的内外表变化筛选日志数据配合拉链表数据更新的算法。该算法首先利用Hive外部表和Hive内部表对数据仓库ODS层中的Binlog日志数据进行以目标表名和时间为分区依据的筛选,从而得到了所需求的时间段的变更数据Binlog日志快照表,进而也就得到了变更数据快照表。然后该算法以之前得到的变更数据快照表为依据,利用Hive拉链表对目标表历史数据进行更新,利用了拉链表算法给予数据生命周期的特性再额外加上数据状态判断字段,这样既保证了对数据的历史变化信息的记录又可以高效的对最新数据进行查找,从而完美的解决了传统算法的不足。4,以电子商务团购领域数据为实验数据,对基于Hive的内外表变化筛选日志数据配合拉链表数据更新的算法的3个主要性能点,即数据使用效率、数据安全回溯、记录数据历史信息进行了实际测试,并根据测试结果详细的分析了本文提出的方法同传统的数据仓库变更数据更新方法相比较的优缺点。

关键词：数据仓库 Binlog 缓慢变化维 ETL

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

多维分析系统-MDA4YZD的设计与实现

多维分析系统-MDA4YZD的设计与实现

作者：郝文杰河北师范大学

学位级别：硕士

多年来,数据仓库技术和联机分析处理技术在不断发展与进步。目前,很多政府、企业都已经建设了自己的数据仓库,为企业的发展、领导的决策提供了重要的数据支撑。当前国内易制毒化学品监管领域已经拥有了成熟、稳定的操作型业务系统,将线... 详细信息

多年来,数据仓库技术和联机分析处理技术在不断发展与进步。目前,很多政府、企业都已经建设了自己的数据仓库,为企业的发展、领导的决策提供了重要的数据支撑。当前国内易制毒化学品监管领域已经拥有了成熟、稳定的操作型业务系统,将线下申请审批流程提到线上,满足了用户的业务办理需求,提高了监管部门的工作效率。但是,操作型业务系统只能满足日常的操作处理,并产生了大量的历史数据,对于这些数据,并不能进行多角度、全方位分析,以满足用户的查询需求。针对此问题,河北斯博思创新科技有限公司决定将操作型处理系统和分析型系统相分离,采用数据仓库和多维分析技术,研发了多维分析系统-MDA4YZD(Multi-Dimentional Analysis for YZD)。本文主要完成了以下工作:1.针对易制毒化学品监管领域核心业务,建设了面向销售、库存等主题的数据仓库系统。为了减少空间浪费并提高查询效率,采用了多维模式中的雪暴模式,在关系型数据库上创建了符合领域背景的以ROLAP作为存储模式的多维模型。针对不可预见的维度多重变化问题,提出了基于时间戳的处理方案。2.依据原操作型业务系统的数据特征,研发了能够流程式完成数据的抽取、清洗转换与装载工作的ETL子系统。针对多省间企业信息冗余等噪声数据问题,设计了基于业务规则的层级式过滤器,提供了高质量的数据支持。3.为了减轻报表开发人员的工作,让系统的可交互性更强,响应速率更快,展示更直观,应用了Bootstrap、jQuery、Highcharts三种技术,采用迭代的方式研发了多维分析可视化子系统。在每个分析主题下,实现了基本查询分析、企业间横比分析、企业内同比与环比分析、占比分析等复杂操作,为用户决策分析、战略规划提供了支持。本文设计并实现的多维分析系统-MDA4YZD已经应用到了某省易制毒化学品监管领域,通过多维分析操作帮助监管部门对企业进行了分类,对不同类型的企业制定不同的管理策略,明确了审查目标,提高了监管部门的工作效率。同时,为企业更好地分析自己提供了帮助。本系统的研发与应用,为大数据分析在全国易制毒监管领域的应用提供了可借鉴的方案。

关键词：数据仓库数据清洗多维分析缓慢变化维

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于银行数据仓库系统关键技术的研究与实现

基于银行数据仓库系统关键技术的研究与实现

作者：吴莹武汉理工大学

学位级别：硕士

随着信息技术的突破与迅猛发展,信息的传播成本显著降低,信息获取的便捷性和可及性极大提高,推动了社会信息化的快速发展。在以知识经济为主导经济形态的21世纪,越来越多的企业认识到信息的重要性,信息和数据分析已成为现代企业管理的... 详细信息

随着信息技术的突破与迅猛发展,信息的传播成本显著降低,信息获取的便捷性和可及性极大提高,推动了社会信息化的快速发展。在以知识经济为主导经济形态的21世纪,越来越多的企业认识到信息的重要性,信息和数据分析已成为现代企业管理的核心内容。经过多年的金融电子化建设,银行积累了大量的反映银行经营管理活动的数据,然而由于缺乏统一的规划和信息标准,大多数银行的业务数据质量不高、可靠性低,这些阻碍了银行经营管理者的决策分析。利用数据仓库技术为银行构建一个分析型应用系统以帮助银行提高管理决策水平是本课题研究的主要目的。本文在充分理解数据仓库理论的基础上以某银行数据仓库项目为背景,对数据仓库的体系结构和关键技术进行深入研究,主要做了以下工作： 1)在研究分析了传统数据仓库体系结构的优缺点基础上,对数据仓库的体系结构进行改进,通过将Class I类ODS系统作为数据仓库的一部分形成DB-ODS-DW三层体系结构,使数据仓库拥有了一个准实时的分析环境,更好的满足了用户需求。 2)针对Class I类ODS系统需要实时抽取源系统数据的特点,对传统的变化数据获取策略进行分析对比,提出了基于数据库日志分析的实时数据抽取策略,并结合Informatica抽取工具加以实现。 3)在系统的实施阶段结合系统的具体实现过程对数据仓库的建模技术、数据存储策略、数据加载策略及缓慢变化维的实现等关键技术的具体实现过程进行详细的介绍和讨论。 4)模拟实际应用环境对系统进行测试和调优,验证了系统架构的可行性确保了系统在实际应用环境中的稳定运行。

关键词：数据仓库操作型数据存储数据抽取缓慢变化维联机分析

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

有序数据集内连续相同值的识别方法

电脑编程技巧与维护 2021年第9期 126-128页

作者：林凯鸣上海翕振信息技术有限公司上海201201

SQL是用于访问和处理数据库的标准的计算机语言。随着数据库技术以及数据仓库理论的发展,SQL标准得到扩充,以支持多种OLAP(联机分析处理)的需求。基于SQL标准中提供的分析方法,介绍了对给定的数据集、按照任意选取的属性、将连续出现的... 详细信息

SQL是用于访问和处理数据库的标准的计算机语言。随着数据库技术以及数据仓库理论的发展,SQL标准得到扩充,以支持多种OLAP(联机分析处理)的需求。基于SQL标准中提供的分析方法,介绍了对给定的数据集、按照任意选取的属性、将连续出现的、具有相同的属性值的记录聚集在一组,并与其他组相区别的方法。由此,将数据集分害虫为多段,为后续分析工作提供可能性。

关键词：数据仓库联机分析处理缓慢变化维

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

易制毒领域数据仓库数据模型设计

计算机与网络 2016年第7期42卷 54-56+67页

作者：李海龙王德宝胡欣光高志国郝文杰郭瑞强河北斯博思创新科技有限公司河北师范大学

文章主要阐述了系统数据模型的设计与实现的过程。在对数据源进行综合分析的基础上,挖掘核心业务,提取了购买、销售、库存等分析主题。在多维模型的选择上,为了兼顾时间与空间,选择了雪暴模式。在存储模式上,综合考虑数据量、数据范围... 详细信息

文章主要阐述了系统数据模型的设计与实现的过程。在对数据源进行综合分析的基础上,挖掘核心业务,提取了购买、销售、库存等分析主题。在多维模型的选择上,为了兼顾时间与空间,选择了雪暴模式。在存储模式上,综合考虑数据量、数据范围和当前背景与资源,选择了ROLAP的存储方式。针对维度的无法预知的、多重变化的问题,在已有研究的基础上,提出了基于时间戳的新方案,并将其运用到了多维模型中的机构维等缓慢变化维的处理问题上,灵活地解决了维表与事实表之间的依赖问题,同时记录了变化的过程。该研究成果为其他系统灵活解决缓慢变化维的问题提供了可借鉴的方案。

关键词：数据仓库数据模型缓慢变化维

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

数据仓库在高校师资队伍建设中的应用

中国教育信息化 2013年第2期 69-71页

作者：高亮上海财经大学信息化办公室

通过对数据仓库技术和决策支持系统的研究,文章设计了校务决策支持系统体系结构。作者通过分析上海财经大学教师管理业务,设计了教师主题数据模型,特别使用缓慢变化维设计教师事实表以便跟踪历史变化数据。同时描述了使用开源ETL工具Ket... 详细信息

通过对数据仓库技术和决策支持系统的研究,文章设计了校务决策支持系统体系结构。作者通过分析上海财经大学教师管理业务,设计了教师主题数据模型,特别使用缓慢变化维设计教师事实表以便跟踪历史变化数据。同时描述了使用开源ETL工具Kettle设计及实现教师事实表,并举例示意缓慢变化结果。最后用两种BI工具示范了教师主题的具体应用,体现数据仓库在高校师资队伍建设中的价值。

关键词：数据仓库决策支持系统缓慢变化维维度事实表