检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

异构数据库数据实时同步系统设计与实现

异构数据库数据实时同步系统设计与实现

作者：朱方远东南大学

学位级别：硕士

随着互联网的发展,网上产生的数据量与日俱增,数据的价值也变得越来越高。传统的数据会存放在OLTP类型的数据库中,这种数据库在进行大数据量的数据分析操作时性能会很快达到瓶颈,针对这个问题诞生了OLAP数据仓库。这种数据库能很好地支... 详细信息

随着互联网的发展,网上产生的数据量与日俱增,数据的价值也变得越来越高。传统的数据会存放在OLTP类型的数据库中,这种数据库在进行大数据量的数据分析操作时性能会很快达到瓶颈,针对这个问题诞生了OLAP数据仓库。这种数据库能很好地支撑海量数据的分析,但是对事务型操作的支持就没那么友好。既要支持大数据量的分析,又要支持短时间内事务型的操作,传统的方式是把OLTP数据库中的数据每隔一段时间导入到OLAP数据库当中,具体的分析操作在OLAP数据库中执行,但是这种方式对用于分析的数据会有很大的延迟,无法满足现在市场上很多对数据实时性要求比较高的公司的需要。针对以上出现的问题,本文设计并实现了一套异构数据库数据实时同步系统,主要包含的工作内容如下:(1)完成了历史数据同步模块的设计与实现:很多同步系统只能对同步时刻之后的数据进行同步,这会使被同步表中历史数据的丢失,造成同步两端的数据不一致。针对这个问题本文设计了历史数据同步模块。如果被同步的表要求做数据实时同步,并且其存在历史数据,则需要先对历史数据进行数据的同步。本文借助分布式计算引擎对历史数据进行抓取,格式化处理后发送到分布式消息队列Kafka中,之后便可交由后续的流式处理系统去把数据写入到相应的OLAP数据库。同步过程中保证全量同步的高效性,高可用性和灵活性。(2)完成了数据实时同步模块的设计与实现:很多同步系统以批处理的方式对数据进行同步,这会造成很大的数据延迟。为了保证AP数据库中数据的实时性,设计了数据实时同步模块,通过抓取并解析增量日志的方法来获取变化的数据,配合Kafka,分布式计算引擎和底层的AP存储引擎来完成对数据的实时同步,并保证整个系统在发生网络波动或者出现异常情况后数据同步的正确性。本文选用了Holodesk存储引擎作为OLAP数据库存储层。为了更好地适配于整个数据实时同步系统,改进了底层的存储模型,增大数据写入的吞吐量,保证数据同步过程中的幂等性,实现异构数据库之间数据的最终一致性。(3)完成了实时同步性能分析模块的设计与实现:本文还将设计适用于本文的异构数据库数据实时同步系统的性能统计模块,用于统计整个系统的吞吐量和延时,方便使用者对整个系统进行性能分析。(4)最后结合特定的测试环境分别对整个异构数据库数据实时同步系统进行功能测试和性能测试。通过部署和系统整体性能测试分析,相比于传统的数据同步方案,本文设计的系统在数据同步的实时性,灵活性,高可用性和高吞吐量上都有很大的提升。

关键词：大数据实时同步异构数据库 OLAP Kafka

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于openGauss的异构算子加速技术

华东师范大学学报（自然科学版） 2023年第5期 90-99页

作者：陈现森徐辰华东师范大学数据科学与工程学院上海200062

GPU (graphics processing unit)的高并行和高吞吐特性可以提高数据库OLAP (on-line analytical processing)查询的性能.然而目前openGauss无法利用GPU等异构计算硬件的优势.因此旨在探索如何使用GPU加速该系统的OLAP处理过程,以实现更... 详细信息

GPU (graphics processing unit)的高并行和高吞吐特性可以提高数据库OLAP (on-line analytical processing)查询的性能.然而目前openGauss无法利用GPU等异构计算硬件的优势.因此旨在探索如何使用GPU加速该系统的OLAP处理过程,以实现更高的性能.针对openGauss与SQL为系统PostgreSQL名称的一部分,因此不能修改执行粒度的差异,提出了基于分块读取和按键分发的CPUGPU协同并行方案,该方案可缩短GPU Scan算子的I/O (input/output)时间以缩短GPU的空闲等待时间,又可多实例运行GPU Join以支持多GPU环境.针对openGauss与PostgreSQL体系结构的差异,提出了兼容向量化引擎的异构算子加速技术,实现了可嵌入向量化执行引擎的自定义算子框架,基于此实现了可处理openGauss列式数据的向量化GPU Scan算子.实现了原型系统,验证了所提出方案的效果.

关键词：异构数据库图形处理器向量化引擎在线分析型处理

在线全文

学校读者我要写书评

暂无评论

基于openGauss的异构算子加速技术

基于openGauss的异构算子加速技术

作者：陈现森华东师范大学

学位级别：硕士

近年来,随着数据规模和分析型应用需求的不断增长,OLAP查询变得愈发重要。通用数据库如open Gauss以CPU为计算核心,由于功耗墙、内存墙的问题,执行OLAP负载时可能会出现性能不佳的情况。GPU的高并行和高吞吐特性可以提高数据库OLAP查询... 详细信息

近年来,随着数据规模和分析型应用需求的不断增长,OLAP查询变得愈发重要。通用数据库如open Gauss以CPU为计算核心,由于功耗墙、内存墙的问题,执行OLAP负载时可能会出现性能不佳的情况。GPU的高并行和高吞吐特性可以提高数据库OLAP查询的性能。然而,目前open Gauss还无法充分发挥GPU等异构计算硬件的优势。因此,本研究旨在探索如何使用GPU加速open Gauss的OLAP查询处理过程,以实现更高的性能。本文的研究目的是提高open Gauss的OLAP负载执行效率。在执行异构查询任务时,本文的目标是提高CPU、GPU的资源利用率,减少GPU Scan算子的IO时间以减少GPU的空闲等待时间,多实例运行GPU Join以支持多GPU环境。在执行涉及列存表和向量化执行引擎的查询时,本文的目标是通过GPU加速列存数据以及转换后的列向量数据的计算。最后,本文将PG-Strom移植到open Gauss并据此设计实现了一个原型系统,以验证本文提出的优化方案的效果。围绕上述研究内容,本文的主要贡献如下:1.提出了一种基于分块读取和按键分发的CPU-GPU协同的异构并行方案。为了减少GPU Scan算子的读取时间,本工作按照并行线程id分配数据块,并行地读取数据库表数据并封装为GPU任务,GPU异步地进行计算并返回结果。对于GPU Join算子,本工作在计划生成阶段考虑与多种数据分发的Stream算子组合,生成更多的物理执行计划。在执行时,Stream算子按照连接键等信息将数据分发到不同的GPU Join实例中。这种方法不仅可以加速数据读取时间,有效提高CPU、GPU的利用率,同时可扩展到多GPU环境下。2.设计了向量化自定义算子框架并基于此实现了向量化的异构算子。本文首先实现了可嵌入open Gauss向量化执行引擎的自定义算子框架,基于该框架可为open Guass添加更多类型的向量化算子。之后,基于该框架设计实现了可直接处理列存数据并嵌入到向量化执行引擎中的GPU Scan算子。该算子可直接读取列存文件数据,封装成GPU计算任务并异步地执行。本文的实验表明,应用本文中的向量化GPU Scan算子较原有的open Gauss有着更好的性能表现。3.实现了CPU-GPU协同并行、兼容向量化引擎的异构算子加速的原型系统。本文基于open Gauss和PG-Strom实现了包含上述多实例GPU Scan算子、多实例GPU Join算子、向量化自定义算子框架和向量化GPU Scan算子的原型系统,并阐述了原型系统的设计思路和具体实现。综上所述,本文着重研究了如何面向openGauss实现和优化GPU加速模块。本文从open Gauss和Postgre SQL的差异性出发,对PG-Strom进行了适应性优化。本文提出了基于分块读取和按键分发的CPU-GPU协同的并行方案和兼容向量化引擎的异构算子加速技术,并基于open Gauss和PG-Strom实现了原型系统。实验结果显示,本文所提出的技术点相较于原有方案有更好的性能。

关键词： GPU OLAP 异构数据库向量化引擎

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

异构数据库高效数据交换引擎设计

西南师范大学学报（自然科学版） 2014年第9期39卷 100-108页

作者：黄学彬赵春郑伟四川大学锦城学院教务部成都611731 四川大学锦城学院计算机科学系成都611731

针对异构数据库之间数据交换软件的数据交换不规范、网状数据不通畅、数据同步无保证等问题,设计了一个通用安全高效的数据交换引擎.该设计采用影子表法获取数据,利用文本差异比较得出变化的数据量,并运用差异分析算法解析出数据变化结... 详细信息

针对异构数据库之间数据交换软件的数据交换不规范、网状数据不通畅、数据同步无保证等问题,设计了一个通用安全高效的数据交换引擎.该设计采用影子表法获取数据,利用文本差异比较得出变化的数据量,并运用差异分析算法解析出数据变化结果集.设计中的数据交换规则与数据更新结果存储均采用了XML文件格式作为媒介,为了保证数据的安全性与可靠性,设计要求对需要传输的数据进行加密处理,并采用可靠的TCP作为数据传输协议的载体.实验表明,该文设计的异构数据库交换引擎可以高效率地完成异构数据库之间可靠、安全的数据交换.

关键词：异构数据库高效数据交换 XML差异分析影子表法

在线全文

学校读者我要写书评

暂无评论

异构数据库下不完全信息优化检测仿真研究

计算机仿真 2017年第11期34卷 390-394页

作者：刘敏李智彪熊婷南昌大学科学技术学院江西南昌330029 江西中医药大学计算机学院江西南昌330004

对异构数据库下不完全信息的优化检测,能够有效提高数据库中数据质量。对不完全数据的检测,需要求得不完全信息的多准则权系数和分类中心,计算不完全信息方案集属于各类别的隶属度。传统方法利用偏好函数和不完全信息的准则权系数,定义... 详细信息

对异构数据库下不完全信息的优化检测,能够有效提高数据库中数据质量。对不完全数据的检测,需要求得不完全信息的多准则权系数和分类中心,计算不完全信息方案集属于各类别的隶属度。传统方法利用偏好函数和不完全信息的准则权系数,定义两个方案的偏好优序指数,但忽略了计算信息类别隶属度,导致检测精度偏低。提出基于模糊聚类的异构数据库下不完全信息优化检测方法,在考虑对不完全信息训练集分类的基础上,结合计算获得的不完全信息的多准则权系数信息等建立模糊聚类模型;然后计算求得不完全信息的多准则权系数和分类中心,计算异构数据库下不完全信息方案集属于各类别的隶属度,从而完成对不完全信息的优化检测。仿真结果表明,所提方法操作简单,能够在经济管理中帮助决策者及时作出相应决策。

关键词：异构数据库不完全信息:优化检测

在线全文

学校读者我要写书评

暂无评论

异构数据库间的数据迁移研究

异构数据库间的数据迁移研究

作者：潘云燕中国石油大学(华东)

学位级别：硕士

现代化企业运营中,各部门系统长时间独立建设,系统内用于底层数据存储的数据库管理系统也是各有不同。随着企业规模的扩大和业务的升级,原有的数据中心的架构体系、系统性能及存储容量逐渐不能满足业务的需要,因而需要进行企业信息系统... 详细信息

现代化企业运营中,各部门系统长时间独立建设,系统内用于底层数据存储的数据库管理系统也是各有不同。随着企业规模的扩大和业务的升级,原有的数据中心的架构体系、系统性能及存储容量逐渐不能满足业务的需要,因而需要进行企业信息系统的改造和升级,数据迁移是其中非常重要的环节。对于异构数据库间的数据迁移,传统方案多采用基于数据库或数据接口硬编码数据迁移程序,或人工录入的方式。但前者开发成本较高,重用性较差;后者所需时间和人力都非常大,且很难保证数据的准确性。XML因其在数据描述和数据传输方面的各种优势,将XML引入数据迁移技术研究具有一定的研究和应用意义。本文介绍了异构数据库间数据迁移的研究现状,探讨已有的方法并对已有方法进行对比分析,针对数据转换过程中如何解决异构数据库之间格式不兼容等问题,设计了异构数据库间是数据迁移模型。模型中针对数据迁移中的关键问题进行研究,例如改进了XML的交换模式,完成了数据迁移过程中元数据的管理,实现了XML与数据库之间的双向映射,并对数据迁移中的大数据对象进行了特殊处理,使之能够在XML文档中传输。最后,通过系统实例对异构数据库间数据迁移进行验证并对迁移结果进行分析,达到了预期的效果,为企业进行异构数据库间的迁移提供了一定的指导。

关键词：数据迁移异构数据库对象映射 XML

异构数据库整合技术在智能小区管理系统中的应用研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

异构数据库整合技术在智能小区管理系统中的应用研究

作者：邝泉大连交通大学

学位级别：硕士

上个世纪90年代当智能小区的概念首次在国内提出后,便得到了公众的广泛关注。但是,基于对技术,投资及市场等方面因素的综合考虑,现有智能小区很少可以做到真正的“智能”。主要表现为小区中存在多个管理子系统,而又缺少一个公共的管理... 详细信息

上个世纪90年代当智能小区的概念首次在国内提出后,便得到了公众的广泛关注。但是,基于对技术,投资及市场等方面因素的综合考虑,现有智能小区很少可以做到真正的“智能”。主要表现为小区中存在多个管理子系统,而又缺少一个公共的管理平台对小区进行高效的统筹管理。因此,本文提出了通过异构数据库整合技术,将小区中已有的、独立的子管理系统进行集成。在保证对现有投资的充分利用前提下,建立一套高效实用的智能小区管理系统完成小区日常事务的管理。智能小区管理系统集成的核心实质上是异构数据库的集成,而日益成熟的XML和Java技术为异构数据库集成提供了一条可行的方案。因此在数据库集成方面,本文采用以XML文档作为数据的组织形式,使用Java完成对数据的操作,建立一套B/S体系结构的智能小区管理系统。与传统的B/S体系结构相比,为了实现对异构数据库的处理,该设计在原有的三层构架的基础上加入了一个由元数据、分解合并器和查询器组成的中间层,通过该中间层用户可以与数据库层进行很好的无缝连接以及对数据库进行透明访问。通过论证,该系统可以有效的完成对异构数据库的各种操作,达到智能小区管理系统对于应用的需求。通过系统的集成,使得智能小区朝着“智能”目标又迈近了一步。

关键词：智能小区异构数据库 XML Java

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

异构数据库在火电厂两票系统中的应用

计算机仿真 2014年第11期31卷 138-141页

作者：刘赫男张悦吕佩吾华北电力大学河北省发电过程仿真与优化控制工程技术研究中心河北保定071003

当前火电厂两票系统普遍使用单一的关系数据库,在票面内容的存储中仅限于存储单一节点的信息而无法与庞大的票面结构样式信息兼顾协调,在面对实际生产中繁复的开票流程信息、业务逻辑与冗长的结构样式数据时,无法将填写流程信息与浏览... 详细信息

当前火电厂两票系统普遍使用单一的关系数据库,在票面内容的存储中仅限于存储单一节点的信息而无法与庞大的票面结构样式信息兼顾协调,在面对实际生产中繁复的开票流程信息、业务逻辑与冗长的结构样式数据时,无法将填写流程信息与浏览票面信息两个操作统一[1],大大影响了开票效率。针对上述问题,提出了基于XRDI(XML数据库与关系数据库的数据交互)的异构数据库技术,并根据现场使用中存在的问题对XRDI技术予以改进,提高了读取效率。不仅解决了当前主流的火电厂开票系统普遍存在的难题,也为未来火电厂两票系统的发展开辟了新的思路。

关键词：火电厂两票系统异构数据库数据交互

在线全文

学校读者我要写书评

暂无评论

异构数据库中表的相似性查询系统设计与实现

异构数据库中表的相似性查询系统设计与实现

作者：柯伟华中科技大学

学位级别：硕士

随着数据库的广泛使用,异构数据库的数据集成需求越来越多。为了实现数据共享,可以将本地局域网及远程网络中的各数据库节点在逻辑上进行集成。很多情况下由于集成的底层异构数据库存放的对象相似,对象以表的形式描绘出来,表内的数据也... 详细信息

随着数据库的广泛使用,异构数据库的数据集成需求越来越多。为了实现数据共享,可以将本地局域网及远程网络中的各数据库节点在逻辑上进行集成。很多情况下由于集成的底层异构数据库存放的对象相似,对象以表的形式描绘出来,表内的数据也会存在较大的相似性。查询相似性的表并进一步分析,会有助于用户得到更有价值的信息。异构数据库中表的相似性查询系统根据属性列语义匹配技术,查找出所有相似度较高的表分组。它屏蔽了本地数据库之间的异构性,使用户可以透明访问表中的数据而不用处理各数据库之间的异构性。该系统主要包括属性列语义匹配、表相似性分析、用户交互等模块。属性列语义匹配模块作为系统核心模块,它将属性列分类,对不同类型的属性列使用不同的相似性度量算法;该模块首先会从数据库字典级别、模式级别、内容级别提取属性列特征值,然后通过优化的sigmoid函数对特征值进行规范化并组成特征向量,最后根据特征向量计算属性列的相似性系数,对于字符类型的属性列,还结合扩展后的TF-IDF算法度量相似性。表相似性分析模块首先调用属性列语义匹配模块,将表的相似性分析分解为列的相似性分析,然后根据列的相似性情况确定两个表的相似性系数。用户交互模块会将n:1的相似性列映射反馈给用户,由用户根据实际情况确定1:1的映射。当系统查询出所有的相似性表分组后,根据用户选择的合适分组,系统会对这些分组建立映射存储语句,并将分组信息存放起来。对系统属性列语义匹配模块和表相似性分析模块进行了测试。结果表明,阈值参数设置合理,属性列和表的相似性查询表现良好,系统性能基本满足实际需求。

关键词：异构数据库表的相似性查询属性列语义匹配特征值