检索结果-南通市图书馆

基于Sybase数据库批量数据加载的实现方法

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

计算机工程与应用 2003年第14期39卷 200-202页

作者：刘彬李建中黑龙江大学计算机科学技术学院哈尔滨150080

随着当今数据库管理系统和操作系统平台的快速更新换代,数据库管理员经常需要在两个不同的数据库之间或在两种不同的系统平台之间进行批量数据加载。论文介绍了实现Sybase数据库之间批量数据加载的几种方法,并对它们的优缺点做了对比分析。

关键词： Sybase Replication Server 数据加载数据库

在线全文

学校读者我要写书评

暂无评论

数据仓库数据加载技术

重庆大学学报（自然科学版） 2002年第2期25卷 106-108页

作者：熊忠阳张玉芳吴中福重庆大学计算机学院重庆400044

数据仓库中的数据不是传统数据库中数据的简单堆积 ,其数据的组织必须方便基于数据仓库基础之上的数据挖掘和商业智能工作 ,为决策者提供访问、分析及共享信息的能力 ,从而发挥数据仓库的真正功效。成功构造一个数据仓库的关键在于自始... 详细信息

数据仓库中的数据不是传统数据库中数据的简单堆积 ,其数据的组织必须方便基于数据仓库基础之上的数据挖掘和商业智能工作 ,为决策者提供访问、分析及共享信息的能力 ,从而发挥数据仓库的真正功效。成功构造一个数据仓库的关键在于自始至终理解用户需要 ,紧紧围绕用户目标这一主题进行数据的搜集和存储。首先分析数据仓库的特点以及拥有的数据类别及组成 ,重点介绍如何从现有数据库中有效地将数据引导至数据仓库的方法和策略 ,具体给出了数据仓库中

关键词：数据仓库数据提取数据加载数据挖掘决策支持系统

面向日志结构化存储的负载均衡数据加载及故障恢复

在线全文

学校读者我要写书评

暂无评论

面向日志结构化存储的负载均衡数据加载及故障恢复

作者：丁国浩华东师范大学

学位级别：硕士

近年来,在数据泛滥的时代,从电子商务到社交网络等移动互联网技术的应用,用户以前所未有的规模产生了大量的数据。传统的通过增加服务器并采用基于分库分表的方法来解决数据库扩展性问题需要大量的人工维护成本和硬件开销。为了降低开... 详细信息

近年来,在数据泛滥的时代,从电子商务到社交网络等移动互联网技术的应用,用户以前所未有的规模产生了大量的数据。传统的通过增加服务器并采用基于分库分表的方法来解决数据库扩展性问题需要大量的人工维护成本和硬件开销。为了降低开销和分库分表带来的各种问题,业界通常利用新型数据库系统替换原有的系统。其中,基于日志结构合并树存储的数据库系统（例如:OceanBase）被广泛采用,这类系统磁盘上存储的数据块一般呈现全局有序的特征。在从传统数据库切换到新型数据库过程中,需要将大量数据加载到新型数据库系统中,并且长时间加载过程中可能出现存储节点故障或加载进程故障。为了减少总加载时间和故障恢复时间,本文提出一种负载均衡且支持高效故障恢复的数据加载方法。为了支持负载均衡的数据加载,考虑到目标系统默认存储块大小,本文采用一种预计算分区数目方法,这种方法基于目标系统默认存储块大小和加载数据文件大小,同时利用数据在分库分表的系统中导出通常局部有序的特点,选择一些采样块并等间隔选样本来确定分区间边界点,减少选取所有采样块并在每个采样块中头部或随机选样本引起的高开销。为了处理不同的故障类型,加快故障恢复速度,特别是存储节点故障和加载进程故障两种常见的故障类型,本文利用日志结构合并树存储系统的多副本特性减少故障恢复时从远程数据源拉取的数据量,提出基于副本局部故障恢复方式,避免完全重新加载的故障恢复方式。本文主要贡献总结如下:1.提出预计算分区数目和基于部分采样确定分区边界点负载均衡数据加载方法。本文针对日志结构化存储系统存储的表数据按全局有序水平切分为多个固定大小的子表分布在多个存储节点上的特点,采用预计算分区数目和基于等间隔选取样本的部分采样方法来减少采样开销,同时使各个分区相对均衡,实现负载均衡数据格式转换和数据迁移到目标存储系统。2.提出一种基于副本的局部故障恢复的加载方法,减少了故障恢复的时间。由于在分布式环境中可能存在各种类型故障,为了使数据加载流程能够对故障实现自动处理,同时减少故障恢复时间,本文针对日志结构化存储系统多副本的特性,提出一种基于副本局部故障恢复方法,减少发生故障时重新从数据源拉取副本数量,提高故障恢复速度。3.基于Hadoop和开源数据库CEDAR中实验验证负载均衡数据加载及故障恢复方法高效性。通过对比预确定分区数目和预计算分区数目两种方法,验证了本文提出的针对基于日志结构合并树存储系统的预计算分区方法更加高效,通过对比全局采样和部分采样两种方法,验证了本文提出的通过部分采样可以权衡采样开销和精确度。通过对比三种选取样本方式,验证了等间隔选取样本方法更加适合局部有序的数据集。在故障恢复方面,对于存储节点和加载进程故障,通过对比基于重启全局故障恢复和基于副本局部故障恢复两种恢复,验证由于减少从数据源重新拉取恢复副本的数量,基于副本局部故障恢复减少了故障恢复时间。综上所述,本文主要研究了在基于日志结构化存储系统中的数据加载问题。首先,为解决数据加载过程中的负载均衡问题,给出针对存储系统结构特点和加载数据文件局部有序的特点设计的数据分区方案,实现整体负载均衡的数据加载流程;其次,为解决数据加载过程中的故障恢复问题,提出一种结合系统多副本特点的基于副本局部故障恢复方式,减少故障恢复时间;最后,通过实验验证了本文方法的高效性。

关键词：数据加载负载均衡故障恢复日志结构

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向日志结构化数据存储的高效数据加载

华东师范大学学报（自然科学版） 2019年第5期 143-158页

作者：丁国浩徐辰钱卫宁华东师范大学数据科学与工程学院

近年来,随着互联网技术的快速发展,无论是互联网企业还是传统的金融机构,用户量和业务处理数据量都在快速地增长.传统的通过增加服务器并采用基于分库分表的方法来解决扩展性问题,需要大量的人工维护成本和硬件开销.为降低开销和分库分... 详细信息

近年来,随着互联网技术的快速发展,无论是互联网企业还是传统的金融机构,用户量和业务处理数据量都在快速地增长.传统的通过增加服务器并采用基于分库分表的方法来解决扩展性问题,需要大量的人工维护成本和硬件开销.为降低开销和分库分表带来的各种问题,业界通常用新型数据库系统替换原有的系统,其中,基于日志结构合并树存储的数据库系统(如OceanBase)被广泛采用,这类系统磁盘上存储数据块呈现全局有序的特征.在从传统数据库切换到新型数据库过程中,需要将大量数据加载到新数据库系统中,长时间加载的过程中可能出现数据库节点宕机.为了减少总加载时间和故障恢复时间,提出了一种负载均衡且支持高效容错的数据加载方法;为了支持负载均衡的数据加载,与预确定分区划分数据的方法不同,考虑到目标系统默认存储块大小,采用通过基于文件大小和目标系统默认存储块大小预计算分区数目,并利用分库分表的数据导出往往已经排序的特点,采用选取部分采样块和等间隔选取样本的方式确定分区之间的切分点,避免了全局采样和随机或头部样本选取方式确定切分点带来的高开销;为了加快故障恢复速度,利用日志结构合并树存储系统的多备份减少故障恢复时的数据量,提出了基本副本局部故障恢复方式,避免了完全重新加载的故障恢复方式.实验结果表明,相比采用预确定分区数目和全局选取采样块的随机或头部选取样本方法,采用预计算分区数目和部分选取采样块的等间隔选取样本确定切分点的方法,提高了数据加载的性能,并且验证了基于副本局部故障恢复方法相比完全重启加载恢复方法的高效性.

关键词：数据加载负载均衡容错日志结构

在线全文

学校读者我要写书评

暂无评论

视频阵列处理器数据加载电路的设计与实现

电子技术应用 2014年第12期40卷 56-59页

作者：冼子雨蒋林柏承双王汐西安邮电大学电子工程学院陕西西安710061

随着多种视频编解码标准和视频算法的提出,视频处理器高效性和灵活性显得更为重要。针对视频阵列处理器中数据加载速率与阵列处理单元处理不匹配的问题,通过对视频编解码标准算法的分析,深度挖掘数据访存冗余和传输的特点,在可编程可重... 详细信息

随着多种视频编解码标准和视频算法的提出,视频处理器高效性和灵活性显得更为重要。针对视频阵列处理器中数据加载速率与阵列处理单元处理不匹配的问题,通过对视频编解码标准算法的分析,深度挖掘数据访存冗余和传输的特点,在可编程可重构体系结构下,设计了支持灌入和Cache两种工作模式的数据加载电路,并进行了功能仿真和FPGA验证。结果表明,该电路能够满足1080P视频处理对数据加载的要求,采用Desgin Compiler在SMIC 0.13μm CMOS工艺标准单元库下综合,频率可达197 MHz。

关键词：视频阵列处理器数据加载可编程可重构

在线全文

学校读者我要写书评

暂无评论

基于采样的图神经网络数据加载系统

基于采样的图神经网络数据加载系统

作者：熊颖彤华东师范大学

学位级别：硕士

随着图神经网络受到的关注越来越多,各种图神经网络模型层出不穷。事实证明,图神经网络已经成功地被应用于各个领域中,例如推荐系统、社交网络分析、蛋白质分子分析等。然而,随着图数据尺寸爆炸性的增长,传统的图神经网络训练由于邻域... 详细信息

随着图神经网络受到的关注越来越多,各种图神经网络模型层出不穷。事实证明,图神经网络已经成功地被应用于各个领域中,例如推荐系统、社交网络分析、蛋白质分子分析等。然而,随着图数据尺寸爆炸性的增长,传统的图神经网络训练由于邻域爆炸问题的存在,面临着计算和存储两方面的压力。同时,基于全图的训练方式使得模型参数在一次完整迭代中只更新一次,导致模型的收敛速度可能受到影响。因此,基于采样的图神经网络训练被提出来,以缓解图神经网络训练过程中所面临的计算和存储压力并提升模型的收敛速度。为了提升基于采样的图神经网络的训练效率,不少研究工作提出了多种采样算法,试图从算法的角度提升训练效率。这些研究工作提出的算法理论上能为图神经网络训练带来性能提升,却忽略了算法设计和系统实现之间存在的差距,使得在实际训练过程中依然存在着性能瓶颈。本文针对基于采样的图神经网络训练进行优化,以提升网络训练的效率。首先,本文通过实验分析得出目前制约基于采样的图神经网络训练的两个瓶颈为采样和数据加载。接下来,本文针对这两个瓶颈设计了相应的优化方法。实验结果表明,本文提出的优化方法能够提升端到端的图神经网络训练效率。本文的主要工作如下:(1)基于采样的图神经网络训练定量分析:为了找出基于采样的训练方式中存在的瓶颈,本文在当前主流的图神经网络系统上进行测试,分别对采样和数据加载进行定量分析,识别出采样和数据加载是训练过程中存在的主要瓶颈。另一方面,本文发现在基于采样的训练方式中,图数据存在着可待利用的数据局部性。基于以上分析,本文分别对数据采样和数据加载进行了优化。(2)基于GPU的高效邻居节点采样器:为了提升图采样的性能,本文将采样过程从CPU端迁移到GPU端,并利用GPU的高度并行性设计了一个高效的采样器以实现快速高效的采样。同时,为了进一步提升采样效率,本文结合图数据特征和硬件特征,设计了一个针对图拓扑数据的存储策略。实验显示,相比于其他图神经网络系统,GPU采样器能够提升图数据采样性能。(3)一个高效的数据加载器:本文设计了一个高效的数据加载器以优化数据加载。结合上文分析得到的可待利用的数据局部性,本文将mini-batch中的节点划分为共享节点和非共享节点。对于共享节点,本文通过控制GPU中特征数据的生命周期的方式,重复利用共享节点的特征数据,从而减少CPU和GPU之间的冗余数据传输;对于非共享节点,本文设计了一个高效的特征聚合器来提升特征聚合的性能。实验显示,相比于逐mini-batch的数据传输,本文利用图数据的数据局部性能够提升CPU和GPU之间的数据传输吞吐。(4)数据加载优化系统的实现:本文将上述优化工作实现为一个高效的数据加载优化系统,Fast Data Loader(FDL)。FDL提供了简单易用的前端接口,使得用户在使用过程中尽可能少地减少对相应代码的修改。实验显示,FDL能够有效的提升基于采样的图神经网络训练效率。综上所述,本文首先分析出基于采样的图神经网络训练中的瓶颈为采样和数据加载以及图数据在mini-batch之间体现出的数据局部性。结合上述分析,本文从数据采样和数据加载这两个角度进行优化,最终提高了端到端的图神经网络训练效率。

关键词：图神经网络数据加载基于采样的图神经网络训练

基于索引视图实现动态数据仓库的实时数据加载

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机科学 2016年第S1期43卷 493-496页

作者：武彤谭光炜贵州大学计算机科学与技术学院贵阳550025

随着数据仓库技术的不断普及,基于数据仓库技术的决策支持系统在企业得到了广泛应用,同时出现了动态数据仓库。随着动态数据仓库在决策支持领域扮演的角色越来越重要,企业利用决策支持系统从辅助进行战略决策开始向战术决策转变。而要... 详细信息

随着数据仓库技术的不断普及,基于数据仓库技术的决策支持系统在企业得到了广泛应用,同时出现了动态数据仓库。随着动态数据仓库在决策支持领域扮演的角色越来越重要,企业利用决策支持系统从辅助进行战略决策开始向战术决策转变。而要进行战术性的分析,数据仓库中必须有动态变化的最新数据,实现数据仓库的"动态"特性的关键又在于实现"动态数据获取",即实现实时数据捕获加载。提出了基于索引视图实现动态数据仓库的实时数据加载,并通过实验验证了其可行性。该方法对进一步深入研究实时数据捕获技术有一定的借鉴作用。

关键词：动态数据仓库数据仓库实时数据数据加载

Flash在线数据加载的JTAG通用方法研究

在线全文

学校读者我要写书评

暂无评论

电光与控制 2009年第3期16卷 95-97页

作者：张琳周拥军武飞中航工业洛阳电光设备研究所河南洛阳471009

介绍了一种通过Flash主控芯片的JTAG接口实现对Flash加载数据的方法。描述了Flash存储器的特点、JTAG技术的发展和应用以及TCL脚本语言的编程方法,给出了一个以JTAG方法对Flash进行数据加载的通用方案,该方案可以作为嵌入式处理器电路... 详细信息

介绍了一种通过Flash主控芯片的JTAG接口实现对Flash加载数据的方法。描述了Flash存储器的特点、JTAG技术的发展和应用以及TCL脚本语言的编程方法,给出了一个以JTAG方法对Flash进行数据加载的通用方案,该方案可以作为嵌入式处理器电路调试方法的重要补充。

关键词： JTAG TCL脚本 Flash 数据加载

在线全文

学校读者我要写书评

暂无评论

基于LTE模块的数据加载方案的设计与实现

基于LTE模块的数据加载方案的设计与实现

作者：康珂嘉西安电子科技大学

学位级别：硕士

随着SoC的设计体量的逐渐增大,仿真的速度成为制约验证进度的短板之一,由于仿真速度的限制,一些大数据体量的测试用例结果无法在RTL级仿真中很快的呈现出来,虽然可以利用业界主流的FPGA和专用的模拟器来解决RTL仿真速度过慢的问题,然而... 详细信息

随着SoC的设计体量的逐渐增大,仿真的速度成为制约验证进度的短板之一,由于仿真速度的限制,一些大数据体量的测试用例结果无法在RTL级仿真中很快的呈现出来,虽然可以利用业界主流的FPGA和专用的模拟器来解决RTL仿真速度过慢的问题,然而它们毕竟没有办法像RTL级的仿真一样透明地观察硬件信号和内部逻辑,也无法随时设置断点调试硬件,因此RTL级仿真依然无法替代,所以如何提升RTL仿真的效率显得格外关键。此外在一块SoC芯片中,存储器所占的面积要大于60%,面积的增大必然导致存储器更容易受到辐射干扰而产生错误。因此抑制存储器的错误能够大大加强系统对外界的抗干扰能力。另一方面,随着IC设计工艺的发展,芯片上存储器的密度不断增加,使得其可能出现的缺陷类型也越来越多,同时验证的数据量变得更加巨大,如此一来极大的增加了验证成本,原始的验证流程已经难以应对这些新的挑战。从数据加载方式的角度来看,前门访问是指通过总线实现物理时序访问,这种访问需要经过总线协议,因此访问需要耗时,且在总线访问结束时,才能结束前门访问,相较于前门访问,后门访问可以通过关联硬件存储器信号路径,直接进行读取和硬件修改,不需要访问时间且不受硬件时序控制,但是这种方式可能会导致时序冲突,但是反过来讲,这样做又可以通过总线协议,有效地捕捉总线错误,继而验证总线访问的路径是否正确,比如设计和验证是否做到了实时同步等。此外,在采用后门访问的前提是待测设计已经在前门访问的基础上做过了充分的验证。为了解决前门访问总线耗时问题,本文以LTE模块的硅前验证为背景,从数据加载方式入手,研究了LTE模块内的存储器特性,以及纠错编码的纠错原理和译码方式,利用后门数据访问速度快的特点,有效地提高了LTE模块测试用例的RTL仿真速度。并在此基础上通过基于Perl语言的脚本开发规划了后门数据加载的RTL仿真流程包括Makefile的编写,并详细阐述了脚本开发细节。实现了基于LTE模块的后门数据加载,解决了可能出现的时序冲突,由于后门数据加载直接进行读取和硬件修改,需要手动添加ECC校验位,因此,需要对该加固方案进行可靠性分析,通过在输入数据内加入单比特错误后观测输出数据以及对所有测试场景的覆盖率分析并与前门数据加载所消耗的系统时间做对比。结论为,基于后门数据加载适用于所有测试场景,其所消耗的RTL仿真时间约为前门数据加载时间的40%,验证了该方案的可行性,并已应用于实际的项目中。

关键词：数据加载 RTL 存储器