检索结果-南通市图书馆

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基线与增量数据分离架构下的分布式连接算法

计算机学报 2016年第10期39卷 2102-2113页

作者：樊秋实周敏奇周傲英华东师范大学数据科学与工程研究院上海高可信计算重点实验室上海200062

在大数据背景下,数据库系统表连接操作的效率急需优化,尤其对于基线与增量数据分离的数据库系统来说,其连接操作更是成为其性能的主要瓶颈.为了有效提升事务处理的性能,在基线与增量数据分离的数据库系统架构中,通常将基线数据存储于磁... 详细信息

在大数据背景下,数据库系统表连接操作的效率急需优化,尤其对于基线与增量数据分离的数据库系统来说,其连接操作更是成为其性能的主要瓶颈.为了有效提升事务处理的性能,在基线与增量数据分离的数据库系统架构中,通常将基线数据存储于磁盘中,增量数据存储于内存中,进而获得较高的事务处理吞吐量和可扩展性.Hbase、BigTable、OceanBase等系统是典型的基线与增量数据分离的数据库管理系统,但是他们的表连接效率较低,其主要原因包括:每次表连接前必须先合并基线数据和增量数据;数据存储模式更为复杂,导致过大的网络开销.该文提出了一种基线与增量数据分离架构下的排序归并连接优化算法.该算法对连接属性做范围切分,在多个节点上并行做排序归并连接.该算法无需在连接前合并基线数据和增量数据,进而实现对基线和增量数据并行处理,同时也避免了大量非连接结果集数据的基线与增量合并操作.并在开源的数据库OceanBase上实现了该算法,通过一系列实验证明,该算法可以极大提高OceanBase数据库的表连接处理性能.

关键词：分布式连接增量数据并行处理排序归并连接

1∶250000地形数据更新增量数据预处理方法

在线全文

学校读者我要写书评

暂无评论

测绘标准化 2022年第3期38卷 98-101页

作者：张亚玲赵群张中中自然资源部第一航测遥感院陕西西安710054

1∶250000地形数据是依据上一年度1∶50000地形要素增量数据进行缩编而来。目前,地形数据更新中的自动综合模型和算法尚不完善,实用化软件系统仍有待开发,另外,近几年更新资料源的数据量较大,更新耗时、费力。基于ArcGIS软件的不同功能... 详细信息

1∶250000地形数据是依据上一年度1∶50000地形要素增量数据进行缩编而来。目前,地形数据更新中的自动综合模型和算法尚不完善,实用化软件系统仍有待开发,另外,近几年更新资料源的数据量较大,更新耗时、费力。基于ArcGIS软件的不同功能,对资料源数据中的1∶50000地形要素增量数据进行位置和属性选择,通过剔除在1∶250000地形数据中无需表示的增量数据来减少增量要素的数量,从而提高1∶250000地形数据更新效率。生产实践证明,通过对增量要素进行预处理可以大幅度减少工作量,提高工作效率。

关键词：地形数据更新数据预处理增量数据

基于大数据环境下的高维数据和增量数据的关联规则挖掘研究

在线全文

学校读者我要写书评

暂无评论

基于大数据环境下的高维数据和增量数据的关联规则挖掘研究

作者：赵欣灿江西理工大学

学位级别：硕士

随着互联网、传感器等技术的发展,社会的信息化不断被推进,全球数据的生产速度也在飞快增长。众所周知,移动通信数据是承载着通信业务与互联网信息的大动脉,是网络信息时代发展的重要基础设施。因此,通信大数据的概念越发受到关注,数据... 详细信息

随着互联网、传感器等技术的发展,社会的信息化不断被推进,全球数据的生产速度也在飞快增长。众所周知,移动通信数据是承载着通信业务与互联网信息的大动脉,是网络信息时代发展的重要基础设施。因此,通信大数据的概念越发受到关注,数据价值信息的挖掘也逐渐成为研究热点。其中,数据集中项与项之间关联规则挖掘技术的分析和发现也是数据挖掘过程中的重要分支。同时,该项研究挖掘的规则中所蕴藏的潜在价值也是前所未知的。因此,如何高效、准确的完成通信大数据环境下的关联规则挖掘成为一个热门的研究主题。目前,虽然传统关联规则挖掘算法在大数据时代下的改进取得了一定的成果,然而,通信大数据环境下的数据类型多样、更新速度快等特点,使得此类算法的优化研究仍具有被无限探索潜力。此外,现有的改进算法在执行过程中的复杂度依然很高,难以将并行化计算嵌入到其大规模数据中。鉴于此,本文分别从所挖掘的数据类型和通信大数据的环境特征方面着手,通过对数据预处理和算法步骤的改进,针对算法执行结果的精确度以及算法执行的效率进行提升。本文主要工作如下:针对大规模高维数据在基于FP-growth算法的挖掘过程中存在数据特征捕捉不准确、结点负载不均衡、数据交互频繁以及频繁项集紧凑化程度低等问题,提出了基于MapReduce的并行挖掘算法PARDG-MR(the Parallel Association Rules Mining Algorithm by using Dimension Granulating based on MapReduce)。该算法首先根据数据特征,提出基于维度粒化算法DGA(the dimension granulated Algorithm,DGA)和负载均衡算法GPL(the algorithm of Grouping method based on prefix length,GPL)的DGPL策略(dimensional granulation and strategy of grouping method based on load estimation,DGPL),从而完成对高维复杂数据特征属性的准确捕捉,并解决数据划分中结点负载不均衡问题;其次,提出基于PJPFP-Tree树的频繁项集并行挖掘策略PARM(Parallel Association Rules Mining Algorithm,PARM),来实现频繁项集的并行化分组过程,提升算法的整体速率;最后,针对候选剪枝策略,提出基于剪枝前缀推论PPL(pruning prefix lemma)的整合结点剪枝算法PJPFP(Pruning JFP-growth Algorithm,PJPFP),来提高频繁项集挖掘过程中的剪枝效率,增强频繁项集的紧凑化程度,进一步提升算法总体的挖掘效率。理论分析与实验结果共同表明,PARDG-MR算法不仅有效克服了高维数据在挖掘过程中的瓶颈,而且在内存消耗和挖掘效率上都有了极大的提高。针对基于MapReduce框架的Apriori关联规则挖掘算法产生候选项集较长、算法执行效率低等问题,以及大数据环境中数据快速更新造成增量处理等缺陷进行了研究,提出了一种基于项集动态加权的增量挖掘算法WDU-Apriori(weighted dynamic updating-Apriori)。首先该算法提出W-DPC(weighted dynamic passes combiner)机制作为其候选项集的结合方式,有效提高算法在大数据环境下的适应能力;其次对于新来的增量数据,设计了WBI(weighted border itemsets)策略,用于生成加权边界项集,以改进对于增量数据的挖掘效率;最后构建了CTP(calculate transform probability)方法,用于量化阈值边界项集变为频繁项集的可能性,这对先前的挖掘结果有了更高效的应用,降低节点负载的同时也解决了原始数据集扫描次数较多的问题。理论分析与实验结果共同表明,WDU-Apriori算法不仅有效提高了挖掘效率,平衡了每一个阶段的工作量,同时也有效降低了算法的时间复杂度。

关键词：频繁项集候选项集高维数据增量数据并行化

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于密度的增量数据谱聚类方法研究

基于密度的增量数据谱聚类方法研究

作者：王若南哈尔滨工程大学

学位级别：硕士

聚类分析是数据挖掘和机器学习研究领域的一个重要的分支,是人们探索事物内在规律的有效工具。谱聚类是聚类算法之一,它将数据集中的数据对象转化为图中的顶点。谱聚类算法以谱图划分理论为基础,把对数据集的聚类问题转化为对图的最优... 详细信息

聚类分析是数据挖掘和机器学习研究领域的一个重要的分支,是人们探索事物内在规律的有效工具。谱聚类是聚类算法之一,它将数据集中的数据对象转化为图中的顶点。谱聚类算法以谱图划分理论为基础,把对数据集的聚类问题转化为对图的最优划分问题,使子图内部相似度最大,而子图之间的相似度最小。与传统聚类算法相比,谱聚类算法不仅思想简单易懂,操作简单,同时还克服了传统算法容易陷入局部最优解的缺点,可以收敛到全局的最优解。传统谱聚类算法首先定义一个相似性度量,然后基于此度量构造出相似矩阵W,将相似矩阵W转化为合适的Laplacian矩阵L,由Laplacian矩阵的特征值和相应的特征向量,选择一个或者多个特征向量进行聚类。本文的具体研究内容如下:首先,本文在经典切割准则的基础上引入了平均密度,提出了基于平均密度的最小最大切割准则(MDcut),并从理论上证明了MDcut的相关性质。由于高斯核函数不能全面的描述数据之间的相似关系,因此本文通过构造一种新的相似性度量,提出了一种基于密度的谱聚类方法(DSC)。将该方法与三种常用的聚类方法在五个UCI数据集上进行对比实验。实验结果表明,该方法不仅能有效地描述数据之间的相似性,还大大提高了聚类效果。为了处理增量数据,本文定义了基于密度的增量数据谱聚类方法。对于静态数据集,不需要考虑新增加的数据对象对已有数据对象的密度的影响,但是对于动态数据集来说,当有新的数据对象进入数据集,可能会对数据集中一些数据对象的密度产生影响。因此本文在高斯核函数的基础上,构造了基于密度变化的相似性度量。在该度量的基础上,通过考虑新增的数据对象对原数据集的特征值以及相似度的影响,提出了一种基于特征值变化的谱聚类方法。将该方法与两种谱聚类方法进行对比实验,实验结果证明该方法不仅可以应用于增量数据,还可以对增量数据进行有效的聚类。

关键词：谱聚类密度增量数据相似度

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

复杂仿真增量数据可视化中的降维研究

系统仿真学报 2013年第10期25卷 2278-2284页

作者：李惠君张利辉刘雪飞唐勇中国环境管理干部学院信息工程系秦皇岛066012 燕山大学电气工程学院秦皇岛066004 燕山大学信息工程学院秦皇岛066004

降维是复杂仿真数据可视化中一个重要环节,它解决了特征提取问题。但由于复杂仿真数据结构复杂、往往呈非线性特点,无法采用传统的线性方法进行降维。提出了一种全新的基于流形学习的复杂仿真数据降维方法,并在对常用流形学习降维方法... 详细信息

降维是复杂仿真数据可视化中一个重要环节,它解决了特征提取问题。但由于复杂仿真数据结构复杂、往往呈非线性特点,无法采用传统的线性方法进行降维。提出了一种全新的基于流形学习的复杂仿真数据降维方法,并在对常用流形学习降维方法分析的基础上,给出了局部切空间排列算法的基于核方法的改进,使之能够进行仿真增量数据可视化中的降维。最终经试验验证该方法切实有效。

关键词：流形学习降维增量数据复杂仿真

在线全文

学校读者我要写书评

暂无评论

一种符号型增量数据标签算法

计算机科学 2015年第6期42卷 223-227页

作者：李艳红李德玉王素格山西大学计算机与信息技术学院太原030006 计算智能与中文信息处理教育部重点实验室太原030006

数据标签是一种提高增量数据聚类效率的简单而有效的方法。数据标签就是分配每个新增数据点到与之最相似的簇的过程。符号数据分析的难点之一在于缺少一种恰当的方法来定义数据点与数据簇之间的相似性。为此,将簇代表定义为簇中所有属... 详细信息

数据标签是一种提高增量数据聚类效率的简单而有效的方法。数据标签就是分配每个新增数据点到与之最相似的簇的过程。符号数据分析的难点之一在于缺少一种恰当的方法来定义数据点与数据簇之间的相似性。为此,将簇代表定义为簇中所有属性的属性值及其在簇中的频率构成的列表,用信息熵的变化来定义"点-簇"不相似性。基于此不相似性度量,设计了一个符号型增量数据标签算法来分配无标记数据到恰当的簇。在公开数据集和文本语料上的对比实验表明,该数据标签算法不但数据标记精度高、时间开销小,而且有较好的可伸缩性。

关键词：聚类数据标签增量数据符号数据信息熵

在线全文

学校读者我要写书评

暂无评论

基于缓冲区技术的增量数据关联规则挖掘算法

辽宁工业大学学报（自然科学版） 2020年第2期40卷 71-74页

作者：刘雯婷周军辽宁工业大学电子与信息工程学院辽宁锦州121001

利用传统的FP-tree算法对增量数据进行挖掘,需要多次建树,效率较低。CAN-tree算法虽避免了多次建树,但当数据增量改变时,需多次更新树,并且伴随有数据丢失的现象发生。针对以上问题,提出了一种基于缓冲区技术的增量数据关联规则挖掘算法... 详细信息

利用传统的FP-tree算法对增量数据进行挖掘,需要多次建树,效率较低。CAN-tree算法虽避免了多次建树,但当数据增量改变时,需多次更新树,并且伴随有数据丢失的现象发生。针对以上问题,提出了一种基于缓冲区技术的增量数据关联规则挖掘算法,算法利用缓冲区技术避免数据丢失的情况发生,有效提高关联规则的挖掘效率,实验结果表明算法是有效的。

关键词：增量数据关联规则缓冲区

基于增量数据的电网高影响疑似火点识别研判关键技术研究与应用

在线全文

学校读者我要写书评

暂无评论

基于增量数据的电网高影响疑似火点识别研判关键技术研究与应用

并行OLTP系统中增量数据的自动分片技术研究

第三届智能电网会议——智能用电

作者：王明军白晓龙王克山于学魁孙晓刚国网威海供电公司山东鲁能软件技术有限公司

气象灾害是破坏电网系统稳定的重要原因之一,给电网设施造成了严重的危害和损失1,基于增量数据的电网高影响疑似火点智能识别关键技术研究,以高空间分辨率、高观测频次和高时效观测的静止气象卫星数据为主,以多颗极轨卫星数据为辅,融合... 详细信息

气象灾害是破坏电网系统稳定的重要原因之一,给电网设施造成了严重的危害和损失1,基于增量数据的电网高影响疑似火点智能识别关键技术研究,以高空间分辨率、高观测频次和高时效观测的静止气象卫星数据为主,以多颗极轨卫星数据为辅,融合卫星遥感火点数据、气象监测和预报预警数据、电网空间地理信息及应急资源等数据于一体,可以快速获取火点位置、面积、温度等火情信息,实时跟踪山火火场动态发展变化,估算火场蔓延速度和方向以及确定火场类型,同时匹配电网GIS平台、精细化近地面层风场实况和预报,显著提高电网高影响火点监测识别与跟踪能力。

关键词：电网疑似火点增量数据高影响分析山火分析研判预报预警

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

计算机科学与探索 2013年第9期7卷 800-810页

作者：王晓燕陈晋川杜小勇范旭中国人民大学信息学院北京100872 鲁东大学信息与电气工程学院山东烟台264025 教育部数据工程与知识工程重点实验室北京100872

近年来,由于数据规模的急剧增长,越来越多的大型应用系统被部署到分布式环境中,它们需要通过数据分片技术,将原有数据集和新增加的数据审慎地划分到不同的节点上,来优化并行联机事务处理(on-line transaction processing,OLTP)系统的性... 详细信息

近年来,由于数据规模的急剧增长,越来越多的大型应用系统被部署到分布式环境中,它们需要通过数据分片技术,将原有数据集和新增加的数据审慎地划分到不同的节点上,来优化并行联机事务处理(on-line transaction processing,OLTP)系统的性能。针对系统中已有的静态数据和新生成的增量数据,提出了一种新的数据分片策略——数据表依赖分片策略(table dependency partitioning strategy,TDPS)。该策略首先根据数据表之间的相互依赖关系,对初始数据进行划分。当有新的数据到达时,它会自动将每个数据片段分配到最相关的数据分区中。使用TPC-C测试基准进行了一系列的实验,实验结果显示,与以前的方法相比,TDPS策略可以有效地提高系统性能。

关键词：数据划分联机事务处理(OLTP) 增量数据