检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于数据分区的OPTICS聚类算法

传感器与微系统 2022年第10期41卷 103-107页

作者：周传华鲁勇于猜中国科学技术大学计算机科学与技术学院安徽合肥230026 安徽工业大学管理科学与工程学院安徽马鞍山243002

针对OPTICS算法存在着对于密度不均匀以及高维数据聚类效果差的问题,提出了基于数据分区的OPTICS聚类算法(DP-OPTICS)。该方法计算所有样本点的K距离(K-dist)值,用改进的K均值算法对K-dist值进行单维度聚类,并依据肘图拐点的位置调整K... 详细信息

针对OPTICS算法存在着对于密度不均匀以及高维数据聚类效果差的问题,提出了基于数据分区的OPTICS聚类算法(DP-OPTICS)。该方法计算所有样本点的K距离(K-dist)值,用改进的K均值算法对K-dist值进行单维度聚类,并依据肘图拐点的位置调整K值大小,以此实现数据分区;在分区内用OPTICS算法进行局部聚类,最后按一定规则将数据分区合并。选取多个不平衡人工数据集和UCI数据集进行对比实验,实验结果表明:改进的算法是切实可行的,明显提升了OPTICS算法对于数据密度不均匀问题的聚类质量,并且对高维数据也有着较好的处理能力,具有很强的鲁棒性。

关键词：聚类数据分区 OPTICS算法 K距离

在线全文

学校读者我要写书评

暂无评论

基于数据分区的云计算高维数据均衡分流

济南大学学报（自然科学版） 2022年第1期36卷 74-79页

作者：张露尚艳玲河南师范大学计算机与信息工程学院河南新乡453007 安阳职业技术学院电大工作部河南安阳455000 南京工程学院自动化学院江苏南京211167

针对当前分流策略无法应对高维数据的冗余度、复杂性以及动态变化,为了有效提升云计算高维数据的分流精度与分流效率,以云计算环境下高维数据为研究对象,提出基于数据分区的云计算高维数据均衡分流方法;通过分析高维数据分布特性,明确... 详细信息

针对当前分流策略无法应对高维数据的冗余度、复杂性以及动态变化,为了有效提升云计算高维数据的分流精度与分流效率,以云计算环境下高维数据为研究对象,提出基于数据分区的云计算高维数据均衡分流方法;通过分析高维数据分布特性,明确分区维度、数量以及边界,利用峰间低谷部分中任意点的对应扫描线,完成高维数据分区;采用构建的数据特征提取策略提取高维数据特征,经迭代更新数据聚类中心,实现高维数据均衡分流;通过模拟实验,以数据流标准方差与数据流比例标准方差为指标,验证数据流分流质量与负载均衡效果。结果表明,云计算高维数据均衡分流方法的数据流比例标准方差较小,具有较高的数据分流精度和效率。

关键词：数据分区云计算高维数据均衡分流特征提取聚类中心

在线全文

学校读者我要写书评

暂无评论

面向查询优化的数据参考分区方法研究

面向查询优化的数据参考分区方法研究

作者：成滋桐哈尔滨工业大学

学位级别：硕士

在互联网的普及和发展过程中,数据规模迅速增大,分布式数据库和并行数据计算框架逐渐兴起。并行数据库系统水平分区大量结构化数据,以便为分析工作负载提供并行数据处理能力。当对大量数据进行水平分区时,一个主要的挑战是:分区后执行... 详细信息

在互联网的普及和发展过程中,数据规模迅速增大,分布式数据库和并行数据计算框架逐渐兴起。并行数据库系统水平分区大量结构化数据,以便为分析工作负载提供并行数据处理能力。当对大量数据进行水平分区时,一个主要的挑战是:分区后执行查询时网络传输数据量低的同时,控制分区带来的数据冗余的额外存储成本。因此使用可扩展、高效的水平数据库分区方法是很重要的。而目前的分区算法大多数只考虑了网络传输代价,忽略了数据冗余所带来的存储代价。因此本文在综合考虑网络传输成本和存储成本的基础上,设计面向查询优化的数据参考分区算法。首先,本文研究了先进的基于谓词的参考分区算法(PREF),为了避免PREF暴力搜索最优解以及其带来巨额的级联冗余,本文设计与实现了基于贪心策略的分区算法。在尽量小地影响分区数据本地性的情况下,降低因参考分区带来的级联冗余。但是该方法一直在寻找的是局部最优解,对于图中顶点度数相差不多的表连接图该算法具有很大的随机性,且其不满足最优子结构特性,因此可能无法获得全局的最优解。其次,由于上述原因和PREF在数据库模式复杂的情况下,寻找最优解的时间过长。本文将问题映射到遗传算法模型中解决。提出并实现了模式驱动的遗传分区算法和工作负载驱动的遗传分区算法,综合考虑网络代价和存储代价,采用概率化的寻优方法找到最优解。在工作负载驱动的遗传分区算法中,考虑到分区策略的负载均衡性,本文统计了各个候选分区属性的一些统计特征,然后将这些统计特征纳入代价计算中,影响最终的分区方案。最后,为了评估分区算法的性能,本文研究在Spark SQL上进行分区的方法,并且在Spark SQL环境下,实现了数据分区和加载的算法。同时,为了保证冗余元组的产生后在分区数据上的查询正确性,研究和设计了Spark SQL上基于参考分区的查询处理算法。然后比较了多个分区配置的数据加载时间、分区冗余度、查询执行时延等相关性能指标,通过分析实验结果验证本文提出的算法的有效性。

关键词：数据分区查询优化分布式数据库

一种分布式异构带宽环境下的高效数据分区方法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机研究与发展 2020年第12期57卷 2683-2693页

作者：马卿云季航旭赵宇海毛克明王国仁东北大学计算机科学与工程学院沈阳110169 东北大学软件学院沈阳110169 北京理工大学计算机学院北京100081

在分布式大数据处理框架的作业运行过程中,会有大量的数据通过网络传输,数据在各节点之间传输所需的时间已成为作业运行的主要开销之一.在节点异构带宽的情况下,因为带宽瓶颈节点的存在,传统的数据分区方法效率低下.针对这个问题,建立... 详细信息

在分布式大数据处理框架的作业运行过程中,会有大量的数据通过网络传输,数据在各节点之间传输所需的时间已成为作业运行的主要开销之一.在节点异构带宽的情况下,因为带宽瓶颈节点的存在,传统的数据分区方法效率低下.针对这个问题,建立了节点间的数据传输模型,该模型以降低数据传输时间为目标,根据各节点的上下行带宽和初始数据量大小,计算出各节点的最优数据分发比例.以该模型为基础,设计了基于带宽的数据分区方法,该数据分区方法使得各节点按最优数据分发比例来分配数据.最后在Apache Flink框架中将基于带宽的数据分区方法进行了实现,并通过实验进行了验证.实验结果表明:异构带宽条件下,基于带宽的数据分区方法可以有效减少数据分区所需的时间.

关键词：数据分区 Apache Flink 负载均衡异构带宽分布式系统

非结构化云数据管理系统不稳定数据分区识别算法

在线全文

学校读者我要写书评

暂无评论

华南理工大学学报（自然科学版） 2019年第8期47卷 105-112页

作者：郑美光杨姣常成龙胡志刚中南大学计算机学院

在大数据背景下,非结构化云数据管理系统中数据节点需要处理不断膨胀的原始数据、索引数据和中间数据,“数据膨胀”将显著增加云数据管理系统的时间和能耗等各类开销.为降低非结构化数据管理系统因数据频繁移动而导致的数据传输开销,文... 详细信息

在大数据背景下,非结构化云数据管理系统中数据节点需要处理不断膨胀的原始数据、索引数据和中间数据,“数据膨胀”将显著增加云数据管理系统的时间和能耗等各类开销.为降低非结构化数据管理系统因数据频繁移动而导致的数据传输开销,文中提出了一种不稳定数据分区的识别算法.首先面向非结构化数据管理系统,通过引入云模型理论对存储系统中的数据分区进行云建模,识别出不稳定的数据分区,然后调用相关算法对其进行重新布局.实验结果显示,不稳定数据分区识别算法可以有效地识别出不稳定的数据分区,对其重新布局后,降低数据传输开销的效果显著.

关键词：大数据云模型数据分区数据传输不稳定分区

在线全文

学校读者我要写书评

暂无评论

面向分布式数据库的算子并行优化策略

西北工业大学学报 2024年第3期42卷 453-459页

作者：刘文洁吕靖超西北工业大学计算机学院陕西西安710072

随着网络技术的不断发展,数据规模呈现爆发式增长,使得传统的单机数据库逐步被分布式数据库所取代。分布式数据库采用节点协同工作方式解决了大规模数据存储问题,但由于增加了节点间通信开销,查询效率却不如单机数据库。分布式架构下,... 详细信息

随着网络技术的不断发展,数据规模呈现爆发式增长,使得传统的单机数据库逐步被分布式数据库所取代。分布式数据库采用节点协同工作方式解决了大规模数据存储问题,但由于增加了节点间通信开销,查询效率却不如单机数据库。分布式架构下,存储节点的数据仅用作多备份的冗余,为系统故障时提供数据恢复,并未被利用起来改善查询效率。针对上述问题,提出了一种面向分布式数据库的算子并行优化策略,通过对关键物理算子进行拆分,将拆分后的子请求均匀分配到存储层多个节点,由多个节点并行处理,从而减少查询响应时间。上述策略已经在分布式数据库CBase上进行了应用,实验表明,提出的并行优化策略可显著缩短SQL请求查询时间,并提高系统资源利用率。

关键词：分布式数据库并行查询查询优化负载均衡数据分区

在线全文

学校读者我要写书评

暂无评论

数据分区在地学空间数据查询中的应用

计算机应用 2010年第12期30卷 148-151页

作者：孙雷刚周可法张楠楠许文强中国科学院新疆生态与地理研究所乌鲁木齐830011 中国科学院研究生院北京100049

通过研究Oracle Spatial对空间数据的存储管理机制,提出使用数据分区技术来优化地学空间数据的空间查询性能。在详细介绍数据分区原理基础之上,结合实际应用,以范围分区为例,分别对常规表和分区表进行了空间查询测试,并对实验结果进行... 详细信息

通过研究Oracle Spatial对空间数据的存储管理机制,提出使用数据分区技术来优化地学空间数据的空间查询性能。在详细介绍数据分区原理基础之上,结合实际应用,以范围分区为例,分别对常规表和分区表进行了空间查询测试,并对实验结果进行了反复的对比分析。研究表明,数据分区在提高地学空间数据的空间查询速度方面效果显著。

关键词： Oracle Spatial 数据分区空间数据空间查询

面向结构化数据的数据湖存取性能优化技术研究

在线全文

学校读者我要写书评

暂无评论

面向结构化数据的数据湖存取性能优化技术研究

作者：陈元北方工业大学

学位级别：硕士

随着大数据应用的深入和发展,数据湖正成为一种大数据背景下更加灵活、可扩展的数据存储和处理方案。数据湖的出现是为了解决传统数据仓库以及Hadoop为代表的大数据体系无法有效地存储和灵活处理大规模多样化数据的问题。数据湖架构灵... 详细信息

随着大数据应用的深入和发展,数据湖正成为一种大数据背景下更加灵活、可扩展的数据存储和处理方案。数据湖的出现是为了解决传统数据仓库以及Hadoop为代表的大数据体系无法有效地存储和灵活处理大规模多样化数据的问题。数据湖架构灵活不需要提前对数据进行模式定义,支持多种数据分析和处理工具,其中数据的存取是数据湖的关键基础。同时数据湖可以存储各种类型的数据,包括结构化数据、半结构化数据和非结构化数据,而其中结构化数据仍是当前企业业务应用的核心。因此本文聚焦于数据湖在结构化数据的存取性能优化问题,包括高基数字段及复杂逻辑等问题对结构化数据写入数据湖带来的性能挑战,以及数据湖查询中扫描数据块过多等带来的查询性能挑战。围绕数据湖应用背景下海量数据的高性能存取需求,以新型数据存储模型和分布式存储及缓存机制为目标,通过对数据湖存储结构、数据访问模式和数据处理方法进行分析,开展数据湖存取性能优化问题研究。具体工作包括:首先对数据湖中常用的批处理和流处理这两种数据访问模式进行分析,并针对这两种访问模式中的数据分布不均和结果缓存利用率低问题,提出一种基于数据分区和缓存机制的访问优化方案,该方案结合数据湖系统中的文件系统存储方式,设计了一种基于列式存储的数据存储结构,根据不同业务场景和不用硬件情况利用哈希算法进行数据分布,使用LRU算法来管理缓存结果,能够提高数据访问的效率和稳定性,并通过索引优化技术和预处理方式提高数据访问速度。其次,针对数据湖在大规模数据情况下的更新和增量计算耗时过长问题,从改进大数据Shuffle机制下数据倾斜角度,提出了一种频繁元素预测再分配算法。数据计算中数据块合并慢问题也是影响性能的关键因素,提出了一种分位数合并算法。根据这两种算法提出了基于Spark并行计算和HDFS分布式存储的数据处理方案,能够提高数据处理的速度和可靠性。实验结果表明,本文提出的数据湖存取性能优化技术相对于现有方法能够有效的提高数据的存储、访问和处理效率。最后,基于上述研究结果,重点结合OLAP中的商业化报表应用场景,并利用Spark技术、分布式文件系统,在Hudi数据湖开源软件基础上,本文设计并实现了一个支持存取性能优化的数据湖平台原型系统。实验结果表明,该系统满足商业化报表场景的离线写入需求、平均查询性能在5秒以内,QPS达到500。

关键词：数据湖存取性能数据分区并行计算索引优化

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

应用驱动的基于流式框架的实时数据分区算法

计算机应用研究 2018年第4期35卷 1135-1141,1178页

作者：康宏郭蒙雨袁晓洁南开大学计算机与控制工程学院天津300350

数据分区技术是改善基于shared-nothing架构的大型应用性能的重要手段。当前的数据分区技术无法高效处理应用负载所蕴涵的动态、大规模分区信息,无法即时生成分区策略。为了解决传统数据库分区技术面临的问题,实现分区的实时处理,提出... 详细信息

数据分区技术是改善基于shared-nothing架构的大型应用性能的重要手段。当前的数据分区技术无法高效处理应用负载所蕴涵的动态、大规模分区信息,无法即时生成分区策略。为了解决传统数据库分区技术面临的问题,实现分区的实时处理,提出了与流式框架相结合的实时数据分区算法,通过构建关联矩阵映射分区信息,并基于代价模型实现数据分区方案的即时生成,采用流式框架的水平扩展机制实现了算法的高扩展性和高吞吐量适应性。实验结果表明,与现有分区方法相比,算法有较好的分区效果和较低的时间复杂度。该算法是大数据环境下针对大规模、动态工作负载进行实时数据分区的有效手段。

关键词：负载驱动数据分区流式框架