检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于分区抽样的近似查询处理方法研究

基于分区抽样的近似查询处理方法研究

作者：周云亮北方工业大学

学位级别：硕士

近年来数据量的快速增长使得更多的用户选择使用基于大规模分布式存储架构的应用系统来存储数据。由于数据规模大,准确查询分析这些数据并及时返回结果仍然是不小的技术挑战。通过使用近似查询处理方法,可以牺牲一部分查询结果的准确性... 详细信息

近年来数据量的快速增长使得更多的用户选择使用基于大规模分布式存储架构的应用系统来存储数据。由于数据规模大,准确查询分析这些数据并及时返回结果仍然是不小的技术挑战。通过使用近似查询处理方法,可以牺牲一部分查询结果的准确性,获取更快的查询响应。基于行级别抽样的方法是最常见的近似查询处理方法。这种方法直接应用在分布式存储环境下,会导致几乎全部分区都需要被读取,存在读取数据延迟过高的问题。而如果直接按分区进行随机抽样,又会由于样本不具有代表性,导致查询误差较高。为此,本文基于分区抽样思路,研究了基于分区聚类和机器学习算法的分区选择和近似查询方法,主要研究内容如下:(1)为了解决大数据环境下分区随机抽样方法带来的查询精度不足问题,提出基于分区聚类的近似查询方法。该方法分为离线预处理和在线计算两个阶段。离线预处理主要计算并保存分区特征信息。在线查询时,首先使用选择性估计跳过不参与查询的分区,其次利用分区特征信息进行分区聚类,再通过分区随机抽样方法进行在线近似查询。使用基于TPC-H标准数据集进行了聚合查询效果验证。实验结果表明,与随机抽样相比,该方法的查询相对误差降低了7%至10%,在读取少于20%的数据时就可以达到低于5%的查询误差。同时,数据集各分区预计算特征的所占用的存储空间小于数据集空间的0.04%。(2)针对分区聚类无法捕捉分区对查询的贡献度的问题,提出基于机器学习算法的分区样本选择方法。该方法基于历史查询执行信息,为每一类查询使用机器学习方法预训练模型并存储。模型训练使用查询结果和分区特征信息作为输入,以查询所对应的最佳分区选择作为输出。实验结果表明,相比于直接使用基于分区聚类的近似查询方法,该方法能够进一步降低2%-5%的查询误差。(3)基于上述研究成果,设计并实现了近似查询原型系统。介绍了系统的整体架构和关键模块的实现,展示了系统运行情况,验证了系统的有效性。

关键词：近似查询处理分区抽样特征计算聚类

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于条件生成模型的高效近似查询处理框架

浙江大学学报（工学版） 2022年第5期56卷 995-1005页

作者：白文超韩希先王金宝哈尔滨工业大学计算机科学与技术学院山东威海264201

提出新型的近似查询处理方法,以克服近似查询处理任务中数据偏斜所导致的查询准确率低的问题.该方法以条件生成对抗神经网络为基础,融入条件变分自编码器,保证算法执行的稳定性,提高模型准确率;使用Wasserstein距离衡量模型误差,防止模... 详细信息

提出新型的近似查询处理方法,以克服近似查询处理任务中数据偏斜所导致的查询准确率低的问题.该方法以条件生成对抗神经网络为基础,融入条件变分自编码器,保证算法执行的稳定性,提高模型准确率;使用Wasserstein距离衡量模型误差,防止模型坍塌.基于该条件生成模型实现近似查询处理,回答用户查询而无须访问底层数据,避免磁盘交互,并与聚集预计算相结合,构成高效的近似查询处理框架,能更加准确、快速地回答交互式查询.设计高效的表决算法,对模型生成的样本以及样本内部数据进行过滤,提高生成的样本质量,最小化查询误差.实验结果表明,与其他近似查询处理算法相比,该方法可以有效克服数据偏斜的影响,同时能够在更短的交互时间内更加准确地回答用户查询.

关键词：条件生成对抗网络条件变分自编码器近似查询处理聚集预计算数据偏斜

在线全文

学校读者我要写书评

暂无评论

基于深度自回归模型的近似查询处理方法

计算机应用 2023年第7期43卷 2034-2039页

作者：岑黎彬李靖东林淳波王晓玲华东师范大学计算机科学与技术学院上海200062 华为技术有限公司高斯实验室上海201206

聚合函数的近似查询处理(AQP)是近年来数据库领域的研究热点。针对现有的近似查询技术存在查询响应时间长、存储开销大、不支持多谓词查询等问题,提出一种基于深度自回归模型的AQP方法DeepAQP(Deep Approximate Query Processing),利用... 详细信息

聚合函数的近似查询处理(AQP)是近年来数据库领域的研究热点。针对现有的近似查询技术存在查询响应时间长、存储开销大、不支持多谓词查询等问题,提出一种基于深度自回归模型的AQP方法DeepAQP(Deep Approximate Query Processing),利用深度自回归模型对表中多列数据的联合概率分布进行学习和建模,以估计给定查询的谓词选择度和目标列概率分布,以促进单表下多谓词聚合函数近似查询请求的有效处理。在TPC-H和TPC-DS数据集上进行实验,结果表明,与基于采样的VerdictDB方法相比,DeepAQP在查询响应时间和存储空间开销上均降低了2到3个数量级;与基于传统机器学习模型的DBEst++方法相比,DeepAQP的查询响应时间降低了1个数量级,显著降低了模型训练耗时,并且可以处理DBEst++所不支持的多谓词查询请求。可见,DeepAQP兼顾了查询精度和速度,并显著降低了算法在训练和存储上的开销。

关键词：近似查询处理自回归模型多谓词查询深度学习聚合函数

在线全文

学校读者我要写书评

暂无评论

基于机器学习的数据库近似查询处理

基于机器学习的数据库近似查询处理

作者：林淳波华东师范大学

学位级别：硕士

在大数据时代,数据库的查询功能日益得到重视,对大规模数据集进行查询和分析成为了数据库必备的功能之一。聚合函数和窗口函数作为数据库重要的功能存在已达数十年之久,并且随着数据分析需求不断增长,聚合函数和窗口函数的应用日益广泛... 详细信息

在大数据时代,数据库的查询功能日益得到重视,对大规模数据集进行查询和分析成为了数据库必备的功能之一。聚合函数和窗口函数作为数据库重要的功能存在已达数十年之久,并且随着数据分析需求不断增长,聚合函数和窗口函数的应用日益广泛。聚合函数可以处理较为简单的分析型需求,而窗口函数更是可以借助其简洁却表达能力强的语法处理更为复杂的查询。然而,随着数据规模的不断增大,聚合函数和窗口函数在传统数据库中的实现已无法满足数据分析实时性的要求。针对这一问题,目前已有许多工作摒弃了传统基于精确查询的方法,转而使用近似计算来处理聚合函数和窗口函数,尽管牺牲了一定的精度,但是非常有效地减少了查询响应时间。然而目前这些工作仍存在诸多缺陷,如查询响应时间提升有限、支持的查询种类较少、存储空间开销较大等。因而,本文针对这些缺陷,为窗口函数和聚合函数分别提出了基于机器学习的近似查询框架:WFApprox和DeepAQP。WFApprox利用密度估计器和回归模型,为多个窗口函数和窗口函数语法提供了高效的近似查询支持;DeepAQP则使用深度学习模型Masked Autoencoder（缩写为MADE）建模数据库表的数据分布,并利用该模型提供高效的聚合函数近似查询。本文主要工作包括如下几个方面:窗口函数近似查询处理传统窗口函数的处理过程会产生大量的磁盘I/O,导致其在大规模数据集上的分析效率较低。本方法利用密度估计器学习数据库表中列的分布情况,并利用回归模型处理列之间的映射,借以高效地处理多种窗口函数查询。实验表明,本方法与对比方法在查询误差接近的情况下在不同数据集规模下取得了最低约2倍、最高约100倍查询响应时间提升。分布感知的模型积分技术在DeepAQP框架中,在完成MADE训练之后,为了从MADE中高效地获取经由谓词筛选后的数据分布情况,本文提出了高效的模型积分技术。利用MADE本身的分布感知能力,将积分过程中的采样点集中于概率密度集中的区域,从而降低采样成本且提升采样精度,进而利用采样结果近似表示分布情况。聚合函数近似查询处理已有聚合函数近似处理的工作或是基于采样的方法,或是基于机器学习模型。然而基于采样的方法在存储空间开销和查询响应时间的提升上仍有提升空间,基于机器学习的方法则支持的查询种类有限。本方法借助MADE精确地建模数据库表的分布情况,并利用分布感知的模型积分技术在查询到来时快速计算对应的数据分布,并利用该数据分布高效地近似处理多谓词查询。此外,针对多表连接查询,本方法利用高效的采样方法获取样本响应查询,随后基于该样本训练MADE以响应后续相同连接模式的查询。实验表明,本方法与对比方法的查询误差在不同谓词条件下各有优劣,总体较为接近,但是却在查询响应时间上有最低10倍的提升,并且在存储空间占用上同样相比对照方法节约了10倍以上。

关键词：窗口函数聚合函数近似查询处理机器学习深度学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

海量数据近似查询处理技术研究

海量数据近似查询处理技术研究

作者：张帅桂林电子科技大学

学位级别：硕士

随着信息技术的快速发展,大数据时代已经到来,各种各样的信息收集系统产生了大量的数据。企业和组织期望从大量数据中获取到有价值的信息,用于商业决策或者探索性分析。海量的数据通常导致精确查询速度缓慢,耗费大量的时间。而在具体的... 详细信息

随着信息技术的快速发展,大数据时代已经到来,各种各样的信息收集系统产生了大量的数据。企业和组织期望从大量数据中获取到有价值的信息,用于商业决策或者探索性分析。海量的数据通常导致精确查询速度缓慢,耗费大量的时间。而在具体的分析业务中,如趋势预测或者事务决策,通常只需要获取大致的发展趋势,并不要求精确的结果,因此,可以将近似查询处理技术应用到这些场景中,以损失一定查询精确度的情况下快速获取分析结果。本文针对近似查询处理技术做了如下的工作:(1)提出了一种基于统计概要和聚类的方法,为分布式平台下单列数据的近似范围查询提供了支持,同时将其推广到分组查询、关联查询和子查询,并建立了基于HDFS和Spark的查询系统。首先,为要进行聚集计算的数据列通过聚类算法建立分组,并统计每个分组的元素数目和中心点,将其作为概要信息存储到文件系统中,在进行查询时,直接使用概要表进行重写。对分组查询,分别对每个分组对应的聚集列建立统计概要,使用概要信息获取最终结果。对于关联查询,首先通过基于Spark的布隆过滤器过滤未连接数据,并且建立非主键连接列的统计概要,将关联查询转换为单表查询。对于子查询,直接使用子查询中所有select语句所对应的表的概要信息完成查询。实验结果表明,与现有方法相比,统计概要方法可有效提升查询速度,并且查询精度较高。(2)改进并拓展了一种基于回归模型和统计概要的方法,在分布式平台下建立了基于多列数据的近似范围查询算法,同时将其推广到了分组查询和关联查询,并建立了基于HDFS和Spark的查询系统。首先使用Spark将数据读入内存。然后分别使用均匀抽样和分层抽样的方法从均匀数据和倾斜数据中获取样本,以范围查询列作为特征,以聚集列作为预测值,建立回归模型,并计算密度函数,以函数积分的方式计算最终范围查询结果。其中范围的上下限作为积分的上下限,若范围查询只给定上限或者下限,则使用聚集列的最大值或最小值代替另一个限值。结合统计概要的方法,可以快速计算在该算法中使用到的列最大值,最小值以及样本总量信息。针对倾斜数据,进行分层抽样以防止出现在分组查询中某些分组太小而导致无法获取到样本从而造成查询缺失的问题。对于关联查询,使用基于统计概要的方法将关联查询转化为单表查询,然后建立数据模型。实验结果表明,与现有方法相比,使用基于模型和统计概要的方法可以有效提升查询速度,并且查询精度较高。

关键词：近似查询处理分布式平台回归模型统计概要聚类关联查询

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于分布感知的近似查询处理技术

基于分布感知的近似查询处理技术

作者：吴涵华东师范大学

学位级别：硕士

在大数据时代,随着数据量的迅猛增长和数据驱动型决策的应用,大规模分析查询变得越来越重要,但在海量数据上计算精确的查询结果代价非常昂贵。近似查询处理(Approximate Query Processing,简称AQP)是一种为SQL查询快速提供近似回答的技... 详细信息

在大数据时代,随着数据量的迅猛增长和数据驱动型决策的应用,大规模分析查询变得越来越重要,但在海量数据上计算精确的查询结果代价非常昂贵。近似查询处理(Approximate Query Processing,简称AQP)是一种为SQL查询快速提供近似回答的技术,它通过降低精确度以换取更快的响应速度。在基于在线采样的AQP技术中,蓄水池和Bernoulli等随机采样方法被广泛应用,但它们通常适用于分布均匀的数据集,而在偏态数据上的表现性能很差。因此,本文为聚合查询提出一种可感知数据分布的在线采样近似框架,结合离线存储的分布统计信息自适应地调用不同采样方法为查询列集生成样本,从而更高效、更准确地回答聚合查询。进一步考虑到传统AQP技术仍然存在许多不足,例如在线AQP技术的查询响应时间较长,离线AQP技术的近似误差较大且占用大量内存空间,本文试图从机器学习角度出发,为范围(Range)查询提出可感知聚合列分布的采样优化方法,并在所获得的样本上训练机器学习模型用于快速回答范围查询和提供误差保证。本文的主要工作和贡献可总结如下:·面向聚合查询,提出基于查询列集分布感知的在线采样AQP技术针对传统采样方法在处理偏态数据集上的聚合查询时性能较差的问题,本文提出可感知查询列集数据分布的在线采样近似框架(Aggregation Queries Approxima-tion,AQapprox)。该框架预先构建离线Map来记录用户感兴趣的属性列集在每个数据分段上的统计信息,并存储对应的非参数统计检验结果;在回答查询时,便根据目标查询列集的分布特征自适应地调用不同采样方法,对每个分段设置不同的采样概率,从而为查询准备质量较好的样本。在真实与合成数据集上的实验结果显示,AQapprox相比于现在最优的近似框架,在聚合查询上的响应速度可提高5.9至64倍,且近似准确度更高。·面向范围查询,提出基于聚合列分布感知的模型驱动AQP技术针对传统AQP技术在近似准确度与查询响应时间等方面的不足,一些应用机器学习方法的AQP技术无法提供误差保证等问题,本文为范围查询提出一个模型驱动的近似处理框架(Range Queries Approximation,RQapprox)。结合对查询工作负载的分析,提出可感知聚合列分布的采样优化方法,在优化样本上训练密度估计器和回归模型用于快速回答查询,并基于分位数回归为近似结果提供预测区间。当底层数据集更新时,设计Dtatistic实时监测聚合列数据分布的变化,以便判断是否需要更新模型。在数据库基准测试标准与真实数据集上的实验结果显示,RQapprox相比于现有最优方法的近似准确度更高,且相比Verdict DB的平均加速可达13.80倍。

关键词：大数据近似查询处理感知分布在线采样机器学习模型 D_statistic

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于大数据多维分析的近似查询处理技术研究

基于大数据多维分析的近似查询处理技术研究

作者：谢金星贵州大学

学位级别：硕士

随着信息技术的蓬勃发展,大数据时代已然降临。越来越多的组织和机构希望从海量数据中挖掘有价值的信息,以支持商业决策和事务决断。多维分析技术可以从多个维度和层次对海量数据进行分析,能为企业提供有力的决策支持服务。进行多维分析... 详细信息

随着信息技术的蓬勃发展,大数据时代已然降临。越来越多的组织和机构希望从海量数据中挖掘有价值的信息,以支持商业决策和事务决断。多维分析技术可以从多个维度和层次对海量数据进行分析,能为企业提供有力的决策支持服务。进行多维分析时,通常需处理大规模数据集,这就要将数据不断加载到内存中,导致即使一个普通的聚集查询,也可能耗费大量的执行时间;并且在具体的业务分析中,常常只需要掌握大体的发展趋势,并不要求完全准确的结果。因此,可以将近似查询处理技术,应用到此类分析场景中。本文主要研究近似查询处理技术。首先针对大数据多维分析中聚集查询效率过低的情况,研究近似查询处理中的抽样技术,在此基础上,提出了基于聚类的分层抽样近似处理技术(CSSAQP);接着利用Hadoop平台和Hive系统设计了一个近似查询处理引擎,该引擎实现了随机抽样、分层抽样以及本文提出的抽样算法;最后通过实验验证了CSSAQP的合理性和有效性。

关键词：大数据多维分析近似查询处理抽样技术近似查询处理引擎

基于分布式内存计算的空间数据近似查询处理方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

测绘学报 2017年第12期46卷 2044-2044页

作者：仇阿根中国测绘科学研究院北京100830

地理数据交互式可视化与空间分析等是地理信息系统（Geographic Information System,GIS）应用的重要功能,而现有的地理空间数据库与地理数据服务标准难以满足实时数据可视化及空间分析的要求。根源在于空间数据库中地理要素的查询结果... 详细信息

地理数据交互式可视化与空间分析等是地理信息系统（Geographic Information System,GIS）应用的重要功能,而现有的地理空间数据库与地理数据服务标准难以满足实时数据可视化及空间分析的要求。根源在于空间数据库中地理要素的查询结果是精确、唯一的;查询时间和数据量只与要素本身相关;查询时地理要素无法根据条件动态生成。

关键词：地理空间数据库近似查询处理分布式数据可视化计算内存地理信息系统空间分析

CSSAQP:一种基于聚类的分层抽样近似查询处理算法

在线全文

学校读者我要写书评

暂无评论

计算机与数字工程 2017年第6期45卷 1121-1126页

作者：谢金星李晖陈梅戴振宇贵州大学先进计算与医疗信息服务工程实验室贵阳550025

近似查询处理技术常被应用于海量数据的多维分析,以缩短查询执行的时间,同时返回尽可能准确的结果。由于海量数据中常存在许多极端值,会严重影响近似查询处理的结果。因此针对海量数据的聚集操作,论文提出CSSAQP算法,先将原始数据集按... 详细信息

近似查询处理技术常被应用于海量数据的多维分析,以缩短查询执行的时间,同时返回尽可能准确的结果。由于海量数据中常存在许多极端值,会严重影响近似查询处理的结果。因此针对海量数据的聚集操作,论文提出CSSAQP算法,先将原始数据集按某一数值列直观的聚为三类,分别代表大值簇、小值簇和常值簇,再对各簇按分组属性分别进行分层抽样,构建总体样本集,最后通过查询重写在总体样本集上执行查询,以缩短海量数据聚集操作的查询时间,同时提高查询任务的准确性。通过实验验证,证明了该算法不仅可以缩短聚集查询的时间,同时还能有效提高查询结果的精度。

关键词：近似查询处理聚集查询聚类分层抽样