检索结果-南通市图书馆

面向聚合查询的Apache IoTDB物理元数据管理

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

软件学报 2023年第3期34卷 1027-1048页

作者：赵东明邱圆辉康瑞宋韶旭黄向东王建民清华大学软件学院北京100084 大数据系统软件国家工程研究中心(清华大学) 北京100084 北京信息科学与技术国家研究中心(清华大学) 北京100084

时间序列数据在能源、制造、金融、气候等领域有着广泛应用,聚合查询是相关分析场景中常见的查询需求,快速获取海量数据的概要信息,对于提高数据分析工作的效率具有重要意义.通过存储元数据加速聚合查询是一种有效的提升聚合查询执行效... 详细信息

时间序列数据在能源、制造、金融、气候等领域有着广泛应用,聚合查询是相关分析场景中常见的查询需求,快速获取海量数据的概要信息,对于提高数据分析工作的效率具有重要意义.通过存储元数据加速聚合查询是一种有效的提升聚合查询执行效率的手段,但现有的时间序列数据库都使用时间窗口切分数据,需要对数据进行实时排序和分区,难以适应物联网场景下高并发、大吞吐量的数据写入特点.因此,提出了一种面向聚合查询的ApacheIoTDB物理元数据管理方案.该方案按照数据文件的物理存储特性切分数据,并结合同步计算和异步计算策略,优先保证数据的写入性能.针对时间序列数据中普遍存在的乱序数据,将时间范围重叠的一组文件抽象为乱序文件组并提供元数据,聚合查询会被重写为3个结合物理元数据和原始数据的子查询高效执行.多个数据集上的实验验证了该方案对聚合查询执行效率的提升效果以及不同计算策略对性能的影响.

关键词：预聚合聚合查询查询重写物理元数据管理时间序列数据库

在线全文

学校读者我要写书评

暂无评论

基于两阶段分层抽样的近似聚合查询方法

数据采集与处理 2022年第5期37卷 1049-1058页

作者：房俊赵博左昌麒北方工业大学信息学院北京100144 大规模流数据集成与分析技术北京市重点实验室(北方工业大学) 北京100144

以数据仓库应用为代表的交互式查询分析技术为智能决策提供了支持。随着数据规模的不断增大,准确计算聚合查询结果往往需要全局数据扫描,使得这类查询面临着实时响应能力不足的问题。基于预先抽取的样本数据,复杂聚合查询提供快速的近... 详细信息

以数据仓库应用为代表的交互式查询分析技术为智能决策提供了支持。随着数据规模的不断增大,准确计算聚合查询结果往往需要全局数据扫描,使得这类查询面临着实时响应能力不足的问题。基于预先抽取的样本数据,复杂聚合查询提供快速的近似答案,在许多场景下是解决该问题的可行方案。分析了分层抽样优于随机抽样的具体条件,提出了一种两阶段分层抽样方法。首先针对业务特征进行分组,每个分组中使用随机抽样方法进行随机抽样,并评估其抽样效果。再针对抽样效果较差的分组,利用自组织特征映射网络(Self-organizing feature mapping,SOM)对数值进行聚类分组,改进其近似查询效果。基于公开数据集和实际电网数据的实验结果表明:本文方法相比于随机抽样、分层随机抽样以及国会抽样算法在相同抽样率下可达到15%的性能提升;与使用K-means、基于密度的聚类算法(Density-based spatial clustering of applications with noise,DBSCAN)等聚类方法相比,自SOM具有较好的近似查询结果。

关键词：聚合查询分层抽样 SOM聚类预计算近似查询

在线全文

学校读者我要写书评

暂无评论

基于关键字的RDF聚合查询研究

计算机应用与软件 2023年第1期40卷 53-59,128页

作者：马晓芳杨卫东复旦大学计算机科学与技术系上海201203

目前RDF数据上关键字查询转换为结构化语句的算法主要支持对于一般图元素的查询,而无法转换为包含聚合操作的结构化语句。关键字存在大量候选解释,且可能同时匹配聚合操作或图元素,这导致查询中聚合意图的理解非常困难。对此,提出将关... 详细信息

目前RDF数据上关键字查询转换为结构化语句的算法主要支持对于一般图元素的查询,而无法转换为包含聚合操作的结构化语句。关键字存在大量候选解释,且可能同时匹配聚合操作或图元素,这导致查询中聚合意图的理解非常困难。对此,提出将关键字查询自动转换为可能包含聚合操作的SPARQL语句的算法。算法对SPARQL所支持的聚合操作进行分类,获得关键字与聚合类别的匹配字典,进行关键字映射,计算关键字可能指示聚合意图的概率,确定候选查询解释,并利用模式图获得查询意图,设计意图分数计算方法和查询转换算法,得到对应的查询语句。LUBM和DBLP数据集上的实验验证了算法的有效性和准确性。

关键词：关键字查询 RDF SPARQL查询生成聚合查询

在线全文

学校读者我要写书评

暂无评论

基于抽样的电能质量大数据聚合查询方法研究

基于抽样的电能质量大数据聚合查询方法研究

作者：赵博北方工业大学

学位级别：硕士

电能质量数据随电网运行而持续产生,对电能质量数据的聚合查询是了解电网电能质量状态的重要手段。电能质量数据具有数据量大、维度高等特点,获取精确查询结果往往时延较大,无法满足电网交互式查询的需求。为此,电能质量大数据聚合查询... 详细信息

电能质量数据随电网运行而持续产生,对电能质量数据的聚合查询是了解电网电能质量状态的重要手段。电能质量数据具有数据量大、维度高等特点,获取精确查询结果往往时延较大,无法满足电网交互式查询的需求。为此,电能质量大数据聚合查询引入近似查询思想,通过牺牲一定查询精度换取更短的查询时延可能是一种行之有效的方法。但现有基于抽样的近似查询相关研究在面对电能质量数据聚合查询需求时存在分层抽样误差较大,样本更新不及时等问题。为解决上述问题,本文提出了基于抽样的电能质量大数据聚合查询方法。主要研究内容如下:(1)应用自然分层抽样方法进行电能质量大数据聚合查询时结果误差较大,针对该问题提出一种两阶段分层抽样方法,在自然分层的基础上使用聚类分层方法进一步减小层内方差,进而减少查询结果的误差。进一步地,将样本以多粒度样本集的形式维护在内存中,可以在需要时快速组合为逻辑样本提供给查询引擎,满足用户个性化查询时延需求的同时减少样本存储空间。基于实测电能质量数据的实验结果表明,本文方法相较于基准方法,在抽样率为5%情形下,准确率提升可达到12%-15%。(2)电能质量数据符合数据流特性,样本随时间推移存在更新不及时的情况,针对该问题提出一种样本集维护方法,在电能质量实时数据流上实现数据项分层与抽样,使用最新数据样本更新维护多粒度样本集。对样本集维护方法进行效果对比实验,实验结果表明,样本集维护方法可以及时更新样本,维持两阶段分层抽样样本的查询准确率,满足业务人员实时聚合查询需求。(3)基于上述研究结果实现了电能质量大数据聚合查询原型系统。详细介绍了样本初始化、样本维护和近似查询引擎三个主要模块的设计与实现,初步展示了该原型系统的应用效果。

关键词：电能质量数据聚合查询近似查询分层抽样样本维护

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

不确定性数据上聚合查询的近似算法

清华大学学报（自然科学版） 2018年第3期58卷 231-236页

作者：陈东辉陈岭王俊凯吴勇王敬昌浙江大学计算机科学与技术学院杭州310027 浙江鸿程计算机系统有限公司杭州310009

随着大数据时代的到来，不确定性数据上的聚合查询面临形式多样、计算复杂等挑战。该文将不确定性数据上聚合查询的结果定义为所有可能的值以及对应的概率。基于动态规划思想的求解“和”的分布（distribution sum，DSUM）精确算法，提... 详细信息

随着大数据时代的到来，不确定性数据上的聚合查询面临形式多样、计算复杂等挑战。该文将不确定性数据上聚合查询的结果定义为所有可能的值以及对应的概率。基于动态规划思想的求解“和”的分布（distribution sum，DSUM）精确算法，提出贪心的“和”的分布（greedy distribution sum，GDSUM）和折半合并的“和”的分布（binary merge distribution sum，BMDSUM）的近似算法，这2种算法都能应用于元组级不确定性模型和属性级不确定性模型；并通过理论分析，给出算法的时间和空间复杂度以及最终结果的误差范围。实验结果表明：误差设定为1％时，2种近似算法分别能缩短执行时间15％～21％和22％～32％。

关键词：聚合查询近似算法不确定性数据动态规划误差估计

混淆查询区域下的电网多维数据聚合查询方法研究

在线全文

学校读者我要写书评

暂无评论

自动化仪表 2023年第8期44卷 73-78页

作者：唐涛张磊段勇杨立超张泽云南电网有限责任公司德宏供电局云南德宏678400

为了降低电网多维数据查询的缺失率,研究了混淆查询区域下的电网多维数据聚合查询方法。在用户兴趣生成混淆查询区域,从生成的查询轨迹数据中收集邻接近点信息,并与查询目标保持安全距离。计算实际电网用户密度与查询样本的混淆程度,以... 详细信息

为了降低电网多维数据查询的缺失率,研究了混淆查询区域下的电网多维数据聚合查询方法。在用户兴趣生成混淆查询区域,从生成的查询轨迹数据中收集邻接近点信息,并与查询目标保持安全距离。计算实际电网用户密度与查询样本的混淆程度,以保护数据聚合时的用户隐私。在向量化处理关键字和数据对象后,完成关键字词的匹配查询,以控制数据查询的缺失率。在此基础上,构建了多维数据聚合查询的控制树,量化评估了多维数据,以减少多维点查询的响应用时,实现了高隐私行业的电网数据聚合查询。仿真结果证明:该方法在不同数据查询缺失率下的查询结果始终保持在35个类型;多维点查询的平均响应用时最短为38.2 s。该方法数据查询过程中需要的节点成本更低、查询性能更好。

关键词：电网多维数据混淆查询区域隐私保护聚合查询用户密度虚拟查询

在线全文

学校读者我要写书评

暂无评论

聚合查询重写的MiniCon算法

微电子学与计算机 2006年第10期23卷 184-186页

作者：苏春燕刘国华燕山大学信息科学与工程学院河北秦皇岛066004

研究了聚合查询的重写问题。提出了一种聚合查询的重写算法,借用了MiniCon算法的思想,解决了在给定一个聚合查询和一组聚合视图的情况下,找到最大被包含重写的问题.证明了算法的正确性。

关键词：查询重写查询包含聚合查询 MiniCon

在线全文

学校读者我要写书评

暂无评论

时序数据多维聚合查询服务的实现

重庆大学学报（自然科学版） 2020年第7期43卷 121-128页

作者：盛家房俊郭晓乾王承栋北方工业大学大规模流数据集成与分析技术北京市重点实验室北京100144 北方工业大学数据工程研究院北京100144

随着电能质量监测点不断扩大,产生海量具有时序特性的多维电能质量数据,当前的诸多数据查询方法不能适应电网电能质量监测数据的交互式多维聚合查询需求。研究提出时序数据多维聚合服务的实现方法,为内存中预聚合后的任务结果建立哈希... 详细信息

随着电能质量监测点不断扩大,产生海量具有时序特性的多维电能质量数据,当前的诸多数据查询方法不能适应电网电能质量监测数据的交互式多维聚合查询需求。研究提出时序数据多维聚合服务的实现方法,为内存中预聚合后的任务结果建立哈希存储结构,对实时数据建立位图索引存储结构,将历史数据的预聚合数据尽量存储于内存中,改进随机读写的低性能问题,提升查询效率,解决交互式查询问题。同时运用最优聚合任务算法选择出尽量多的预聚合任务数,提高交互式查询命中率。实验验证了该算法的可行性,与分组二维背包算法相比,在预聚合任务数量选择方面具有一定优势。

关键词：时序数据聚合查询预聚合交互式查询

在线全文

学校读者我要写书评

暂无评论

基于FPGA的数据库聚合查询加速引擎

移动信息 2023年第9期45卷 157-159页

作者：赵鑫鑫王雄儒王欢山东浪潮科学研究院济南250000 山东省农业机械技术推广站济南250000

数据库是实现信息统筹管理的重要载体。通过硬件层面的优化设计来实现对数据库海量存储资源的高速查询已成为相关领域研究的重要方向。针对当前主流数据库在执行聚合查询操作过程中存在的低效率、高延迟等问题,文中深入剖析了数据库执... 详细信息

数据库是实现信息统筹管理的重要载体。通过硬件层面的优化设计来实现对数据库海量存储资源的高速查询已成为相关领域研究的重要方向。针对当前主流数据库在执行聚合查询操作过程中存在的低效率、高延迟等问题,文中深入剖析了数据库执行聚合查询的原理和关键步骤,并以异构思想设计了一种全新的基于FPGA的数据库聚合查询加速引擎。

关键词：数据库 FPGA 异构加速聚合查询聚合函数