检索结果-南通市图书馆

计算机工程 2006年第4期32卷 91-93页

作者：李强王秀坤赫然孟凡辉唐一源大连理工大学计算机系大连116023 大连理工大学神经信息学研究所大连116023

考虑了分布式数据仓库的星型模式及数据分段的特点,在各站点对分组关键字进行编码压缩,并采用分布式聚集运算的方法,最后在请求站点生成完整的分组聚集结果,以降低站点内的排序费用,减少站点间传输的元组大小和数目,从而降低了站点内的... 详细信息

考虑了分布式数据仓库的星型模式及数据分段的特点,在各站点对分组关键字进行编码压缩,并采用分布式聚集运算的方法,最后在请求站点生成完整的分组聚集结果,以降低站点内的排序费用,减少站点间传输的元组大小和数目,从而降低了站点内的处理代价和站点间的数据传输费用,提高了分布式数据仓库分组聚集运算的效率。

关键词：分布式数据仓库聚集运算星型模式

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于MapReduce的数据聚集运算算法研究与实现

基于MapReduce的数据聚集运算算法研究与实现

引用

作者：高伟东北大学

学位级别：硕士

信息化技术的不断深入应用,特别是网络技术的迅速发展,导致了数据的规模急剧增长。因此,如何保证海量数据的有效存储和管理,提高针对海量数据的处理效率成为人们日益关注的焦点。聚集运算是数据预处理中最典型操作之一,对提高查询效率... 详细信息

信息化技术的不断深入应用,特别是网络技术的迅速发展,导致了数据的规模急剧增长。因此,如何保证海量数据的有效存储和管理,提高针对海量数据的处理效率成为人们日益关注的焦点。聚集运算是数据预处理中最典型操作之一,对提高查询效率有着非常重要的意义,但是聚集运算非常耗费计算资源,特别是针对海量级别数据的聚集运算,更是需要巨大的计算能力和存储能力,而普通的PC机难以提供这样的计算资源,所以研究适合海量数据的聚集运算具有重要意义。本文通过详细研究了Google的分布式文件系统(GFS)以及MapReduce并行计算框架,充分利用该分布式文件系统的高扩展型、高容错性等特性,结合MapReduce在处理大规模数据集时的并行性处理特性,提出了一组面向海量数据的数据聚集运算算法,该组算法主要包括基于MapReduce的关系型数据的选择、投影以及等值连接等算法,并在此基础之上,实现了基于MapReduce的计数(Count)、求和(Sum)、均值(Average)、最大值(Max)和最小值(Min)等聚集运算,形成了比较完整的面向海量数据的聚集运算算法。该套算法充分利用了集群系统的计算能力和存储能力,以及集群系统的网络带宽,极大的提高了海量数据的聚集运算效率,有效地减少了的运算时间,提高了基于聚集运算结果上的数据查询效率本文还在以上聚集运算算法的基础上,实现了基于MapReduce的全局封闭数据立方体生成算法,以及在全局封闭数据立方体上的查询算法。实验表明该算法充分发挥了集群系统的并行处理能力,可以高效的生成全局封闭数据立方体以及快速的完成在其上的查询任务。

关键词：数据立方体聚集运算 MapReduce Hadoop

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于MapReduce的数据聚集运算算法

引用

中国科技论文在线 2011年第7期6卷 469-475,481页

作者：冷芳玲鲍玉斌高伟于戈东北大学信息科学与工程学院沈阳110004

为解决数据仓库中海量数据的处理效率问题,可以采用数据聚集预计算的方法,但是针对海量级别数据的聚集运算非常耗费计算资源,需要巨大的计算能力和存储能力,因此提出了一组基于MapReduce的面向海量数据的数据聚集运算算法,主要包括数据... 详细信息

为解决数据仓库中海量数据的处理效率问题,可以采用数据聚集预计算的方法,但是针对海量级别数据的聚集运算非常耗费计算资源,需要巨大的计算能力和存储能力,因此提出了一组基于MapReduce的面向海量数据的数据聚集运算算法,主要包括数据的选择、投影以及等值连接等,并在此基础上,实现了计数、求和和均值等聚集运算,形成了比较完整的面向海量数据的聚集运算算法。实验结果表明,该算法充分利用了集群系统的计算能力和存储能力,极大地提高了海量数据的聚集运算效率和基于聚集运算结果上的数据查询效率。

关键词：数据仓库聚集运算 MapReduce 联机分析处理

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

无线传感器网络分布式均值查询聚集算法研究

引用

通信学报 2008年第11期29卷 24-30页

作者：刘彩苹李仁发刘喜苹湖南大学计算机与通信学院湖南长沙410082 长沙南方职业学院湖南长沙410208

提出了一种基于无线传感器网络的分布式均值查询聚集算法——DAA,在DAA中,传感器网络中每个节点的计算过程都仅与它的邻居节点有关,算法只需在局部范围内计算结果而无需收集全局的节点信息,也不必完成数据融合以及远距离通信等任务。同... 详细信息

提出了一种基于无线传感器网络的分布式均值查询聚集算法——DAA,在DAA中,传感器网络中每个节点的计算过程都仅与它的邻居节点有关,算法只需在局部范围内计算结果而无需收集全局的节点信息,也不必完成数据融合以及远距离通信等任务。同时,算法会根据当前查询结果自适应地调整查询范围。理论分析和实验结果显示该算法扩展性好、功耗低,可以有效地延长网络的生命。

关键词：无线传感器网络聚集运算分布式算法局部算法

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

汉语认知数据库查询优化方法研究及其应用

汉语认知数据库查询优化方法研究及其应用

引用

作者：赫然大连理工大学

学位级别：硕士

近二十年来，人们逐渐认识到脑功能成像在认知过程中的科学意义及关于神经学方面的研究前景。脑神经成像技术是一项有研究潜力的技术，它可以确定与人类记忆和抽象思维相关的脑区域和人脑疾病的原因。汉语认知数据库是根据当前脑科学研... 详细信息

近二十年来，人们逐渐认识到脑功能成像在认知过程中的科学意义及关于神经学方面的研究前景。脑神经成像技术是一项有研究潜力的技术，它可以确定与人类记忆和抽象思维相关的脑区域和人脑疾病的原因。汉语认知数据库是根据当前脑科学研究需要而建立的数据管理系统，它为从事神经科学研究的团体提供共享的神经成像数据。在汉语认知数据库中，需要对大数据量进行复杂查询，一个查询的执行通常需要很长时间，这显然不能满足用户需求，为了提高系统响应时间，必须给出有效的查询优化策略。数据库查询优化理论与技术主要包括数据库统计概貌、多连接查询优化、分组运算的分布算法、聚集函数的并行与分布运算等算法。本文首先给出了汉语认知数据库的体系结构，并分析了数据库建立过程中的异构数据库模式处理和数据挖掘等问题。其次，本文针对汉语认知数据库的查询优化问题进行了深入地分析。对于数据库查询优化中的统计概貌问题，本文把统计概貌的基础理论应用到汉语认知数据库系统中，有效地解决了数据采集问题。在数据爆炸式增长的情况下，数据库系统经常需要处理大量多表连接查询问题，伴随着查询策略搜索空间的激增，查询处理器的执行效率快速下降，无法在短时间内找出最优策略，所以查询优化利用启发式规则和随机搜索算法来提高查询优化的速度。本文在已有工作基础上，给出了一种改进的最优保存遗产算法，分析了算法收敛速度和收敛性，试验结果表明该算法在解决大规模查询优化问题时具有较高的搜索速度。汉语认知数据库的另一个主要问题就是聚集运算，文本在深入分析数据仓库结构特点的基础上，结合传统聚集运算算法，设计了两种分别用于数据仓库和分布式数据仓库的聚集运算算法，有效地解决了数据仓库中的聚集运算问题，降低系统执行代价，提高了运行效率。本文给出的数据库查询优化策略具有普遍的研究意义和应用价值，可以应用到其他的数据库应用领域中。

关键词：汉语认知统计概貌查询优化聚集运算遗传算法

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：