检索结果-南通市图书馆

基于impala的大数据查询分析计算性能研究

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2015年第5期32卷 1330-1334页

作者：郭超刘波林伟伟华南师范大学计算机学院广州510631 华南理工大学计算机科学与工程学院广州510006

分析了Cloudera公司推出的impala实时查询引擎原理与架构,并深入比较impala与传统MapReduce的性能与特点,针对impala进行复杂大数据处理方面的不足,提出了MapReduce与impala结合的大数据处理方法,通过使用MapReduce对impala的输入数据... 详细信息

分析了Cloudera公司推出的impala实时查询引擎原理与架构,并深入比较impala与传统MapReduce的性能与特点,针对impala进行复杂大数据处理方面的不足,提出了MapReduce与impala结合的大数据处理方法,通过使用MapReduce对impala的输入数据进行预处理,利用MapReduce在复杂作业处理方面的长处弥补了impala在这方面的不足。最后对电信手机上网日志进行大数据查询和分析计算实验,实验结果表明,在大数据查询性能方面,基于MapReduce与impala结合的大数据处理速度比传统MapReduce快了一倍。特别地,在迭代查询实验中,基于MapReduce与impala结合的处理方法超过传统MapReduce方法八倍以上。基于MapReduce与impala结合的处理方法在单次查询中的效率仍然高于传统MapReduce;而在迭代查询中,MapReduce与impala结合的处理方法远远地超过了MapReduce。因此,MapReduce与impala结合的处理方法能够发挥impala和Hadoop各自的优点,让处理效率远超传统MapReduce,对于复杂的大数据处理的能力高于impala。

关键词：大数据 Hadoop MapReduce impala 计算性能查询分析

配电网监测大数据的impala快速查询技术

在线全文

学校读者我要写书评

暂无评论

电力科学与技术学报 2018年第2期33卷 148-156页

作者：屈志坚陈鼎龙巩奇华东交通大学电气与自动化工程学院江西南昌330013 郑州市轨道交通有限公司河南郑州450000

针对目前配电网监测大数据SQL交互查询速度慢的问题,对配电网监测数据类型进行归类整理,利用impala分布式处理工具重点研究一种监测大数据的MPP快速查询技术。通过协调节点将查询计划解析为执行计划树,将计划树的片段分配至多个从节点... 详细信息

针对目前配电网监测大数据SQL交互查询速度慢的问题,对配电网监测数据类型进行归类整理,利用impala分布式处理工具重点研究一种监测大数据的MPP快速查询技术。通过协调节点将查询计划解析为执行计划树,将计划树的片段分配至多个从节点并行执行,各从节点将中间结果按执行计划树流式传递回协调节点,再通过多机集群的全内存并行执行加速查询。选用四机监控系统集群为例进行加载测试和查询性能测试,结果表明:相较关系数据库,MPP大数据快速查询技术大幅提高了数据加载速度。对北京某动车段配电监测的千万级数据记录,关系数据库和Hive数据仓库至少都需94s以上,而MPP快速查询仅需约320ms,查询性能提升近3个数量级,大幅提高了监测大数据的查询处理速度。

关键词：配电网大数据分布式存储 impala MPP 快速查询

在线全文

学校读者我要写书评

暂无评论

impala整体架构及操作

电信网技术 2015年第8期 15-21页

作者：徐东辉中兴通讯股份有限公司

impala是基于MPP的SQL查询系统,可以直接为存储在HDFS或HBase中的Hadoop数据提供快速、交互式的SQL查询。本文对impala的特性、系统及内部架构等进行了分析和研究,并重点对impala的操作应用进行了详细介绍。

关键词： impala 整体架构操作编程

在线全文

学校读者我要写书评

暂无评论

impala公司推迟“铂金联盟”计划

中国贵金属 2009年第1期 43-44页

impala铂业公司称它推迟了与Mvelaphanda资源公司和Northam铂业公司的资本合并。

关键词： impala 铂业公司铂金生产金属价格

铁路配电网监测大数据的impala快速查询技术

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

铁路配电网监测大数据的Impala快速查询技术

基于Kudu+impala的交通大数据存储和分析平台

中国铁道学会电气化委员会2017年年会及新技术研讨会

作者：屈志坚陈鼎龙巩奇华东交通大学电气与自动化工程学院郑州市轨道交通有限公司

针对目前铁路配电网监测大数据SQL交互查询速度慢的问题,对配电网监测数据类型进行归类整理,利用impala分布式处理工具研究了一种监测大数据的分布式快速查询技术,通过多机集群的全内存并行执行加速查询;搭建四机集群的远动监控模拟测... 详细信息

针对目前铁路配电网监测大数据SQL交互查询速度慢的问题,对配电网监测数据类型进行归类整理,利用impala分布式处理工具研究了一种监测大数据的分布式快速查询技术,通过多机集群的全内存并行执行加速查询;搭建四机集群的远动监控模拟测试系统进行测试,结果表明impala大数据快速查询技术可大幅提高监测大数据的查询处理速度。

关键词：铁路配电网大数据分布式存储 impala 快速查询

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

电脑编程技巧与维护 2018年第11期 91-92,111页

作者：宁群仪周超深圳市赛为智能股份有限公司大数据研究院广东深圳518057

随着城市化进程的不断加快,城市汽车保有量逐年增加,在面对日益复杂和庞大的交通信息数据,使用传统的关系型数据库已经越来越力不从心,一些性能瓶颈逐渐显露出来,比如跨分区读取数据,大数据量的分析计算等。提出了一种基于Kudu+impala... 详细信息

随着城市化进程的不断加快,城市汽车保有量逐年增加,在面对日益复杂和庞大的交通信息数据,使用传统的关系型数据库已经越来越力不从心,一些性能瓶颈逐渐显露出来,比如跨分区读取数据,大数据量的分析计算等。提出了一种基于Kudu+impala的分布式存储和计算分析解决方案,Kudu作为底层存储,impala负责解析和执行SQL,能够同时支持OLTP和OLAP,并且都拥有良好的性能,为交通大数据的存储和分析计算提供了高效、可靠的平台。

关键词：大数据交通存储 Kudu impala

铁路配电网监测大数据的impala快速查询技术

在线全文

学校读者我要写书评

暂无评论

电气化铁道 2017年第S1期28卷 87-90页

作者：屈志坚陈鼎龙巩奇华东交通大学电气与自动化工程学院郑州市轨道交通有限公司

关键词：铁路配电网大数据分布式存储 impala 快速查询

基于Hive和impala的物流运力供应链数据仓库研究

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

物流技术 2016年第1期35卷 124-126页

作者：任春华廖雪花唐思娩严余松孙尉筌四川师范大学计算机与科学技术学院四川成都610101 西南交通大学交通运输与物流学院四川成都610031 西南交通大学信息科学与技术学院四川成都611756

针对物流行业中传统数据库在海量数据存储和交互性查询方面的不足,提出了基于Hive和impala物流运力供应链数据仓库的构建方法,可以实现快速查询。最后搭建阿里云上的PC集群,对海量供应链数据进行查询分析测试,表明该数据仓库能满足海量... 详细信息

针对物流行业中传统数据库在海量数据存储和交互性查询方面的不足,提出了基于Hive和impala物流运力供应链数据仓库的构建方法,可以实现快速查询。最后搭建阿里云上的PC集群,对海量供应链数据进行查询分析测试,表明该数据仓库能满足海量物流运力供应链数据存储以及查询方面的需求。

关键词： Hive impala 物流运力供应链海量数据数据仓库

在线全文

学校读者我要写书评

暂无评论

炫车车款impala——众人智慧的结晶

交通世界 1998年第5期 10-11页

作者：郎弟

在炫车运动刚刚兴起的时候,南加利福尼亚州的Riverside还是一个鲜为人知的封闭王国。而今,它早已因炫车这一独具魅力的运动而闻名遐迩,被世人称道。无论是谁,只要一提起它的时候,就往往情不自禁地谈到那里独具特色、热情奔放的各种炫车... 详细信息

在炫车运动刚刚兴起的时候,南加利福尼亚州的Riverside还是一个鲜为人知的封闭王国。而今,它早已因炫车这一独具魅力的运动而闻名遐迩,被世人称道。无论是谁,只要一提起它的时候,就往往情不自禁地谈到那里独具特色、热情奔放的各种炫车车款,谈起以具有魔力般的炫车款而闯入炫车界进行巡回演出的各种人物。现在,就让我们向您介绍位于南加利福尼亚州Riverside的Dopey配件公司旗下的

关键词：进气格栅发动机舱发动机室设备舱前大灯车灯 impala 配件零部件内饰