检索结果-南通市图书馆

基于代价估计的hive多维索引分割策略选择算法

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

计算机研究与发展 2016年第4期53卷 798-810页

作者：刘越李锦涛虎嵩林中国科学院计算技术研究所北京100190 中国科学院大学北京100049 中国科学院信息工程研究所北京100093

在能源互联网、智慧城市等新兴领域,智能终端采集的庞大数据往往需要多维分析,传统企业寻求借助互联网技术（如Hadoop和hive）应对大数据问题.但是hive当前的多维索引能力较弱,无法满足传统企业的需求.针对这一问题,提出了一种基于分布... 详细信息

在能源互联网、智慧城市等新兴领域,智能终端采集的庞大数据往往需要多维分析,传统企业寻求借助互联网技术（如Hadoop和hive）应对大数据问题.但是hive当前的多维索引能力较弱,无法满足传统企业的需求.针对这一问题,提出了一种基于分布式网格文件的多维索引技术——DGFIndex,来提升hive的多维查询处理能力.但是在创建DGFIndex时,需要用户指定各个索引维度的分割粒度,而分割粒度的大小与查询性能息息相关.在用户对数据与查询特征不熟悉时,很难选择较优的分割策略.为了解决这一问题,通过建立新的MapReduce代价模型,并使用两阶段模拟退火算法为DGFIndex搜索较优的分割策略,从而提升查询性能,减少查询集合的总耗时.实验结果表明：DGFIndex可以提升hive多维查询性能50%～114%,对于固定的查询集合,与人工选定分割策略比较,基于代价估计的分割策略选择算法可以为DGFIndex快速选定较优的分割策略,并可以使整个查询集合的处理时间比人工方法最多减少30%.

关键词： hive MapReduce 多维索引代价模型模拟退火

在线全文

学校读者我要写书评

暂无评论

基于hive的计算结果特征提取与重用策略

计算机研究与发展 2015年第9期52卷 2014-2024页

作者：谢恒王梅乐嘉锦孙莉东华大学计算机科学与技术学院上海201620

现有MapReduce工作流中作业之间需将计算结果物化到HDFS(Hadoop distributed file system),大量磁盘I/O导致其效率较低.基于现有代表性工作hive,提取并保存MapReduce工作流产生计算结果的数据特征,提出一种计算结果匹配和重用策略.首先... 详细信息

现有MapReduce工作流中作业之间需将计算结果物化到HDFS(Hadoop distributed file system),大量磁盘I/O导致其效率较低.基于现有代表性工作hive,提取并保存MapReduce工作流产生计算结果的数据特征,提出一种计算结果匹配和重用策略.首先,根据查询条件定义连接图与连接体等结构,用于可复用计算结果的匹配.基于该结构,根据hiveQL(hive query language)解析出的抽象语法树,提出生成查询语句连接体算法,并遍历候选连接体列表,给出最佳重用方案生成方法,包括单连接体重用和多连接体重用策略.进一步,为了增加计算结果的重用概率,提出多键选择、推迟算数运算和语义理解3种方法.最后,使用数据仓库基准测试数据集TPC-H和SSB进行实验,验证了所提出的重用计算结果以提高数据处理速度的有效性.

关键词： MapReduce hive 计算结果重用连接体数据管理

基于hive的高寒草地海量数据高效分析系统设计研究

在线全文

学校读者我要写书评

暂无评论

农业资源与环境学报 2021年第6期38卷 1152-1163页

作者：李亮丹晔沙谢夏胡月明谢健文周悟游小敏华南农业大学资源环境学院广州510642 海南大学热带作物学院海口570228 青海-广东自然资源监测与评价联合重点实验室西宁810016 广州市华南自然资源科学技术研究院广州510642

解决高寒草地的退化问题需要对高寒草地退化现状进行综合评价,而这需要相关数据作为支撑,本研究设计并实现了一个基于hive的高寒草地海量数据高效分析系统,能对高寒草地的海量数据进行可靠、高效地存储分析。首先,平台设计基于Hadoop、H... 详细信息

解决高寒草地的退化问题需要对高寒草地退化现状进行综合评价,而这需要相关数据作为支撑,本研究设计并实现了一个基于hive的高寒草地海量数据高效分析系统,能对高寒草地的海量数据进行可靠、高效地存储分析。首先,平台设计基于Hadoop、hive、Sqoop环境,通过节点和集群配置等步骤搭建完成;然后,通过期望最大化(EM)算法进行数据填充、数据导入、数据分区存储等步骤,完成数据抽取、转换、加载(ETL)及数据存储;最后,系统通过混合函数编码实现模糊查询功能,实验测试表明系统达到了预定的效果。随着文件大小的增加和总体数据规模的增大,系统整体存储和读取时间一直处于增长的状态,但平均运行时间(平均处理1 MB数据所使用的时间)处于降低的趋势,说明随着数据量的增加,系统并行处理海量数据的能力得到体现。使用2014年青海省称多县高寒草地样方监测数据和部分虚拟数据(总数据量约为3958万条,7.56 GB),对hive集群以及关系型数据库SQL Server的数据查询效率进行对比。结果显示,当查询数据量为3958万条时,hive集群数据查询的时间为SQL Server查询时间的67.8%。说明在数据量较大时,系统数据查询的效率比SQL Server更高。通过hiveQL对高寒草地生态数据进行分析处理,并开展相应的对照实验,对比发现,hive数据分析技术与对照实验的处理结果相同。综上,将分布式数据仓库技术应用于高寒草地海量数据的存储与分析,较传统的数据存储与分析技术相比有明显的进步。本系统对海量数据处理效率高、可开发性强,可以很好地满足海量高寒草地数据的存储和分析要求。

关键词：高寒草地海量数据存储与分析 hive

在线全文

学校读者我要写书评

暂无评论

基于hive的电力设备状态信息数据仓库

电力系统保护与控制 2013年第9期41卷 125-130页

作者：王德文肖凯肖磊华北电力大学控制与计算机工程学院河北保定071003

随着智能变电站的建设及其状态监测系统的发展,电力设备状态信息数据规模逐渐增大。针对现有电力数据仓库在海量状态数据存储查询和分析处理方面的不足,提出基于hive的电力设备状态信息数据仓库及其多维数据快速查询与分析方法。通过对... 详细信息

随着智能变电站的建设及其状态监测系统的发展,电力设备状态信息数据规模逐渐增大。针对现有电力数据仓库在海量状态数据存储查询和分析处理方面的不足,提出基于hive的电力设备状态信息数据仓库及其多维数据快速查询与分析方法。通过对状态监测系统与生产管理系统(PMS)的分析,将电力设备静态信息与状态监测信息存储到hive数据仓库中。设计了基于hive的电力设备状态信息数据仓库的系统架构和海量状态数据存储结构,采用Hadoop分布式文件系统(HDFS)对数据进行分布式存储管理,Map Reduce作为海量数据查询分析的计算模式,hiveQL查询语言作为数据仓库的控制工具,并给出了数据仓库的工作过程。建立一个基于hive的电力设备状态信息数据仓库实验平台,分别利用5个节点和10个节点的Hadoop集群进行测试,结果表明上述方法具有较好的扩展性,能满足大规模多维电力设备状态数据存储查询的需要。

关键词：智能变电站电力设备状态信息数据仓库 hive HDFS

面向hive的基于安全域的数据隔离保护框架

在线全文

学校读者我要写书评

暂无评论

山东大学学报（理学版） 2019年第3期54卷 1-9页

作者：常天天陈兴蜀罗永刚兰晓四川大学计算机学院(软件学院) 四川成都610065 四川大学网络空间安全学院四川成都610065 四川大学网路空间安全研究院四川成都610065

针对hive数据库中的数据共享所带来的敏感信息泄漏问题,以数据分级为前提,利用基于标签的访问控制技术,提出了一种基于安全域的数据隔离保护框架(SD-DIPF)。首先,通过设计层次安全标签树划分标签级别,用来对系统中的主客体进行标识;结... 详细信息

针对hive数据库中的数据共享所带来的敏感信息泄漏问题,以数据分级为前提,利用基于标签的访问控制技术,提出了一种基于安全域的数据隔离保护框架(SD-DIPF)。首先,通过设计层次安全标签树划分标签级别,用来对系统中的主客体进行标识;结合分级标签阐明安全域(SD)的设计思想,对安全域及其子域进行定义以及安全性的形式化证明;最后,利用安全域对平台数据进行逻辑划分保证不同敏感级别数据的有效隔离;针对该框架对hive数据库的适用性进行说明,并结合现有的认证机制给出了其在hive数据库中的实现。通过实验分析验证该框架可以保障敏感数据不被非法访问,证明了本框架的可行性和安全性。

关键词： hive 数据分级安全域访问控制

Economic and Technological Development Zones:A hive of Multinationals

在线全文

学校读者我要写书评

暂无评论

China Today 2021年第4期70卷 50-52页

作者： WANG JUNLING People’s Daily overseas edition

CHINA has been setting up economic and technological development zones(ETDZs)to boost knowledge-based and technology-intensive industries for the past ***,the governments offer preferential policies and incentives to these *** the country’s rapid industrialization since the adoption of the reform and opening-up policy in 1978,ETDZs have played a vital role because of their appeal to foreign investors and capability to *** particular,the ETDZs at the state level have been the engines of regional economic growth.

关键词： policy hive Zone

一种基于hive和分布式集群的大量数据高效处理方法研究

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

中国电子科学研究院学报 2018年第3期13卷 315-320页

作者：侯晓芳王欢李瑛北华航天工业学院计算机与遥感信息技术学院河北廊坊065000

为了对海量电子日志数据进行有效处理,提出一种基于hive和分布式集群的综合解决方案。首先,从需求分析出发,阐述了分布式集群搭建、虚拟机的Flume配置和hive数据处理;然后,进行数据采集和清洗、业务逻辑处理及优化、数据合并与查询。实... 详细信息

为了对海量电子日志数据进行有效处理,提出一种基于hive和分布式集群的综合解决方案。首先,从需求分析出发,阐述了分布式集群搭建、虚拟机的Flume配置和hive数据处理;然后,进行数据采集和清洗、业务逻辑处理及优化、数据合并与查询。实验以统计分析网站访问排名为例,对具体的表结构和实施过程进行描述,并验证其可行性。结果表明:与其他框架相比,所提大数据综合处理方法在数据采集和日志处理方面更效率,且省去了处理业务逻辑的大量Java代码,可用性更佳。

关键词：分布式集群虚拟机日志数据 hive Hadoop 大数据

在线全文

学校读者我要写书评

暂无评论

QAR数据仓库在hive中的构建

计算机工程与应用 2017年第11期53卷 90-94页

作者：冯兴杰吴稀钰赵杰贺阳房戍中国民航大学计算机科学与技术学院天津300300

分析QAR数据是一种非常有效的监控飞机状态的方法。但随着民航领域的快速发展,QAR数据的规模急剧增大,现有基于关系型数据库的QAR数据仓库不足以支撑海量数据下的存储与分析,导致海量的QAR数据因无法处理变成了信息垃圾。因此,针对现有... 详细信息

分析QAR数据是一种非常有效的监控飞机状态的方法。但随着民航领域的快速发展,QAR数据的规模急剧增大,现有基于关系型数据库的QAR数据仓库不足以支撑海量数据下的存储与分析,导致海量的QAR数据因无法处理变成了信息垃圾。因此,针对现有数据仓库的不足,提出基于hive的QAR数据仓库。通过对hive特点及QAR数据结构分析,设计了基于hive的QAR数据仓库的总体架构和存储结构。通过将现有数据仓库中的数据移植到基于hive的QAR数据仓库,实现了对已有数据仓库的兼容。实验结果表明基于hive的QAR数据仓库在面对QAR数据剧增的情况下,处理所需时间依然保持着线性增长。

关键词： hive 快速存取记录器(QAR) 数据仓库数据处理 Hadoop

基于HBase和hive的航班延误平台的存储方法

在线全文

学校读者我要写书评

暂无评论

计算机应用 2018年第5期38卷 1339-1345页

作者：吴仁彪刘超屈景怡中国民航大学天津市智能信号与图像处理重点实验室天津300300

针对我国目前航班延误平台的移植难、可扩展性差,无法适应民航高速发展所带来的大数据量存储的现状,设计了面向大数据的跨平台、高适用性与高扩展性的航班延误平台。该平台以大数据工具Leaf Let为可视化载体,在地图界面实时显示航班轨... 详细信息

针对我国目前航班延误平台的移植难、可扩展性差,无法适应民航高速发展所带来的大数据量存储的现状,设计了面向大数据的跨平台、高适用性与高扩展性的航班延误平台。该平台以大数据工具Leaf Let为可视化载体,在地图界面实时显示航班轨迹并将轨迹数据加载至HBase数据库中,并且利用信息摘要算法(MD5)重新设计与优化航班数据表的行键,以解决其递增的飞行时间特性产生的"热点"问题;针对HBase过滤器多级查询的缺陷,提出了基于Solr Cloud的关联查询算法,利用Solr Cloud实现对行键与索引字段的分层存储,从而实现HBase二级快速索引;最后在HBase的历史航班数据与飞行计划数据基础上,构建基于hive的海量航班信息数据仓库。实验结果显示,航班延误大数据平台的可扩展性与搭建的航班信息数据仓库可以满足民航对数据集中统一存储的需求,而多条件查询的响应速度与无二级索引的集群相比提高了上百倍,并且这种优势随着航班数据量的增长愈发明显。

关键词：大数据平台航班延误 HBase hive SolrCloud LeafLet