检索结果-南通市图书馆

改进随机森林算法在Spark+Kudu平台的并行化运用

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

信息技术与信息化 2024年第2期 67-70页

作者：庄巧蕙闽南理工学院福建石狮362700

多种因素可能对学生成绩造成影响,利用数据挖掘工具对学生的学习课程成绩进行预测分析,进而利用预测分析结果及时指正学生出现的不良学习行为,同时检查老师的教学效果。首先将改进随机森林算法在大数据平台上进行并行化改进后进行实践... 详细信息

多种因素可能对学生成绩造成影响,利用数据挖掘工具对学生的学习课程成绩进行预测分析,进而利用预测分析结果及时指正学生出现的不良学习行为,同时检查老师的教学效果。首先将改进随机森林算法在大数据平台上进行并行化改进后进行实践。然后通过将提出的改进随机森林算法进行并行化,将其运用到Spark+Kudu大数据平台上进行仿真实验。最后算法并行化主要根据随机森林算法中的决策树划分策略以及模拟退火算法构建多种群策略来进行。实验结果证明并行化策略能够有效提升数据集的分类效率,大幅度缩短算法执行时间。

关键词：随机森林算法 Spark Kudu 决策树模拟退火算法

在线全文

学校读者我要写书评

暂无评论

基于Kudu的实时业务应用场景解决方案

电信科学 2020年第S01期36卷 268-275页

作者：蒋春平黄煜骁周晓君中国电信股份有限公司上海分公司企业信息化部上海202150

针对目前Hadoop大数据平台对实时业务应用场景支撑存在的短板,引入Kudu存储引擎作为现有分布式文件系统的补充,同时结合Kafka和Impala等组件,有效支撑数据实时入库、数据增量更新和复杂SQL查询的各类业务应用场景,并根据场景选择通过Kud... 详细信息

针对目前Hadoop大数据平台对实时业务应用场景支撑存在的短板,引入Kudu存储引擎作为现有分布式文件系统的补充,同时结合Kafka和Impala等组件,有效支撑数据实时入库、数据增量更新和复杂SQL查询的各类业务应用场景,并根据场景选择通过Kudu-API或Impala-JDBC连接的方式向前台应用提供快速的OLTP和OLAP交互能力。首先对实时业务应用支撑难点进行了分析,然后介绍了业界相关解决方案和基于Kudu的解决方案。

关键词： Kudu 大数据流式数据增量更新 Impala 前台交互

基于Spark和Kudu技术的施工人员准实时数据仓库

在线全文

学校读者我要写书评

暂无评论

信息技术与信息化 2021年第12期 91-93页

作者：杨彦彬中通服软件科技有限公司上海200050

随着大数据计算技术和存储技术的发展,数据仓库的实时性要求也越来越高,原有的离线数据仓库建模技术和理论已不能适应某些业务的需求。基于此,提出了利用Apache的开源组件Spark和Kudu作为技术手段,并按照业务实时性要求,有针对性的调整... 详细信息

随着大数据计算技术和存储技术的发展,数据仓库的实时性要求也越来越高,原有的离线数据仓库建模技术和理论已不能适应某些业务的需求。基于此,提出了利用Apache的开源组件Spark和Kudu作为技术手段,并按照业务实时性要求,有针对性的调整了离线大数据仓库维度建模方法,建设了运营商施工人员准实时数据仓库,并顺利上线运营。运营结果表明,Spark和Kudu结合之后能最大限度满足此类业务的建设需求。

关键词：大数据数据仓库 Kudu Spark 维度建模

面向全基因组关联分析的大数据存储架构设计与实现

在线全文

学校读者我要写书评

暂无评论

面向全基因组关联分析的大数据存储架构设计与实现

作者：王博华南理工大学

学位级别：硕士

近年来,随着生物基因技术的飞速发展,基因数据呈现井喷式增长,生物基因学进入大数据时代。丰富的基因数据给生物医学领域解锁了新的研究方向,同时也带来了大数据存储的难题。全基因组关联分析是当下最具意义的研究领域之一,是实现精准... 详细信息

近年来,随着生物基因技术的飞速发展,基因数据呈现井喷式增长,生物基因学进入大数据时代。丰富的基因数据给生物医学领域解锁了新的研究方向,同时也带来了大数据存储的难题。全基因组关联分析是当下最具意义的研究领域之一,是实现精准医疗的重要方法,其依靠基因变异数据作为分析的基础,然而由于全基因组关联分析对基因变异数据的访存要求多样,当前没有适合于该场景的大数据存储架构。根据该场景下的数据特点与访存要求,设计并实现一个简单易用的高扩展性基因变异数据存储架构,解决存储瓶颈问题,对推动精准医疗的发展具有重大的意义。在现有大数据存储研究的基础上,提出了面向全基因组关联分析的架构模型,融合了新型列式存储引擎Kudu、大数据查询引擎Impala及分布式位图索引等技术。基因变异数据文件经过基于样本人种信息的切分,存入新型列式存储Kudu中,以提供低耦合的基础数据访问服务。通过Kudu的存储特点,满足场景中对变异数据的低延迟随机访问以及高效的范围分析的要求,并保证系统的高可用性和高扩展性;针对Kudu索引方式单一,在进行复杂分析时退化成全表扫描的问题,根据数据特征提出了基于Kudu的分布式位图索引方案,并通过大数据处理框架Spark实现了压缩位图索引的并行建立和处理算法,设计的分布式位图索引具有高效的分析能力,且在大规模数据场景中能良好扩展;为了提高系统的易用性,使用了大数据查询引擎Impala提供SQL-like语法,提供了一个简单高效的查询、分析统一平台。通过实验对比分析了本架构与其他大数据存储方案在全基因组关联分析场景中的性能表现,发现本方案模型简单,在处理场景中各种数据查询时具有统一的高效表现,且较其他方案有数量级的性能提升。整个架构模型具有良好的通用性和扩展性,适合一般云计算平台,为全基因组关联分析打下了良好的基础。

关键词：全基因组关联分析大数据存储 Kudu 分布式位图索引 Spark

基于Kudu的大数据平台实时业务处理能力提升方案

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电信科学 2019年第10期35卷 151-156页

作者：顾飞杨孔莹中国电信股份有限公司上海分公司

针对目前Hadoop大数据平台实时业务处理能力较差的难点,研究了国际最先进的Kudu列存储作为HDFS块存储的有效补充的理论,阐述了利用Kudu和Spark提供的主键索引和内存加速,有效解决大数据平台无法支持实时入库、增量更新和SQL关联查询等... 详细信息

针对目前Hadoop大数据平台实时业务处理能力较差的难点,研究了国际最先进的Kudu列存储作为HDFS块存储的有效补充的理论,阐述了利用Kudu和Spark提供的主键索引和内存加速,有效解决大数据平台无法支持实时入库、增量更新和SQL关联查询等业务痛点的技术实现方法。实验效果证明了方法对提升大数据平台实时业务处理能力的作用。

关键词： Kudu 大数据列存储主键索引内存加速实时入库增量更新 SQL关联查询

在线全文

学校读者我要写书评

暂无评论

实现快速实时处理的一种新数据库Kudu

电脑知识与技术 2019年第9期15卷 8-10页

作者：李敏虞金中西南石油大学计算机科学学院

针对快速变化的数据,目前的数据库还无法做到快速处理。对于这样的现状,客户希望有一种数据库不仅能够对数据快速地分析,而且能够对数据快速地修改、删除和随机读取。为此,Cloudera参考了Google发表的介绍其分布式数据库[1](Spanner)的... 详细信息

针对快速变化的数据,目前的数据库还无法做到快速处理。对于这样的现状,客户希望有一种数据库不仅能够对数据快速地分析,而且能够对数据快速地修改、删除和随机读取。为此,Cloudera参考了Google发表的介绍其分布式数据库[1](Spanner)的论文,在2012年开始秘密研发的一款介于HDFS[2]和HBase[3]之间的高速分布式存储数据库Kudu[4]。Kudu不仅有效地兼具了HBase的实时性,HDFS的高吞吐,以及传统数据库的SQL支持,而且它更有效地利用了现代硬件的CPU和IO资源,降低了混合架构系统的复杂性。Kudu作为一款实时、离线之间的存储系统被誉为下一代分析平台的重要组成部分,填补了HDFS和HBase之间的空白,并将进一步把Hadoop[5]市场向传统数据仓库市场靠拢。

关键词： Kudu 快速实时处理分布式存储数据库大数据

基于Kudu+Impala的交通大数据存储和分析平台

在线全文

学校读者我要写书评

暂无评论

电脑编程技巧与维护 2018年第11期 91-92,111页

作者：宁群仪周超深圳市赛为智能股份有限公司大数据研究院广东深圳518057

随着城市化进程的不断加快,城市汽车保有量逐年增加,在面对日益复杂和庞大的交通信息数据,使用传统的关系型数据库已经越来越力不从心,一些性能瓶颈逐渐显露出来,比如跨分区读取数据,大数据量的分析计算等。提出了一种基于Kudu+Impala... 详细信息

随着城市化进程的不断加快,城市汽车保有量逐年增加,在面对日益复杂和庞大的交通信息数据,使用传统的关系型数据库已经越来越力不从心,一些性能瓶颈逐渐显露出来,比如跨分区读取数据,大数据量的分析计算等。提出了一种基于Kudu+Impala的分布式存储和计算分析解决方案,Kudu作为底层存储,Impala负责解析和执行SQL,能够同时支持OLTP和OLAP,并且都拥有良好的性能,为交通大数据的存储和分析计算提供了高效、可靠的平台。

关键词：大数据交通存储 Kudu Impala

在线全文

学校读者我要写书评

暂无评论

基于Kudu的结构化数据存储分析方案设计

信息技术与标准化 2017年第10期 60-63页

作者：鲍远松上海宝信软件股份有限公司

由于受制于传统的数据仓库存储架构设计,传统结构化数据不仅时效性不高,扩展性和性能均难以优化。基于Kudu设计了结构化数据接入、存储和分析的完整存储分析方案,可有效解决结构化数据的实时高性、能存储分析问题。

关键词： Kudu 存储过程数据仓库 MPP架构

在线全文

学校读者我要写书评

暂无评论

Kudu公司推出无杆螺杆泵

石油钻探技术 2016年第1期44卷 78-78页

作者：石钻

Kudu公司推出将螺杆泵和潜油电机完美结合在一起的无杆螺杆泵（Rodless PCPTM）。无杆螺杆泵的潜油电机采用低速永磁电机,当螺杆泵转速在限定转速50~500r/min范围内变化时,可以提供固定的扭矩。这样就可以根据油井的供液能力灵活调整螺... 详细信息

Kudu公司推出将螺杆泵和潜油电机完美结合在一起的无杆螺杆泵（Rodless PCPTM）。无杆螺杆泵的潜油电机采用低速永磁电机,当螺杆泵转速在限定转速50~500r/min范围内变化时,可以提供固定的扭矩。这样就可以根据油井的供液能力灵活调整螺杆泵的转速,不必更换泵。无杆螺杆泵采用井下遥测技术,防止泵抽空,监测井下设备性能,根据油井的供液能力优化螺杆泵的工作参数。

关键词：螺杆泵 Kudu 潜油电机供液能力永磁电机井下设备遥测技术泵转速抽油杆水平井段