基于Kudu的大数据平台实时业务处理能力提升方案
Scheme of enhancing real-time business processing capabilities based on Kudu for the big data platform作者机构：中国电信股份有限公司上海分公司
出 版 物：《电信科学》 (Telecommunications Science)
年 卷 期：2019年第35卷第10期
页 面：151-156页
学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)]
主 题：Kudu 大数据 列存储 主键索引 内存加速 实时入库 增量更新 SQL关联查询
摘 要：针对目前Hadoop大数据平台实时业务处理能力较差的难点,研究了国际最先进的Kudu列存储作为HDFS块存储的有效补充的理论,阐述了利用Kudu和Spark提供的主键索引和内存加速,有效解决大数据平台无法支持实时入库、增量更新和SQL关联查询等业务痛点的技术实现方法。实验效果证明了方法对提升大数据平台实时业务处理能力的作用。
维普期刊数据库
同方期刊数据库