基于Kudu的实时业务应用场景解决方案
作者机构:中国电信股份有限公司上海分公司企业信息化部上海202150
出 版 物:《电信科学》 (Telecommunications Science)
年 卷 期:2020年第36卷第S1期
页 面:268-275页
学科分类:08[工学] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器]
主 题:Kudu 大数据 流式数据 增量更新 Impala 前台交互
摘 要:针对目前Hadoop大数据平台对实时业务应用场景支撑存在的短板,引入Kudu存储引擎作为现有分布式文件系统的补充,同时结合Kafka和Impala等组件,有效支撑数据实时入库、数据增量更新和复杂SQL查询的各类业务应用场景,并根据场景选择通过Kudu-API或Impala-JDBC连接的方式向前台应用提供快速的OLTP和OLAP交互能力。首先对实时业务应用支撑难点进行了分析,然后介绍了业界相关解决方案和基于Kudu的解决方案。