基于特定场景的大数据实时分析平台的设计与实现
Design and Implementation of Big Data Real-Time Analysis Platform Based on Specific Scenarios作者机构：工业和信息化部装备工业发展中心
出 版 物：《信息技术与标准化》 (Information Technology & Standardization)
年 卷 期：2022年第7期
页 面：22-27页
学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)]
主 题：大数据 实时分析 Kappa 架构 Flink NoSQL ClickHouse
摘 要：为了解决单表数据记录条数在亿级以上的数据实时统计分析问题,针对聚合运算后的结果数据记录数量显著少于原始记录数量的一类特定场景,提出构建大数据实时分析平台的方案。通过对比流式架构、Lambda架构、Kappa架构、Unifield架构等4种主流数据处理架构的优缺点,提出选择Kappa架构,并基于Apache Flink计算引擎来构建大数据实时分析平台,并通过全量数据全运算(会定期运行)、增量数据实时运算两个流处理过程来实现。该方案设计了3种运算结果存储方案,以满足不同应用情形下对最终运算结果的查询效率要求。
维普期刊数据库
同方期刊数据库