一种基于分布式的雷达拼图处理系统框架
A Radar Mosaic Framework Based on Kafka Distributed System作者机构:辽宁省气象灾害监测预警中心沈阳110166 辽宁省沈阳市气象局沈阳110168
出 版 物:《气象科技》 (Meteorological Science and Technology)
年 卷 期:2022年第50卷第5期
页 面:630-635页
学科分类:07[理学] 070401[理学-天体物理] 0704[理学-天文学]
基 金:辽宁省气象局科学技术项目(202204和2021SXB02) 沈阳市气象局科学技术项目(SY202102)共同资助
主 题:雷达拼图 流传输 Kafka分布式数据处理
摘 要:以TITAN(Thunderstorm Identification Tracking Analysis and Nowcasting)系统为基础框架,通过引入大数据处理技术,对系统中各个模块间的通信机制、数据处理和存储方式进行优化,结合中国气象科学研究院的雷达数据质量控制方法和高效的雷达数据解析和拼图方式,实现了辽宁省及周边地区10部雷达的同步观测和雷达组网拼图处理系统的实时运行和雷达产品的按需定制。该拼图处理系统能够实现雷达数据的流式传输;通过Kafka(分布式发布订阅消息系统)实现雷达数据的分布式处理;并通过采用Cassandra数据库存储,提高雷达数据存储的稳定性。