基于“云+端”长序列结构化数据处理应用设计与实现
Design and implementation of long sequential structured data processing application based on“cloud-edge”作者机构:广西壮族自治区气象信息中心南宁530022
出 版 物:《气象研究与应用》 (Journal of Meteorological Research and Application)
年 卷 期:2024年第45卷第2期
页 面:29-36页
学科分类:07[理学] 070601[理学-气象学] 0706[理学-大气科学]
主 题:气象大数据云平台(“天擎”) 云+端 GBase Mybatis SpringBoot
摘 要:为提升长序列地面观测数据统计和处理支撑能力,加快关键业务平台“云+端云化转型,基于“天擎资源数据环境和云化融入标准,通过直连库方式搭建加工流水线定时任务处理流程,采用SpringBoot+Mybatis框架研制众创接口提供数据实时查询服务,数据处理流程监视和告警纳入“天镜管理,实现对原Hadoop框架构建的业务平台的全面云化融入改造。云化应用表明,云化后节省硬件和存储资源,数据实时查询效率提高30%以上,开发模式简捷高效具有良好的拓展性,为相关海量结构化数据统计场景提供技术思路与借鉴。