基于微服务架构的气象数据处理与可视化平台研究

作     者：全力 

作者单位：南京信息工程大学 

学位级别：硕士

导师姓名：杜景林

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 07[理学] 0706[理学-大气科学] 

主      题：气象数据服务平台 微服务架构 数据可视化 注意力机制 气象数据预报 

摘      要：随着数字经济的飞速发展,气象数据早已被运用至天气预报、农业生产、航空航天和应急减灾等诸多领域。与此同时,气象数据的种类、规模和更新频次也呈现出非常典型的大数据特征。然而,目前国内外的气象数据服务平台大都采用传统的单体应用架构或SOA架构,越来越难以满足用户对于大数据量、高并发和高可用的使用需求。另一方面,如何充分发挥平台中气象数据的存量优势,挖掘出海量气象数据中所蕴含的规律,也是一项巨大的挑战。针对以上问题,本文设计并实现了一种基于微服务架构的气象数据服务平台,主要完成工作如下:(1)将平台拆分为数据共享、数据可视化和数据预报等多个服务模块,使用Spring Cloud Alibaba的一系列核心组件完成了服务的治理工作。不同服务之间彻底解耦,并且可以通过对服务的动态扩容来适应业务功能的快速增长,真正实现敏捷开发。(2)分析了平台的总体设计目标与开发准则,并根据用户需求对平台的总体框架和具体功能模块进行了详细设计。为了减少单点故障的发生,缓存和数据库的架构分别采用了哨兵模式和主从模式。(3)利用Java语言、POI函数库等技术完成了多源气象数据的解析、存储、归档和共享工作。使用Python脚本、D3.js等技术对多源气象数据进行了可视化展示。(4)提出了一种基于改进双阶段注意力机制的气象数据预报模型DACNN-RNN(Dual-stage Attention and Convolutional Neural Network based Recurrent Neural Network)。该模型整体基于编码器-解码器架构,在编码器的输入阶段引入了目标注意力机制和卷积神经网络以对所有输入特征之间的相关性进行建模,在解码器的输入阶段引入了时间注意力机制以更好地把握长时间序列的依赖关系。该模型最终被集成于平台中,为气象数据预报服务提供了支撑。本文基于南京市真实的空气质量相关数据进行了对比实验,实验结果表明,DACNN-RNN模型在平均绝对误差(MAE)、均方根误差(RMSE)和决定系数(R-Square)指标上的表现均优于其他对比模型。最后对平台进行了功能测试和性能测试,测试结果表明,平台达到了预期的设计目标,目前已在中国科学院大气物理研究所内网部署并试运行。