基于Spring Boot的综合数据管理系统的设计与实现

作     者：方圆 

作者单位：大连理工大学 

学位级别：硕士

导师姓名：赖晓晨

授予年度：2018年

学科分类：08[工学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 081202[工学-计算机软件与理论] 

主      题：微服务 大数据 预计算 Spring Boot 

摘      要：近年来随着企业业务的发展,企业数据膨胀迅速,管理、运营人员对企业数据的使用需求也更加复杂。面对业务部门的几百个数据库表、以T为单位的数据量,如何在ms级标准时间内算出各种时间、空间聚合维度下的上百项指标的离线、实时数据,是综合数据管理系统面对的难题。除了数据的查询、计算,管理和运营人员还希望对数据进行深入挖掘,以帮助业务发展平稳推进。本文设计了一套基于Spring Boot的离线与实时数据的综合管理系统以解决上述问题。系统基于Spring Boot框架,结合Protobuf的数据交互方式,实现了前后端、后端微服务间的数据交互,以管理模块架构和数据通信。系统还结合了CAS和数据系统的接口特性,实现了数据系统的服务间认证和日志管理架构,提高了安全性和可用性。系统中离线数据管理服务通过Crontab每日控制Sqoop、Hive、Hbase、HDFS等工具对离线数据进行预处理,利用Kylin对预处理后的数据进行预计算和预聚合,以应对复杂的、高并发的离线数据使用需求。在线数据管理服务使用基于定时器的Mysql任务管理,通过每分钟的预计算来实现数据预处理,实现ms级别的数据查询响应。系统还使用了机器学习的时间序列算法对数据进行分析,利用Holt-winters算法,结合数据实际特征,实现了基于本系统核心数据的时间序列预测。本系统开发完成后,已经应用到了顺丰科技同城业务的udata数据统计和丰声APP中。本系统的应用解决了企业大数据环境下,数据系统无法快速响应复杂离线、实时数据查询的瓶颈问题,为企业的运营状况分析和变化趋势监控提供了关键信息,在企业长期的成长和发展过程中提供了可靠助力。