基于多数据源的数据监控系统的设计与实现

作     者：郭文文 

作者单位：北京交通大学 

学位级别：硕士

导师姓名：孔令波

授予年度：2021年

学科分类：08[工学] 0804[工学-仪器科学与技术] 

主      题：数据监控 异常告警 数据一致性 Flask 朴素贝叶斯 

摘      要：随着广告投放业的蓬勃发展,一条广告在商业变现流程中所需的基础平台服务系统的复杂性也在不断的提高。在这样复杂的分布式系统架构下,系统依赖导致系统间数据不一致的现象也是时有发生,这对用户来说就是利益受损,对平台来说就是产生资损。因此如何确保业务数据的准确、解决系统的数据一致性问题成为重中之重。该系统即为在公司实习期间,为解决系统间数据不一致的问题所立项的项目。系统结合公司实际业务背景和需求,旨在为多业务、多数据源提供统一的数据核对能力,主要包括数据源管理、监控任务的统一化配置、任务的异步化调度、任务的执行、异常数据的告警和告警原因的预测、异常数据的处理、异常数据的分析与统计模块,通过监控业务数据,及时暴露数据异常,尽可能小的减少资金损失,提高公司的内部效能和业务数据的准确性。本人在项目中参与并完成了系统的前期调研与立项、系统的需求分析,设计开发、测试和上线的过程,主要负责的系统模块有监控任务配置、任务的异步化调度、任务的执行、异常数据的告警和处理、异常原因预测五个模块。在系统的具体实现中,Web框架使用Python的Flask框架,RPC（Remote Procedure Call）框架使用公司自研的Euler框架,消息队列使用Rocket MQ,数据缓存使用Redis(（Remote Dictionary Server）,告警原因预测算法使用朴素贝叶斯分类算法。目前系统已经完成基本功能需求的上线,稳定地在线上运行,且进入运营阶段,已经指导多位用户进行规则的配置,规则执行成功率达到99%+。在使用过程中也在不断的收集线上需求,进行需求的持续迭代中。