业务数据可视化平台的设计与实现

作     者：胡轲鑫 

作者单位：北京交通大学 

学位级别：硕士

导师姓名：赵宏

授予年度：2023年

学科分类：08[工学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 081202[工学-计算机软件与理论] 

主      题：可视化 OLAP 数据库 Spring Boot 业务数据 

摘      要：随着互联网的迅猛发展,企业的业务范围越来越广泛,导致了大量的业务数据积累和数据量急剧增加,传统的OLTP数据库技术已经无法满足更高的数据处理效率、实时性、数据分析和数据挖掘的需求。相反,基于数据仓库的OLAP技术正逐渐成为流行的解决方案,可以对业务数据进行汇集、清洗、标准化,并从中筛选出有用的分析数据,帮助企业制定战略决策。本研究旨在设计并实现一个业务数据可视化平台,以高效管理和利用公司内部各个系统的数据。目前,常见的数据仓库都基于单一主题的数据模型建立,如雪花模型和星型模型。相比其他数据仓库,本平台最大的特点是能够面向多主题集成不同结构的数据,并对其进行可视化处理。本文还对多主题数据进行了进一步抽象,设计出一种通用数据模型,从而使其能够适应不同结构类型的数据,实现了多源集成的效果。该平台能够轻松集成来自不同主题的数据,并可以根据公司对数据的需求自定义构建数据集。平台通过可视化组件将数据集的内容呈现,并支持根据维度的数据粒度动态调整,以实现维度下钻和上卷的效果。该平台是采用JAVA语言开发的,使用了Spring Boot技术、Flyway数据库初始化技术、My Batis数据持久化框架和Quartz定时任务框架等,主要实现了五个模块:数据源、数据集、视图、面板和系统管理。每个模块的主要功能如下:数据源模块:包括主流的关系型数据库(SQL Server、My SQL、Oracle等)、非关系型数据库(Mongo DB等)以及API接口的数据源配置。使用Druid连接池管理数据库连接,采用加密方式将数据源配置信息保存到本地My SQL据库中。数据集模块:包括数据集管理、数据的提取、清洗、转换、加载以及发布数据提取任务,使用Quartz任务框架执行任务调度工作,通过Kettle服务接口实现ETL操作,结合线程池和连接池高效管理数据提取任务的发布。视图模块:使用ECharts和Ant V可视化技术处理数据集的数据并生成图像,并支持多图库、自定义坐标字段(维度、指标)、条件过滤、多种指标计算方法、数据下钻等功能,并结合使用线程池和Redis缓存来高效计算、查询聚合结果。面板模块:组装视图,支持拖拽添加视图,支持组件覆盖、悬挂等功能。支持视图联动、数据联动、超链接、分享、导出为PDF等功能。系统模块:包括用户管理、日志管理、消息管理、系统参数管理和任务管理。该平台已上线并在公司内部广泛使用。例如,财务部门使用该平台展示公司每月的收入支出明细;产品经理针对客户自定义面板数据,分析不同时期的业务数据以制定业务战略决策。该产品运营状况良好,满足甲方需求,大大提高了甲方对数据管理和利用的效率。