数据质量管理平台的设计与实现

作     者：游志青 

作者单位：大连理工大学 

学位级别：硕士

导师姓名：梁文新

授予年度：2012年

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：数据质量 采集点 规则管理 数据检查 

摘      要：数据是企业数据中心的重要资产,获取并维护高质量数据,对高效的IT和业务运营至关重要。目前国内对数据质量管理都不是特别重视。随着资产生命周期管理业务系统在企业经营发展过程中的重要性逐步加强,各业务部门人员对业务系统的数据质量提出更高的要求。因此,数据质量管理这一议题被提上日程。 本文对数据质量管理进行了深入研究,对国内外现有的数据质量管理系统进行了广泛调研,确定了数据质量管理平台的功能需求、软硬件环境及其他非功能需求,阐述了其中涉及到的关键技术和业务流程。在公司的技术体系架构下,结合现有的技术框架,建立了数据质量管理平台的系统模型。采用软件生命周期理论,进行了数据质量管理平台的需求分析、概要设计、数据库设计、详细设计和系统测试,实现了关于数据质量管理的平台。 数据质量管理平台是为了资产全生命周期管理系统的数据质量而建设的。该系统可以分为七大部分,分别为基本信息、采集点管理、规则管理、数据检查管理、问题处理、数据探查和规则引擎等。工作流程是按照各大业务系统提供的数据源信息,从各大业务系统的数据仓库中提取数据,并根据相关的业务规则对数据进行校核,发现问题数据后将这些问题数据分发给相关业务部门,由专门的问题数据处理人员处理。由此完成数据提取、数据校核、问题发现、问题处理的流程。 本文设计和实现的数据质量管理平台,是基于公司技术体系架构而实现的。目前已经在很多客户上线运行,实际的使用情况表明,该平台帮助客户有效的对数据质量进行管理,能够快速检测相应业务系统中的问题数据,降低了数据质量问题带来的风险。