基于大数据ETL引擎的批量智能开发平台研究
Research on batch intelligent development platform based on big data ETL engine作者机构：中国移动通信集团广东有限公司东莞分公司东莞523129
出 版 物：《电信工程技术与标准化》 (Telecom Engineering Technics and Standardization)
年 卷 期：2024年第37卷第3期
页 面：20-25页
学科分类：0810[工学-信息与通信工程] 08[工学]
摘 要：大数据时代,为了能更好提升多样化源数据类型情况下的ETL开发效率,本文提出了一种基于大数据ETL引擎的批量智能开发平台,重构ETL核心代码完善组件功能,用Java代码自研发class方法,智能调度API接口,批量生成全删全插、增量同步、拉链表和数据质量稽核等XML脚本,转译ETL的XML代码为可执行Java代码,降低操作员使用平台的技术难度。通过实操验证,本文提出的方法能增加平台的开发效率,更快速实现需求。
维普期刊数据库
同方期刊数据库