基于Hadoop技术的联通大数据采集研究
Research on China Unicom Big Data Collection Based on Hadoop Technology作者机构：中国联合网络通信有限公司哈尔滨软件研究院黑龙江哈尔滨150036
出 版 物：《信息与电脑》 (Information & Computer)
年 卷 期：2021年第33卷第24期
页 面：198-200页
学科分类：02[经济学] 0202[经济学-应用经济学]
摘 要：为了提高联通大数据采集架构的性能,本文以提升数据采集效率为目标,对数据采集中的数据提取、转换和加载进行改进,提出新的提取变换负载(Extract-Transform-Load,ETL)运行方案。该研究方案建立在Hadoop平台上,根据中国联合网络通信有限公司运营体系的特点,对大数据采取预处理,并引入动态触发控制模式,优化ETL调度流程,实现并发量的监测与控制,使得数据采集效率得以提升。测试结果显示,本文提出的大数据采集方案能够缩短等待时间、改善数据资源拥堵问题,从而大大提高数据采集效率。
维普期刊数据库
同方期刊数据库