大数据环境下的分布式数据流实时处理技术研究（英文）
Study on real-time processing technology of distributed data flow in big data environment作者机构：河北政法职业学院计算机系石家庄050061
出 版 物：《机床与液压》 (Machine Tool & Hydraulics)
年 卷 期：2019年第47卷第6期
页 面：150-155页
学科分类：0810[工学-信息与通信工程] 08[工学] 081001[工学-通信与信息系统]
基 金：Research topic of Hebei Department of human resources and social security in 2016-Research on the transfer of employment channel based on large data in rural labor force(JRS-2014-1106) Research project of Hebei Professional College of Political Science and Low in 2016 "Research on the problems and Countermeasures of students’Entrepreneurship in E-commerce Major"(ZF20160613)~~
主 题：大数据 Map Reduce 工作流 分布式 调度方法
摘 要：大数据背景下的海量分布式数据流处理技术要求较高的实时性和成功率。为了提高分布式环境下数据流实时处理的实时性,采用Hadoop分布式系统平台,提出了一种Map Reduce工作流实时调度优化方法。该方法采用2个相关参数来动态调整每个作业在队列中的重要程度,以便对工作流的优化做出动态的判断。此外,为了减少工作流整体的执行时间,对关键作业能否本地化进行判断和时间对比,从而尽量增加map任务的本地化。实验结果显示,提出的工作流实时调度优化方法在响应时间和调度成功率方面表现出较好的性能。
维普期刊数据库
同方期刊数据库