基于Flink平台的资源感知任务调度策略

作     者：汪丽娟 钱育蓉 张猛 英昌甜 赵燚 WANG Li-juan;QIAN Yu-rong;ZHANG Meng;YING Chang-tian;ZHAO Yi

作者机构：新疆大学软件学院新疆乌鲁木齐830046 新疆大学电气工程学科博士后流动站新疆乌鲁木齐830046 新疆大学信息科学与工程学院新疆乌鲁木齐830046 

出 版 物：《东北师大学报（自然科学版）》 (Journal of Northeast Normal University(Natural Science Edition))

年 卷 期：2020年第52卷第2期

页      面：66-72页

学科分类：08[工学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 081202[工学-计算机软件与理论] 

基　　金：国家自然科学基金资助项目(61562086,61462079) 新疆维吾尔自治区教育厅创新团队项目(XJEDU2016S035) 新疆大学博士科研启动基金资助项目(BS150257) 2017年度自治区高校科研计划项目(XJEDU2017T002). 

主　　题：任务调度 资源感知 Apache Flink 流式计算 性能优化 负载均衡 

摘      要：针对Flink平台下先来先服务任务调度算法忽略任务资源需求与节点可用资源之间的关系,导致不同节点任务负载不均,从而影响系统吞吐量的问题,提出了基于Flink流式计算环境下资源感知任务调度策略.首先,以GlobalState模块监测的资源数据为依据,考虑任务资源需求与节点可用资源间的匹配关系,提出一种任务选择算法与节点选择算法选取待执行任务与最佳调度节点;其次,通过资源感知调度策略把待执行任务调度至最佳调度节点;最后,通过实验验证算法的有效性.实验结果表明,相比Flink平台现有的调度算法,本文所提出的算法在大数据基准测试WordCount以及TeraSort下的吞吐量平均提高了约29.32%和35.86%.