Flink环境下基于负载预测的弹性资源调度策略

作     者：李梓杨 于炯 王跃飞 卞琛 蒲勇霖 张译天 刘宇 LI Ziyang;YU Jiong;WANG Yuefei;BIAN Chen;PU Yonglin;ZHANG Yitian;LIU Yu

作者机构：新疆大学软件学院新疆乌鲁木齐830008 新疆大学信息科学与工程学院新疆乌鲁木齐830046 成都大学计算机学院四川成都610106 广东金融学院互联网金融与信息工程学院广东广州510521 

出 版 物：《通信学报》 (Journal on Communications)

年 卷 期：2020年第41卷第10期

页      面：92-108页

核心收录：

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(No.61862060,No.61462079,No.61562086,No.61562078) 新疆维吾尔自治区自然科学基金项目(No.2017D01A20) 新疆大学博士生科技创新项目(No.XJUBSCX-201902) 

主　　题：流式计算 资源调度 负载预测 性能瓶颈 Flink 

摘      要：为了解决大数据流式计算平台中存在计算负载剧烈波动,但集群因资源不足而遇到性能瓶颈的问题,提出了Flink环境下基于负载预测的弹性资源调度(LPERS-Flink)策略。首先,建立负载预测模型并在此基础上提出负载预测算法,预测集群负载的变化趋势;其次,建立资源判定模型,以判定集群出现资源瓶颈与资源过剩的问题,由此提出弹性资源调度算法,制定弹性资源调度计划;最后,通过在线负载迁移算法执行调度计划,实现高效的节点间负载迁移。实验结果表明,该策略在负载剧烈波动的应用场景中有较好的优化效果,实现了集群规模和资源配置对负载变化的及时响应,降低了负载迁移的通信开销。