面向Kafka共识消息传输的负载均衡算法

作     者：苏玉钊 孙恩昌 杨睿哲 李萌 张延华 司鹏搏 张卉 SU Yuzhao;SUN Enchang;YANG Ruizhe;LI Meng;ZHANG Yanhua;SI Pengbo;ZHANG Hui

作者机构：北京工业大学信息学部北京100124 

出 版 物：《高技术通讯》 (Chinese High Technology Letters)

年 卷 期：2023年第33卷第1期

页      面：42-49页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

基　　金：国家自然科学基金(61901011) 北京市教育委员会科技计划一般项目(KM202110005021,KM202010005017)资助 

主　　题：Kafka 负载均衡 区块链 消费者 优化 

摘      要：Kafka是一种高吞吐量消息中间件,但该算法存在负载均衡导致消费者消息处理效率下降的问题。本文提出一种改进的Kafka负载均衡算法,其中协调者基于消费者和分区的对应关系,根据不同的负载均衡场景优化调整消费者数目,按照业务负载倒序的方式更新消费者和分区的对应关系,优先处理负载较大的业务分区,提高消息传输效率,并且搭建Fabric联盟链验证分析算法的性能。实验结果表明,本算法在中央处理器(CPU)资源消耗比其他算法低5%的情况下,共识速度提升了2%~7%,并且在6个Kafka节点中3个宕机的情况下仍然能共识上链,提升了Kafka负载均衡算法的效率和稳定性。