改进一致性哈希优化存储邮政数据算法的研究

作     者：李泽山 LI Zeshan

作者机构：国家林业和草原局信息中心北京100714 

出 版 物：《现代电子技术》 (Modern Electronics Technique)

年 卷 期：2024年第47卷第6期

页      面：43-48页

学科分类：0810[工学-信息与通信工程] 08[工学] 081001[工学-通信与信息系统] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：内蒙古自然科学基金项目(2020MS06029) 内蒙古自然科学基金项目(2021LHMS06013) 内蒙古自然科学基金项目(2020LH06009) 内蒙古自治区关键技术攻关计划项目(2020GG0165) 

主　　题：数据存储 一致性哈希算法 加权轮询算法 分布式文件系统 负载均衡 异构集群 分配策略 

摘      要：随着电子商务不断发展,邮政快递行业数据日益增多,传统方式对于邮政数据存储的理论与方法都已无法满足需求。基于此情况,使用一致性哈希算法来解决存储系统的横向弹性扩展,结合一致性哈希的虚拟节点与加权轮询算法优化Hadoop平台下分布式文件系统(HDFS)存储策略,实现集群在同构与异构条件下的数据均衡效果。同时介绍集群节点数据转移思想,设计负载因子与系统自检周期,实现了集群动态权重的负载转移,并进行实验验证。实验结果表明,文章提出的改进算法与HDFS、普通一致性哈希相比,在不同条件下集群负载差值均有不同程度的提升,证明了该策略可以有效降低集群节点间负载差值。