基于分布式数据库HBase的负载均衡策略研究及实现

作     者：辛蔚 

作者单位：北京工业大学 

学位级别：硕士

导师姓名：谌云莉

授予年度：2018年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

主      题：HBase 负载均衡 热点访问 分布式数据库 

摘      要：随着网络技术的快速发展,许多多媒体项目都需要大量的计算机数据存储和读取,而如此大量的数据若只是在单一计算机上,并且在一个规定的时间内进行处理,是根本不可能完成的。为了解决这些问题,满足网络技术发展的需求,便提出了分布式数据库。与此同时,在分布式数据库HBase的发展过程中,HBase的负载均衡问题也开始显现。在HBase分布式数据库环境中,由于分布式数据库节点性能上的差异以及已存储数据量不同和数据库访问请求数量不同,经常会出现各个节点负载非常不平衡的情况。所以,需要通过一定的负载均衡措施,来调节分布式数据库中的各个节点的负载达到几乎均匀分配的状态,提高分布式数据库的性能。负载均衡技术能够根据分布式数据库当前的工作状态,并通过节点的负载信息,将请求分配到负载量较少的节点上,并且,可以周期性的通过负载迁移来调节分布式集群中各个节点的负载,试图使得分布式数据库中所有节点的负载大致相等。本文在研究了分布式数据库HBase原负载均衡算法和一些负载均衡改进算法的基础上,提出了基于热点访问的负载均衡改进算法,提出的改进算法主要针对原算法中没有解决的热点访问负载问题。当一个分布式数据库出现了因为热点访问而引起的负载问题时,若是没有相应的措施来处理解决,会对分布式数据库造成很严重的影响。改进算法的目的也是在原算法的这个问题上进行改进,进而提高分布式数据库在面对热点访问负载问题时的性能和安全性。本文针对分布式数据库各节点性能不相同情况下的负载均衡问题进行了研究。在分布式数据库各个节点性能不相同的情况下,负载均衡会更加难以实现。因为负载均衡的策略是通过分析分布式数据库中各个节点的数据并进行分析计算来实现的,在节点性能不相同的情况下需要引入新的考虑因素来解决问题。本文的改进算法中引入了百分比这一因素来处理相关问题,从而提高分布式数据库在面对节点性能不相同情况下的负载均衡问题时的性能和安全性。本文的最后部分对本文提出的基于热点访问的负载均衡改进算法和节点性能不相同情况下的负载均衡改进算法,分别在搭建的环境中进行了实验验证,通过实验结果,证明了本文提出的基于热点访问的负载均衡改进算法和节点性能不相同情况下的负载均衡改进算法的有效性。