基于FPGA的Kylin Cubing算法加速关键技术研究

作     者：孟圆 

作者单位：云南大学 

学位级别：硕士

导师姓名：杨军

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

主      题：Deflate FPGA 异构计算 Kylin Cube 

摘      要：大规模并行处理和列式存储将SQL的查询速度从小时提升到了分钟,但是这远远满足不了交互式分析的实时性需求。Apache Kylin是基于空间换时间思想的分布式联机分析处理。Kylin能够为超大规模的数据集提供多维分析能力和亚秒级的标准SQL查询。但是Kylin的维度增加会带来多维立方体维度爆炸的问题,同时给磁盘和网络传输带来巨大压力。为解决多维立方体构建维度爆炸的问题,本文进行了如下工作:1.首先提出了基于FPGA(Field-Programmable Gate Array)的Deflate硬件压缩模型。通过Area、Loop-Carried、循环展开等硬件优化手段,得到了2.33的压缩率和2.87GB/S的压缩速度。该模型的压缩速度相比软件实现的Deflate算法压缩性能有明显提升。2.然后提出了基于硬件压缩加速的异构分布式三层模型设计,并进行对比实验验证了异构集群在读、写、计算性能上均有显著提升。3.最后提出了在查询引擎层构建基于异构加速的分布式Cubing模型,并对其进行基于贪心的动态剪枝优化。基于上述工作,对异构加速的Cubing模型和仅动态剪枝加速的Cubing模型进行对比实验。实验结果表明,异构加速的Cubing模型在构建时间上获得了3.7倍的加速比,在平均查询时间上获得2倍的加速比。本文提出的基于异构加速的Cubing模型能够对多维立方体的构建和查询进行加速,以缓解Kylin在维度爆炸时带来的IO压力。