基于大数据多维分析的近似查询处理技术研究

作     者：谢金星 

作者单位：贵州大学 

学位级别：硕士

导师姓名：陈梅

授予年度：2017年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

主      题：大数据 多维分析 近似查询处理 抽样技术 近似查询处理引擎 

摘      要：随着信息技术的蓬勃发展,大数据时代已然降临。越来越多的组织和机构希望从海量数据中挖掘有价值的信息,以支持商业决策和事务决断。多维分析技术可以从多个维度和层次对海量数据进行分析,能为企业提供有力的决策支持服务。进行多维分析时,通常需处理大规模数据集,这就要将数据不断加载到内存中,导致即使一个普通的聚集查询,也可能耗费大量的执行时间;并且在具体的业务分析中,常常只需要掌握大体的发展趋势,并不要求完全准确的结果。因此,可以将近似查询处理技术,应用到此类分析场景中。本文主要研究近似查询处理技术。首先针对大数据多维分析中聚集查询效率过低的情况,研究近似查询处理中的抽样技术,在此基础上,提出了基于聚类的分层抽样近似处理技术(CSSAQP);接着利用Hadoop平台和Hive系统设计了一个近似查询处理引擎,该引擎实现了随机抽样、分层抽样以及本文提出的抽样算法;最后通过实验验证了CSSAQP的合理性和有效性。