基于声明式推理的高效协同查询处理技术

作     者：邱志林 寿黎但 陈珂 江大伟 骆歆远 陈刚 

作者机构：区块链与数据安全全国重点实验室(浙江大学) 浙江大学计算机科学与技术学院 

出 版 物：《软件学报》 (Journal of Software)

年 卷 期：2024年

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划(2022YFB3304100) 中央高校基本科研业务费专项 

主　　题：数据库查询优化 声明式推理函数 协同查询处理 模型选择 

摘      要：由于深度学习领域的不断进步,人们对用协同查询处理(CQP)技术扩展关系数据库以处理涉及结构化和非结构化数据的高级分析查询越来越感兴趣.最先进的CQP方法使用用户定义函数(UDFs)来实现深度神经网络(NN)模型来处理非结构化数据,并使用关系操作来处理结构化数据.基于UDF的方法简化了查询书写,允许用户使用单一的SQL提交分析查询,但要求在即席数据分析中能够根据所需性能指标手动选择合适且高效的模型,这对用户提出了很高的挑战.为了解决该问题,提出基于声明式推理函数(DIF)的协同查询处理技术,通过优化模型选择、执行方式、设备绑定等多个查询实现路径构建完整的协同查询处理框架.基于所提研究设计的成本模型和优化规则,查询处理器能够计算出不同查询计划的代价,并自动选择最优的物理查询计划.在4个数据集上的实验结果证实了提出的基于DIF的CQP方法的有效性和效率.