QJoin:质量驱动的乱序数据流连接处理技术

作     者：魏星贝 李陶深 许嘉 吕品 杨宁 WEI Xingbei;LI Taoshen;XU Jia;LV Pin;YANG Ning

作者机构：广西大学计算机与电子信息学院广西南宁530004 广西高校并行与分布式计算技术重点实验室广西南宁530004 

出 版 物：《广西科学》 (Guangxi Sciences)

年 卷 期：2020年第27卷第3期

页      面：266-275页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(61402494) 广西自然科学基金面上项目(2019JJA170045)资助 

主　　题：质量驱动 连接处理 乱序数据流 存储开销 流元组 缓存 

摘      要：数据流乱序现象会导致数据流处理结果的丢失,给数据流的分析处理带来了巨大困难。本研究探讨了质量驱动下的乱序数据流连接处理问题,提出一种质量驱动的乱序数据流连接处理技术(QJoin)。QJoin采用缓冲存储技术和对称连接策略,实现并确保对流元组进行即时分析处理,从而降低了流元组处理的平均等待时间。同时,基于质量驱动的理念,根据临近阶段连接处理过程中收集统计的数据,自适应地调整和优化内存缓存区的大小,从而在满足用户结果质量要求的前提下,降低系统内部历史数据的内存缓存量,尽可能保证迟到元组的连接处理完整性。真实数据集上的实验结果表明,与传统的数据流乱序处理技术MP-K-slack相比,QJoin在满足用户结果质量要求的前提下,确保能够即时地分析处理数据流的流元组,显著降低系统的内存开销。