支持非等值连接的分布式数据流处理系统

作     者：陈明珠 王晓桐 房俊华 张蓉 CHEN Ming-zhu;WANG Xiao-tong;FANG Jun-hua;ZHANG Rong

作者机构：华东师范大学计算机科学与软件工程学院上海高可信计算重点实验室上海200062 

出 版 物：《华东师范大学学报（自然科学版）》 (Journal of East China Normal University(Natural Science))

年 卷 期：2017年第5期

页      面：11-19页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家大学生创新创业训练计划(20160269127) 国家自然科学基金(61232002) 国家863计划(2015AA015307) 国家自然基金委项目(61672233) 

主　　题：数据流处理系统 连接处理 分布式计算 

摘      要：实时处理的分布式数据流系统在当今大数据时代扮演着越来越重要的角色.其中,连接查询是大数据分析处理中最为重要且开销较大的操作之一.然而,由于现实应用产生的数据普遍存在倾斜分布现象,加之数据流本身的无界性与不可预知性,给在分布式数据流系统上进行连接查询处理提出了严峻的挑战.目前工业界较为主流的数据流系统处理连接查询的通用性较低,没有提供专门针对连接操作的接口;学术界推出的数据流连接查询原型系统虽然提供了接口,但大多面向等值连接,或仅能支持部分theta连接,且存在资源开销大、负载均衡性能低等问题.本文对比分析三种典型数据流系统,将基于Join-Matrix的连接处理技术与Storm系统相结合,设计并实现了通用的、可支持任意连接查询的数据流处理系统.实验展示了本文设计的系统具有更加良好的吞吐量与资源优化表现.