并行OLTP系统中增量数据的自动分片技术研究

作     者：王晓燕 陈晋川 杜小勇 范旭 WANG Xiaoyan;CHEN Jinchuan;DU Xiaoyong;FAN Xu

作者机构：中国人民大学信息学院北京100872 鲁东大学信息与电气工程学院山东烟台264025 教育部数据工程与知识工程重点实验室北京100872 

出 版 物：《计算机科学与探索》 (Journal of Frontiers of Computer Science and Technology)

年 卷 期：2013年第7卷第9期

页      面：800-810页

核心收录：

学科分类：08[工学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 081202[工学-计算机软件与理论] 

基　　金：国家自然科学基金No.61003086 软件开发环境国家重点实验室开放基金No.SKLSDE-2012KF-09 中国人民大学研究生科研基金No.42306176~~ 

主　　题：数据划分 联机事务处理(OLTP) 增量数据 

摘      要：近年来,由于数据规模的急剧增长,越来越多的大型应用系统被部署到分布式环境中,它们需要通过数据分片技术,将原有数据集和新增加的数据审慎地划分到不同的节点上,来优化并行联机事务处理(on-line transaction processing,OLTP)系统的性能。针对系统中已有的静态数据和新生成的增量数据,提出了一种新的数据分片策略——数据表依赖分片策略(table dependency partitioning strategy,TDPS)。该策略首先根据数据表之间的相互依赖关系,对初始数据进行划分。当有新的数据到达时,它会自动将每个数据片段分配到最相关的数据分区中。使用TPC-C测试基准进行了一系列的实验,实验结果显示,与以前的方法相比,TDPS策略可以有效地提高系统性能。