Key-Value型NoSQL本地存储系统研究

作     者：马文龙 朱妤晴 蒋德钧 熊劲 张立新 孟潇 包云岗 MA WenLong;ZHU YuQing;JIANG DeJun;XIONG Jin;ZHANG LiXin;MENG Xiao;BAO YunGang

作者机构：中国科学院计算技术研究所先进计算机系统研究中心北京100190 中国科学院大学北京100049 工业和信息化部信息中心北京100846 

出 版 物：《计算机学报》 (Chinese Journal of Computers)

年 卷 期：2018年第41卷第8期

页      面：1722-1751页

核心收录：

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家"九七三"重点基础研究发展规划项目(2014CB340402) 国家自然科学基金(61303054 61420106013) 山东省自然科学基金(ZR2016FM41)资助~~ 

主　　题：NoSQL 键值存储 多核扩展性 并发数据结构 日志结构合并型存储 SSD/NVM 

摘      要：NoSQL系统因其高性能、高可扩展性的优势在大数据管理中得到广泛应用,而key-value(KV)模型则是NoSQL系统中使用最广泛的一种存储模型.KV型本地存储系统对于以机械磁盘为持久化存储的情形,存在许多性能优化技术,但这些优化技术面对当前的硬件发展新趋势,如多核处理器、大内存和低延迟闪存、非易失性内存NVM(Non-Volatile Memory)等,难以充分发挥新硬件的优势,如数据索引、并发控制、事务日志管理等技术在多核架构下存在多核扩展性问题,又如数据存储策略不适应闪存SSD(Solid State Drive)的新存储特性而产生了IO利用率低效的问题.针对多核处理器、大内存和闪存、NVM等硬件发展新趋势,文中面向当前的大数据应用背景,综述了KV型本地存储系统在索引技术、并发控制、事务日志管理和数据放置等核心模块上的最新优化技术和系统研究成果.从处理器、内存和持久化存储的角度概括了KV型本地存储系统当前存在的最优技术,总结了当前研究尚未解决的技术挑战,并对KV型本地存储系统在CPU缓存高效性、事务日志扩展性和高可用性等方面的研究进行了展望.