检索结果-南通市图书馆

基于SSD的LSM-Tree键值存储技术研究

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于SSD的LSM-Tree键值存储技术研究

作者：杨子宁电子科技大学

学位级别：硕士

面对爆发式增长的海量数据,键值存储系统逐渐成为支持大规模应用程序的关键组件。一方面,基于闪存的固态存储器（SSD）有极高的读写性能,随着成本的下降,逐渐取代了传统的机械磁盘,广泛地应用于数据中心。另一方面,日志合并树（LSM-Tre... 详细信息

面对爆发式增长的海量数据,键值存储系统逐渐成为支持大规模应用程序的关键组件。一方面,基于闪存的固态存储器（SSD）有极高的读写性能,随着成本的下降,逐渐取代了传统的机械磁盘,广泛地应用于数据中心。另一方面,日志合并树（LSM-Tree）是键值存储的主流数据结构,对写进行优化。然而,LSM-Tree本身是为机械磁盘设计的,闪存拥有许多新特性,难以被高效利用。SSD为兼容传统系统构架,通过闪存转换层（FTL）屏蔽了这些特性。直接在通用SSD上部署LSM-Tree键值存储引擎,存在软件冗余,进而引发级联写放大,读性能差等问题。为解决上述问题,本文研究了键值存储系统架构,设计并仿真实现了键值固态存储器（KVSSD）,该存储器将LSM-Tree结构嵌入到SSD设备中,通过键值接口直接提供服务,并结合软硬件特性优化了FTL的相关算法。首先,为支持键值接口,设计了基于NVMe协议的键值命令,对存储设备与主机间通信协议进行拓展,以适应提出的架构。然后,提出了面向LSM-Tree的FTL,通过挖掘LSM-Tree的语义信息和闪存的固有特性,对相关算法进行优化:（1）针对写放大问题,设计了感知层级的冷热数据分离算法以及稳定的贪婪垃圾回收算法。利用LSM-Tree不同层级SSTable生命周期不同的特性,将数据分类存储在闪存块中,且优先选择更稳定的高层级数据进行垃圾回收;（2）针对读性能问题,设计了SSTable存储结构优化算法。利用MLC闪存高低页面速度不对称的特性,将SSTable中读取频率较高的元数据分配到速度更块的闪存页面上,减小整体读时延。最后,在模拟器上实现了上述方案和算法。实验结果表明,相比使用传统SSD的键值存储系统,KVSSD的整体吞吐量在不同工作负载下提升了2倍左右,写放大减小了约50%。得益于面向LSM-Tree的FTL中多个优化算法,有效数据迁移显著减少,读时延降低,提高了键值存储系统的整体效率。

关键词：键值存储系统日志合并树固态存储器闪存

基于SSD-SMR混合存储的LSM树键值存储系统的性能优化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机科学 2018年第7期45卷 61-65,89页

作者：王洋洋韦皓诚柴云鹏中国人民大学信息学院北京100872

大数据对存储系统的可扩展性、性能和成本等方面提出了更高的要求。瓦记录(Shingled Magnetic Recording,SMR)硬盘由于存储密度高、价格便宜,正逐步被广泛应用于大数据存储系统。但是,SMR硬盘的随机写性能较差,与快速的基于闪存的固态硬... 详细信息

大数据对存储系统的可扩展性、性能和成本等方面提出了更高的要求。瓦记录(Shingled Magnetic Recording,SMR)硬盘由于存储密度高、价格便宜,正逐步被广泛应用于大数据存储系统。但是,SMR硬盘的随机写性能较差,与快速的基于闪存的固态硬盘(Solid State Drive,SSD)一起构成混合存储时可以显著提升性能。同时,基于写优化的日志结构合并(Log-Structured Merge,LSM)树的键值存储已被广泛应用于许多NoSQL系统,如BigTable,Cassandra和HBase等。因此,如何基于新型的SSD-SMR混合存储构建出高性能的LSM树键值存储系统是一个具有很大研究价值的问题。首先建立基于SSD-SMR混合存储的LSM树键值系统的性能模型,然后针对SSD和SMR的硬件特征以及LSM树键值存储的软件特点,设计了一套面向SSD-SMR混合存储进行性能优化的LSM树键值存储系统,并基于LevelDB实现了该系统。在仅仅使用0.4%~2%空间的SSD的情况下,所提方法可以使SSD-SMR混合存储方案比普通磁盘方案的随机写性能提高20%,随机读性能提高5倍。

关键词：大数据日志合并树瓦记录磁盘闪存混合存储

一种基于非易失性内存的键值存储系统的研究与实现

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

一种基于非易失性内存的键值存储系统的研究与实现

作者：盛涛涛华中科技大学

学位级别：硕士

新型非易失性内存（Non-Volatile Memory,NVM）技术日渐成熟,具有低延迟、高密度、非易失、字节寻址等特点,是构建下一代存储系统的关键技术。目前主流键值存储系统通常采用日志合并树（Log-Structured Merge Tree,LSM-Tree）结构实现,... 详细信息

新型非易失性内存（Non-Volatile Memory,NVM）技术日渐成熟,具有低延迟、高密度、非易失、字节寻址等特点,是构建下一代存储系统的关键技术。目前主流键值存储系统通常采用日志合并树（Log-Structured Merge Tree,LSM-Tree）结构实现,然而由于后台排序以及分层结构的限制,LSM-Tree并不能够充分发挥NVM的高性能特点,因此需要进一步探索适合NVM的键值存储系统。针对如何在NVM上构建高性能键值存储系统的问题,提出了一种适用于NVM的新型键值存储系统HBKV（Hybrid B+tree Key Value store）。HBKV的核心是针对DRAM-NVM混合结构设计的树形索引结构HBTree（Hybrid B+tree）。HBTree在整体上分为三层,包括索引层、中间层,以及由大量日志持久化树（Log Tree）组成的数据层。索引层由一个B+树索引结构组成,由于DRAM比NVM性能更高,HBTree将访问频繁的索引层存储在DRAM,以提高系统访问性能;中间层用于衔接索引层与数据层,同时用于筛选数据层中的热点数据;数据层由大量较小的Log Tree组成,为了提高热点数据的访问性能,将热度较高的Log Tree缓存到DRAM,同时采用日志方式保证缓存到DRAM中的Log Tree写请求数据的可靠性。HBKV能够利用HBTree索引结构保证数据的高效访问与持久化,拥有较高的读写性能。基于真实的NVM设备,实现了HBTree和HBKV的系统原型,并与基于NVM优化的B+树索引结构FAST＆FAIR和FPTree、基于LSM-Tree结构的键值系统Level DB和Rocks DB进行了对比测试。测试结果表明,在YCSB通用负载下,HBTree的性能是FAST＆FAIR的1.2～1.7倍、是FPTree的1.1～1.8倍,并且较FPTree的恢复时间减少了70%;HBKV的性能是Level DB的3.9～12.8倍、是Rocks DB的1.9～6.2倍。

关键词：非易失性内存键值存储系统日志合并树 B+树索引结构

一种基于瓦记录磁盘的键值存储系统的研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种基于瓦记录磁盘的键值存储系统的研究与实现

作者：叶虎华中科技大学

学位级别：硕士

在现代数据中心中各种大规模应用的海量数据处理中,键值存储扮演着越来越重要的角色,日益增长的数据量也催生了对高存储密度的键值存储的需求。瓦记录技术作为最为方便提升磁盘存储容量的技术,同时也存在随机写性能缺陷和严重写放大问... 详细信息

在现代数据中心中各种大规模应用的海量数据处理中,键值存储扮演着越来越重要的角色,日益增长的数据量也催生了对高存储密度的键值存储的需求。瓦记录技术作为最为方便提升磁盘存储容量的技术,同时也存在随机写性能缺陷和严重写放大问题。虽然基于日志结构合并树的键值存储能将随机写转化为顺序写,具有较高的写性能,但是简单地将键值存储应用到瓦记录磁盘上,会带来额外的随机读写和写放大问题,传统的键值存储并不能完美适配瓦记录磁盘。为了改善瓦记录磁盘随机写性能缺陷和写放大问题,本文提出了一种针对瓦记录磁盘优化的键值存储数据库系统SEALDB,以提升基于瓦记录磁盘上的键值存储数据库的性能。首先,对于日志结构合并树,SEALDB将每次合并操作中涉及的SSTable聚集起来组织为Set,将Set作为基本存储单元,减少随机读写来提高合并效率。其次,SEALDB设计了一种瓦记录磁盘的动态Band技术,尽量将多个Set连续存储到一个Band中,一方面减少了Band间隔的空间浪费,另一方面也降低了瓦记录磁盘空间管理的垃圾回收开销。最后,针对动态Band的特点,进一步设计了两个轻量级垃圾回收策略,降低了垃圾回收的磁盘开销,进而减少了垃圾回收对系统性能的影响。本文基于开源的LevelDB实现了SEALDB系统原型,并将SELADB与LevelDB和SMRDB进行对比测试。各项测试结果表明,SEALDB能有效提高系统性能。其中随机写性能是LevelDB的3.42倍,是SMRDB的1.67倍,随机读性能是LevelDB和SMRDB的1.73倍。SELADB的顺序读和顺序写性能与SMRDB相近,分别是LevelDB的1.75倍和3.96倍。

关键词：键值存储瓦记录磁盘日志合并树集合动态条带

基于非易失内存的混合键值存储系统的研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于非易失内存的混合键值存储系统的研究与实现

作者：胡泽鑫华中科技大学

学位级别：硕士

云以及移动互联网在近几年内飞速发展,各类应用对存储的读写性能与容量表现出更高的需求。非易失内存具有堪比内存的延迟与带宽,满足很多低延迟应用的需求。而非关系型数据库之中的键值系统(Key-Value,K-V),凭借高性能,强扩展性,使用灵... 详细信息

云以及移动互联网在近几年内飞速发展,各类应用对存储的读写性能与容量表现出更高的需求。非易失内存具有堪比内存的延迟与带宽,满足很多低延迟应用的需求。而非关系型数据库之中的键值系统(Key-Value,K-V),凭借高性能,强扩展性,使用灵活等诸多优势,在业界受到研究者的青睐。日志结构合并树(Log-Structure merge tree,LSM-Tree)是KV存储系统普遍采用的索引结构,通过将随机写入过程转化为顺序写入,大幅提高了写入的带宽。然而,多层数据的合并引入了大量额外的读写,阻碍正常写入过程的同时,增加了闪存介质损坏的风险,因而研究基于非易失内存的键值存储系统具有重要的意义。基于LSM的分层思想,应用非必要元数据分离的策略,提出了混合索引结构。通过前缀划分范围,降低数据重复概率,提高设备空间利用率。内存与NVM(Nonvolatile memory)索引数据独立管理,降低了写入过程中,元数据的更新对写入速度的影响。另外,针对NVM设计了一套粗粒度空间管理算法。此算法在降低外部碎片数量和保证申请效率的同时,考虑了写入负载不均衡的问题。通过自定义的负载指数,粗略估计某段空间被写入的频繁程度。申请空间参考负载指数进行,释放空间如果触发块合并,则更新这个指数,逐渐平衡各个块和文件的使用负载。基于开源KV数据库LevelDB,对本文实现了HyKV系统,并对HyKV存储系统在读写性能,负载分布等方面进行了若干测试。结果表明,相对于其他常见的基于LSM的键值系统,HyKV系统有效的提高了性能,并且空间利用率高,写入负载分布基本均衡。顺序写入性能是基于SSD(Solid-state disk)的RocksDB的1.7倍,读性能是基于NVM的RocksDB的1.2倍,空间利用率超过90%,映射文件负载极差小于10%。

关键词：键值存储非易失内存日志合并树混合索引

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种轻量级键值存储系统的研究与实现

一种轻量级键值存储系统的研究与实现

作者：桂清鑫华中科技大学

学位级别：硕士

瓦记录技术能够提升磁盘的存储密度,被广泛应用于海量数据存储系统中。以键值(Key-Value,K-V)系统为代表的非关系型数据库,能够为大数据应用提供高性能,高扩展性,高灵活性的数据处理服务。日志结构合并树(Log-Structure merge tree,LSM... 详细信息

瓦记录技术能够提升磁盘的存储密度,被广泛应用于海量数据存储系统中。以键值(Key-Value,K-V)系统为代表的非关系型数据库,能够为大数据应用提供高性能,高扩展性,高灵活性的数据处理服务。日志结构合并树(Log-Structure merge tree,LSM树)是K-V系统的主流索引结构之一,能够提供较高的写入性能。然而,LSM树的内部合并会带来很高的读写放大,而在瓦记录磁盘随机写性能缺陷的影响下,读写放大会进一步增加,使现有的LSM树系统不能很好地应用于瓦记录磁盘之上。因此,研究基于瓦记录磁盘的键值系统具有重要的现实意义。基于LSM树结构,提出轻量级合并(Light-Weight Compaction,LWC)算法。轻量级合并过程中采用元数据合并与数据追加的策略,在保证元数据查找效率的基础上,能够减少合并时的磁盘开销,提高合并效率;轻量级合并完成后采用元数据聚集策略,减少下一次合并时的读开销。基于轻量级合并算法设计并实现LWC树存储引擎。结合瓦记录磁盘物理结构,使用自定义的磁盘空间管理策略,设计并实现LWC树存储系统,将LWC树存储引擎运行于瓦记录磁盘之上,规避随机写的性能缺陷,减少读写放大,在利用瓦记录磁盘容量优势的基础上进一步提升系统写入性能。本文实现了LWC存储系统原型,并将LWC树系统与LSM树系统进行了对比测试,测试结果表明,LWC树系统能够有效提升写入性能,随机写性能是运行于瓦记录磁盘上的LSM树系统的9.8倍,是运行于普通磁盘上的LSM树系统的4.67倍。LWC树存储系统也可以应用于普通磁盘与SSD之上,对于运行于同种介质的LSM树系统,依然可以取得较高的写性能优势。

关键词：键值存储瓦记录磁盘日志合并树轻量级合并

基于LSM-Tree的键值存储引擎的优化研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于LSM-Tree的键值存储引擎的优化研究与实现

作者：冯淇华中科技大学

学位级别：硕士

以键值(Key-Value,K-V)数据库为代表的非关系型数据库,能够为大数据应用提供高性能、高扩展性、高灵活性的数据处理服务。日志结构合并树(Log-Structure merge tree,LSM树)是键值存储系统的主流存储结构之一,其将随机写转换为顺序写,能... 详细信息

以键值(Key-Value,K-V)数据库为代表的非关系型数据库,能够为大数据应用提供高性能、高扩展性、高灵活性的数据处理服务。日志结构合并树(Log-Structure merge tree,LSM树)是键值存储系统的主流存储结构之一,其将随机写转换为顺序写,能够提供很高的写入性能。然而,LSM树内部的合并操作会带来很大的写放大问题,特别是在大键值对或高更新频率的场景下,写放大问题会进一步增加。键值分离的WiscKey设计通过将键和值分开存储,减小了LSM树的大小,一定程度上缓解了写放大问题,然而在高更新频率的场景其值存储文件中无效值会大量增加占用磁盘容量,增加垃圾回收的开销使系统性能下降。为了解决数据高更新频率场景下的性能低下的问题,本文基于LSM树结构和键值分离的设计,提出了一种热数据感知方案的键值存储系统。热数据感知方案通过一套机制,有效识别出具有高更新频率的数据并将其放入热数据缓存中存储,能够大幅度减小磁盘开销,同时也减小了LSM树的合并操作次数和键值分离值存储中无效值数据占用的空间容量。本文实现了具有热数据感知能力的键值存储系统原型,在高更新频率场景对系统进行了测试以及与LevelDB的对比测试。测试结果表明,在Zipf分布,具有热数据感知能力的存储系统能够以相对小的缓存容量有效将大量更新操作放入内存执行,其命中率超过了80%;在较大值场景读写性能均显著优于LevelDB。

关键词：键值存储日志合并树键值分离热数据感知