检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于超低延迟SSD的页交换关键技术

计算机研究与发展 2024年

作者：王紫芮 * 蒋德钧先进计算机系统研究中心(中国科学院计算技术研究所) 中国科学院大学处理器芯片全国重点实验室(中国科学院计算技术研究所)

随着内存密集型应用的快速发展，应用对单机内存容量的需求日益增大.然而，受到颗粒密度的限制，内存容量的扩展度较低.页交换机制是进行内存扩展的经典技术，该机制通过将较少使用的内存页面暂存在存储设备，以达到扩展内存的目的.过... 详细信息

随着内存密集型应用的快速发展，应用对单机内存容量的需求日益增大.然而，受到颗粒密度的限制，内存容量的扩展度较低.页交换机制是进行内存扩展的经典技术，该机制通过将较少使用的内存页面暂存在存储设备，以达到扩展内存的目的.过去页交换机制由于慢速磁盘的读写速度限制，无法被广泛应用.近年来，得益于超低延迟固态硬盘（solid state drive, SSD）的快速发展，页交换机制可以利用其低延迟的读写特性，提升页交换效率.然而，在低I/O延迟的情况下，传统页交换机制的I/O栈存在巨大的软件开销.首先对使用超低延迟SSD的Linux页交换机制进行测试与分析，发现现有页交换机制的主要瓶颈在于发送请求时存在队头阻塞问题、I/O合并和调度开销，以及内核返回路径上的中断处理和直接内存回收开销.基于分析结果，提出基于超低延迟SSD的页交换机制***在Linux I/O栈的基础上增加对轮询请求的处理，并降低I/O合并与调度开销，实现轻量级的I/O栈.基于Ultraswap的I/O栈，对内核页交换机制的换入与换出路径进一步优化.通过优化对缺页、直接内存回收的处理，降低页交换机制关键路径上的时间开销.实验结果表明Ultraswap在应用测试场景下相比Linux页交换机制能够提升19%的平均性能；在可使用内存比例为20%的情况下，Ultraswap可达到33%的性能提升.

关键词：页交换 I/O栈超低延迟SSD 轮询 NVMe SSD

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

一种日志结构块存储系统一致性模型

高技术通讯 2024年第4期34卷 366-378页

作者：杨勇鹏蒋德钧中国科学院计算技术研究所北京100190 中国科学院大学北京100049

随着物理设备容量增大,日志结构块存储系统一致性模型及异常恢复的时间和空间复杂度都在增加。一致性状态作用域大小与异常恢复复杂度成反比,与写请求冲突概率成正比。首先,提出单一一致性状态定义(CTS),降低异常恢复复杂度。其次,分析... 详细信息

随着物理设备容量增大,日志结构块存储系统一致性模型及异常恢复的时间和空间复杂度都在增加。一致性状态作用域大小与异常恢复复杂度成反比,与写请求冲突概率成正比。首先,提出单一一致性状态定义(CTS),降低异常恢复复杂度。其次,分析一致性状态生成的充要条件和开销,引入WSL链表设计一致性状态生成算法;在一致性状态生成算法的基础上,本文提出多WMT元数据管理结构MCT,将一致性状态生成与用户写请求冲突降低至链表结点级别。最后,以一致性模型为基础设计异常恢复算法,并设计实现日志结构块存储系统SCB。实验表明,相对于ASD系统,SCB系统吞吐率提升135.59%,99.90%尾延迟降低42.89%,fileserver负载性能提升25.00%,异常恢复时间为ASD的1/23。相对于dm-thin系统,SCB系统吞吐率提升225.72%,varmail负载性能提升46.67%。

关键词：日志结构存储系统块存储系统异常恢复一致性状态一致性模型

一种wandering B+tree问题解决方法

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2023年第3期60卷 539-554页

作者：杨勇鹏蒋德钧中国科学院计算技术研究所北京100190 中国科学院大学北京100049

为了应对磁盘和固态硬盘随机写和顺序写性能差异较大的问题,文件系统和块存储系统通常采用日志结构(log-structured)技术将随机写转换为顺序写.因此,对于日志结构存储系统数据和元数据的修改都以异地写的方式执行.在日志结构存储系统中,... 详细信息

为了应对磁盘和固态硬盘随机写和顺序写性能差异较大的问题,文件系统和块存储系统通常采用日志结构(log-structured)技术将随机写转换为顺序写.因此,对于日志结构存储系统数据和元数据的修改都以异地写的方式执行.在日志结构存储系统中,B+tree常被用于管理元数据,这就会导致wandering B+tree问题,即树结点异地更新会导致树结构递归更新.目前,现有工作主要通过分离树结点的逻辑索引和物理地址,并使用额外的数据结构和物理设备空间存放树结点逻辑索引和物理地址的映射,从而避免递归更新树结构.但现有方法既引入额外空间开销,又存在额外物理设备空间非顺序写的问题.提出IBT B+tree,将树结点逻辑索引和物理地址均存放在树结构中.同时,基于IBT B+tree结构引入dirty链表设计,并提出了非递归更新的IBT B+tree下刷算法.IBT B+tree既解决了wandering B+tree问题,又不引入额外的数据结构和物理设备空间,消除了固定物理设备空间的非顺序写.分别实现IBT B+tree和基于F2FS中NAT设计的B+tree,在此基础上设计实现Monty-Dev块存储系统以评价2棵B+tree.实验表明,在HDD和SSD介质上,IBT B+tree在写放大和下刷效率方面均优于NAT B+tree.

关键词：日志结构存储系统块存储系统 wandering B+tree IBT B+tree 写放大

在线全文

学校读者我要写书评

暂无评论

影响非易失性内存系统性能的因素分析

计算机研究与发展 2014年第S1期51卷 25-31页

作者：夏飞蒋德钧熊劲中国科学院计算技术研究所北京100190 中国科学院大学北京100049

新型非易失性存储器(non-volatile memory,NVM)具有扩展性好、静态能耗低、非易失性等特点,基于NVM的内存系统有望在未来补充甚至替代DRAM内存.但是NVM写延迟较长、写耐久性有限、动态写能耗高的问题,对NVM的实际应用产生了挑战.NVM内... 详细信息

新型非易失性存储器(non-volatile memory,NVM)具有扩展性好、静态能耗低、非易失性等特点,基于NVM的内存系统有望在未来补充甚至替代DRAM内存.但是NVM写延迟较长、写耐久性有限、动态写能耗高的问题,对NVM的实际应用产生了挑战.NVM内存系统如何影响应用程序,哪些因素会影响NVM内存系统的性能,是一个值得研究的问题.初步评测了NVM内存系统的性能,所提出的NVM内存包括两种:一种是只有NVM的内存(NVM-only memory);另一种是DRAM/NVM构成的混合内存.同时对比了NVM内存与DRAM内存的性能,分析了影响NVM内存系统的因素.最后,讨论了NVM内存系统研究的未来工作.

关键词：非易失性存储器内存系统性能评测分析

基于虚拟化平台的Hadoop应用I/O性能分析

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2015年第S2期52卷 155-162页

作者：郭梦影蒋德钧陈静熊劲中国科学院计算技术研究所北京100190 山东省计算中心(国家超级计算济南中心) 济南250101 山东省计算机网络重点实验室济南250101 山东科技大学信息科学与工程学院山东青岛266590

MapReduce编程模型在大规模并行化应用的设计和开发领域正在发挥越来越重要的作用.同时,Hadoop又是现在被广泛使用的云平台中数据密集型应用开发的开源MapReduce实现方式.众所周知,在云计算中最小的计算单元就是虚拟机,虚拟机有充分利... 详细信息

MapReduce编程模型在大规模并行化应用的设计和开发领域正在发挥越来越重要的作用.同时,Hadoop又是现在被广泛使用的云平台中数据密集型应用开发的开源MapReduce实现方式.众所周知,在云计算中最小的计算单元就是虚拟机,虚拟机有充分利用系统资源,使系统便于管理,提高系统可靠性和节省开销等多种优点.该文将通过一系列实验对不同虚拟化平台上Hadoop应用的I/O性能进行评测分析,这些实验的结果可以作为将来选择虚拟机类型的标准,以便Hadoop应用能够在虚拟化平台中获得最好的I/O性能.

关键词： MapReduce Hadoop 分布式文件系统虚拟机 I/O性能

在线全文

学校读者我要写书评

暂无评论

通过差值和压缩减少SSD的擦除次数

计算机科学与探索 2019年第1期13卷 45-55页

作者：郭云格陈明宇蒋德钧中国科学院计算技术研究所北京100190 中国科学院大学北京100049

作为SSD(solid state drives)的存储元件,NAND闪存在进行写之前,存储单元必须先进行擦除,因此被称作写一次存储器。SSD的使用寿命受到存储单元的擦除次数的限制,因此减少擦除次数对于SSD的可靠性十分重要。提出了一种通过编码压缩后的... 详细信息

作为SSD(solid state drives)的存储元件,NAND闪存在进行写之前,存储单元必须先进行擦除,因此被称作写一次存储器。SSD的使用寿命受到存储单元的擦除次数的限制,因此减少擦除次数对于SSD的可靠性十分重要。提出了一种通过编码压缩后的差值信息的方法来对SSD中写过一次的页面进行二次写,从而减少SSD的擦除次数,延长使用寿命。首先计算物理页面中更新前后的数据的差值,然后将差值数据进行压缩,再将压缩后的数据进行编码后保存在写过的物理页中的可写位中,以此实现写过物理页的二次写。实验结果表明,对于数据更新为主的应用,该方法能够充分利用写过的物理页中的可写位,大幅减少SSD的擦除次数。

关键词：固态硬盘(SSD) 擦除次数二次写

在线全文

学校读者我要写书评

暂无评论

基于持久化内存的索引设计重新思考与优化

计算机研究与发展 2021年第2期58卷 356-370页

作者：韩书楷熊子威蒋德钧熊劲计算机体系结构国家重点实验室(中国科学院计算技术研究所) 北京100190 中国科学院大学北京100049

非易失性内存(non-volatile memory,NVM)是近几年来出现的一种新型存储介质.一方面,同传统的易失性内存一样,它有着低访问延迟、可字节寻址的特性;另一方面,与易失性内存不同的是,掉电后它存储的数据不会丢失,此外它还有着更高的密度以... 详细信息

非易失性内存(non-volatile memory,NVM)是近几年来出现的一种新型存储介质.一方面,同传统的易失性内存一样,它有着低访问延迟、可字节寻址的特性;另一方面,与易失性内存不同的是,掉电后它存储的数据不会丢失,此外它还有着更高的密度以及更低的能耗开销.这些特性使得非易失性内存有望被大规模应用在未来的计算机系统中.非易失性内存的出现为构建高效的持久化索引提供了新的思路.由于非易失性硬件还处于研究阶段,因此大多数面向非易失性内存的索引研究工作基于模拟环境开展.在2019年4月英特尔发布了基于3D-XPoint技术的非易失性内存硬件apache pass(AEP),这使得研究人员可以基于真实的硬件环境去进行相关研究工作.首先评测了真实的非易失性内存器件,结果显示AEP的写延迟接近DRAM,而读延迟是DRAM的3~4倍.基于对硬件的实际评测结果,研究发现过去很多工作对非易失性内存的性能假设存在偏差,这使得过去的一些工作大多只针对写性能进行优化,并没有针对读性能进行优化.因此,重新审视了之前研究工作,针对过去的混合索引工作进行了读优化.此外,还提出了一种基于混合内存的异步缓存方法.实验结果表明,经过异步缓存方法优化后的混合索引读性能是优化前的1.8倍,此外,经过异步缓存优化后的持久化索引最多可以降低50%的读延迟.

关键词：非易失性内存持久化内存索引存储系统键值存储系统

一种面向非易失性内存文件系统的数据读写粒度控制策略

在线全文

学校读者我要写书评

暂无评论

高技术通讯 2021年第7期31卷 692-704页

作者：王盈蒋德钧熊劲中国科学院计算技术研究所先进计算机系统研究中心北京100190 中国科学院大学北京100049

数据读写是文件系统的重要操作。传统的文件系统基于磁盘设计,数据读写需要旋转磁头,因此数据读写慢。文件系统使用I/O调度层对读写操作进行拆分和合并,减少磁头寻道时间,提高系统性能。新型非易失性内存(NVMM)支持字节寻址和随机访问,... 详细信息

数据读写是文件系统的重要操作。传统的文件系统基于磁盘设计,数据读写需要旋转磁头,因此数据读写慢。文件系统使用I/O调度层对读写操作进行拆分和合并,减少磁头寻道时间,提高系统性能。新型非易失性内存(NVMM)支持字节寻址和随机访问,文件系统可以直接使用内存指令进行数据操作。因此,现有的NVMM文件系统,如ext4-dax、PMFS和NOVA,不再考虑数据操作粒度的优化,直接按照文件数据的存储粒度(如4kB)在应用和文件系统之间传输数据。然而,文件系统中的数据读写性能仍然受到操作粒度的影响。本文分析了文件系统在真实NVMM硬件上的性能,发现大粒度操作会降低文件系统性能,并针对数据读写操作粒度提出了优化策略。实验结果表明,本文提出的优化策略使得NVMM文件系统性能提升30.1%。

关键词：非易失性内存(NVMM) 文件系统性能数据读写粒度

在线全文

学校读者我要写书评

暂无评论

UGD:面向固态盘缓存系统的数据过滤技术

高技术通讯 2016年第8期26卷 739-749页

作者：张子刚蒋德钧孙凝晖中国科学院计算机体系结构国家重点实验室北京100190 中国科学院计算技术研究所北京100190 中国科学院大学北京100049

为了提高固态盘(SSD)缓存系统固态盘的使用寿命,研究了系统的数据过滤技术。针对现有固态盘缓存系统数据过滤技术没有考虑数据页重用距离,导致重用距离大于固态盘缓存大小的数据页进入固态盘缓存,造成不必要的缓存页替换和固态盘擦写,... 详细信息

为了提高固态盘(SSD)缓存系统固态盘的使用寿命,研究了系统的数据过滤技术。针对现有固态盘缓存系统数据过滤技术没有考虑数据页重用距离,导致重用距离大于固态盘缓存大小的数据页进入固态盘缓存,造成不必要的缓存页替换和固态盘擦写,从而降低缓存命中率和固态盘使用寿命的问题,提出了一种协同的数据过滤技术UGD。该技术综合考虑了数据页访问频率和数据页重用距离,让访问次数少和重用距离长的数据页不进入固态盘缓存,从而增长了固态盘的使用寿命。为了评测UGD技术的效果,实现了一个固态盘缓存模拟器,并使用开源负载和实际应用负载进行了大量实验。实验数据表明,与现有过滤技术相比,UGD技术能够使固态盘缓存系统的平均命中率提高10%,使固态盘平均写入量降低42.5%。

关键词：固态盘(SSD) 固态盘缓存系统固态盘寿命数据过滤