检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

低CPU开销的低延迟存储引擎

计算机研究与发展 2022年第3期59卷 489-498页

作者：廖晓坚杨者杨洪章屠要峰舒继武清华大学计算机科学与技术系北京100084 中兴通讯股份有限公司南京210012

近些年来,固态存储的硬件处理速率得到了极大改善.一块超低延迟的固态存储盘能在10μs内处理4 KB大小的数据.加速I/O收割过程以构建低延迟的存储引擎是存储系统研究中的一个重要研究课题.传统存储系统通过硬件中断机制收割I/O,却引入了... 详细信息

近些年来,固态存储的硬件处理速率得到了极大改善.一块超低延迟的固态存储盘能在10μs内处理4 KB大小的数据.加速I/O收割过程以构建低延迟的存储引擎是存储系统研究中的一个重要研究课题.传统存储系统通过硬件中断机制收割I/O,却引入了额外的上下文切换开销,延长了整体I/O处理时间.现有工作使用轮询机制以消除上下文切换,却要付出高昂的CPU开销.提出了一种低CPU开销的低延迟存储引擎NIO(nimble I/O),以充分发挥高性能固态存储盘的低延迟优势.NIO的核心思想是将大小I/O处理路径分离;大I/O使用硬件中断机制;小I/O引入惰性轮询机制,先睡眠一个变长时间间隔再持续轮询.NIO进一步提出了事务感知的I/O收割机制以降低事务的延迟,以及动态调整机制以应对上层应用负载以及设备内部活动的动态变化.实验显示在动态负载下,NIO与基于轮询的存储引擎性能相当,并能减少至少59%的CPU占用率.

关键词：存储系统非易失性存储I/O栈固态硬盘轮询中断

一种优化的Key-Value型NoSQL系统

在线全文

学校读者我要写书评

暂无评论

计算机工程 2019年第6期45卷 52-59页

作者：屠雪真屠要峰陈小强河南大学计算机与信息工程学院河南开封475001 中兴通讯股份有限公司南京210012

Key-Value(KV)是NoSQL系统中使用较为广泛的一种存储模型。针对当前主流NoSQL系统存在检索功能有限、内存容量小和宕机等问题,提出一种KV型NoSQL系统设计方法。使用可持久化的混合主索引结构解决范围查询和快速重启,采用数据分布算法和... 详细信息

Key-Value(KV)是NoSQL系统中使用较为广泛的一种存储模型。针对当前主流NoSQL系统存在检索功能有限、内存容量小和宕机等问题,提出一种KV型NoSQL系统设计方法。使用可持久化的混合主索引结构解决范围查询和快速重启,采用数据分布算法和内外存混合存储技术,通过数据在内存和固态硬盘之间的智能调度,实现了大规模数据的高效存取和低成本存储。实验结果表明,与Redis相比,对于典型大小Value,该系统在单节点读写性能上提升约8倍,配置成本降低约3/4,在海量数据的低成本高效存储上有明显优势。

关键词： NoSQL系统多核架构固态硬盘持久化存储数据分布混合存储

一种基于海量数据的信息云系统及其关键技术研究

在线全文

学校读者我要写书评

暂无评论

电信科学 2012年第12期28卷 41-47页

作者：屠要峰钱煜明中兴通讯股份有限公司南京研发中心南京210012

随着互联网的发展,互联网信息呈现海量化、社会化、多样化等趋势,如何获取这些海量信息并完成智能化的处理是本文研究的重点,本文提出了基于云计算技术构建海量数据的信息云系统,此系统采用信息自动聚合、智能分析、智能预测、自动推送... 详细信息

随着互联网的发展,互联网信息呈现海量化、社会化、多样化等趋势,如何获取这些海量信息并完成智能化的处理是本文研究的重点,本文提出了基于云计算技术构建海量数据的信息云系统,此系统采用信息自动聚合、智能分析、智能预测、自动推送技术完成整个信息处理的自动化和智能化,根据用户的标签自动挖掘出对用户有价值的信息并主动推送给用户。

关键词：海量数据信息云智能处理

基于持久性内存和SSD的后端存储MixStore

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2021年第2期58卷 406-417页

作者：屠要峰陈正华韩银俊陈兵关东海南京航空航天大学计算机科学与技术学院南京211106 中兴通讯股份有限公司南京210012

持久性内存(persistent memory,PMEM)同时具备内存的低时延字节寻址和磁盘的持久化特性,将对现有软件架构体系产生革命性的变化和深远的影响.分布式存储在云计算和数据中心得到了广泛的应用,然而现有的以Ceph BlueStore为代表的后端存... 详细信息

持久性内存(persistent memory,PMEM)同时具备内存的低时延字节寻址和磁盘的持久化特性,将对现有软件架构体系产生革命性的变化和深远的影响.分布式存储在云计算和数据中心得到了广泛的应用,然而现有的以Ceph BlueStore为代表的后端存储引擎是面向传统机械盘和固态硬盘(solid state disk,SSD)设计的,其原有的优化设计机制不适合PMEM特性优势的发挥.提出了一种基于持久性内存和SSD的后端存储MixStore,通过易失区段标记和待删除列表技术实现了适用于持久性内存的并发跳表,用于替代RocksDB实现元数据管理机制,在保证事务一致性的同时,消除了BlueStore的compaction所引发的性能抖动等问题,同时提升元数据的并发访问性能;通过结合元数据管理机制的数据对象存储优化设计,把非对齐的小数据对象存放在PMEM中,把对齐的大块数据对象存储在SSD上,充分发挥了PMEM的字节寻址、持久性特性和SSD的大容量低成本优势,并结合延迟写入和CoW(copy-on-write)技术实现数据更新策略优化,消除了BlueStore的WAL日志引起的写放大,提升小数据写入性能.测试结果表明,在同样的硬件环境下,相比BlueStore,MixStore的写吞吐提升59%,写时延降低了37%,有效地提升了系统的性能.

关键词：持久性内存并发跳表后端存储混合存储 BlueStore存储引擎

基于“采集—预测—迁移—反馈”机制的主动容错技术

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2020年第2期57卷 306-317页

作者：杨洪章杨雅辉屠要峰孙广宇吴中海北京大学软件与微电子学院北京102600 中兴通讯股份有限公司广东深圳518057 北京大学信息科学技术学院北京100871

硬盘故障是数据中心最主要的故障,严重影响了可靠性.传统的数据容错技术一般都是通过增加数据冗余来实现的,存在缺陷.主动容错技术通过预测硬盘故障提前将数据迁移,成为研究热点.现有技术大多研究硬盘故障预测,缺乏采集、迁移、反馈的研... 详细信息

硬盘故障是数据中心最主要的故障,严重影响了可靠性.传统的数据容错技术一般都是通过增加数据冗余来实现的,存在缺陷.主动容错技术通过预测硬盘故障提前将数据迁移,成为研究热点.现有技术大多研究硬盘故障预测,缺乏采集、迁移、反馈的研究,难以商用.提出“采集—预测—迁移—反馈”全流程主动容错机制,包括:分时硬盘信息采集方法、滑动窗口记录合并及样本构建方法、多类型硬盘故障预测方法、多盘联合数据迁移方法、预测结果二级验证及快速反馈方法.测试表明:采集硬盘信息对业务影响仅0.96%,硬盘故障预测召回率达94.66%,数据修复时间较传统方法减少55.10%.该工作已在中兴通讯的数据中心稳定商用,满足了主动容错技术在高可靠、高智能、低干扰、低成本、广适用等核心目标.

关键词：硬盘故障存储可靠性容错人工智能运维

一种持久性内存文件系统数据页的混合管理机制

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2020年第2期57卷 281-290页

作者：陈游旻朱博弘韩银俊屠要峰舒继武清华大学计算机科学与技术系北京100084 中兴通讯股份有限公司南京210012

英特尔于2019年4月正式发布基于3D-Xpoint技术的傲腾持久性内存(Optane DC persistent memory),这为构建高效的持久性内存存储系统提供了新的机遇.然而,现有的存储系统软件并不能很好地利用其字节寻址特性,持久性内存性能很难充分发挥.... 详细信息

英特尔于2019年4月正式发布基于3D-Xpoint技术的傲腾持久性内存(Optane DC persistent memory),这为构建高效的持久性内存存储系统提供了新的机遇.然而,现有的存储系统软件并不能很好地利用其字节寻址特性,持久性内存性能很难充分发挥.提出一种文件系统数据页的混合管理机制HDPM,通过选择性使用写时复制机制和日志结构管理文件数据,充分发挥持久性内存字节可寻址特性,从而避免了传统单一模式在非对齐写或者小写造成的写放大问题.为避免影响读性能,HDPM引入逆向扫描机制,实现日志结构重构数据页时不引入额外数据拷贝.HDPM还提出一种多重垃圾回收机制进行日志清理.当单个日志结构过大时,通过读写流程主动回收日志结构;当持久性内存空间受限时,则通过后台线程使用免锁机制异步释放日志空间.实验显示,HDPM相比于NOVA文件系统,单线程写延迟降低达58%,且读延迟不受影响;Filebench多线程测试显示,HDPM相比于NOVA提升吞吐率33%.

关键词：持久性内存文件系统写时复制日志结构垃圾回收

在线全文

学校读者我要写书评

暂无评论

NUMA感知的持久内存存储引擎优化设计

软件学报 2022年第3期33卷 891-908页

作者：屠要峰陈河堆王涵毅闫宗帅孔鲁陈兵南京航空航天大学计算机科学与技术学院中兴通讯股份有限公司

持久性内存(persistmemory,PM)具有非易失、字节寻址、低时延和大容量等特性,打破了传统内外存之间的界限,对现有软件体系结构带来颠覆性影响.但是,当前PM硬件还存在着磨损不均衡、读写不对称等问题,特别是当跨NUMA(nonuniformmemoryacc... 详细信息

持久性内存(persistmemory,PM)具有非易失、字节寻址、低时延和大容量等特性,打破了传统内外存之间的界限,对现有软件体系结构带来颠覆性影响.但是,当前PM硬件还存在着磨损不均衡、读写不对称等问题,特别是当跨NUMA(nonuniformmemoryaccess)节点访问PM时,存在着严重的I/O性能衰减问题.提出了一种NUMA感知的PM存储引擎优化设计,并应用到中兴新一代数据库系统GoldenX中,显著降低了数据库系统跨NUMA节点访问持久内存的开销.主要创新点包括:提出了一种DRAM+PM混合内存架构下跨NUMA节点的数据空间分布策略和分布式存取模型,实现了PM数据空间的高效使用;针对跨NUMA访问PM的高开销问题,提出了I/O代理例程访问方法,将跨NUMA访问PM开销转化为一次远程DRAM内存拷贝和本地访问PM的开销,设计了Cache Line Area (CLA)缓存页机制,缓解了I/O写放大问题,提升了本地访问PM的效率;扩展了传统表空间概念,让每个表空间既拥有独立的表数据存储,也拥有专门的WAL (write-ahead logging)日志存储,针对该分布式WAL存储架构提出了一种基于全局顺序号的事务处理机制,解决了单点WAL性能瓶颈问题,并实现了NUMA感知的事务处理、检查点和灾难恢复等优化机制及算法.实验结果表明,所提出的方法能够有效提升NUMA架构下PM存储引擎的性能,在YCSB多种测试场景下分别提升了105%-317%,在TPC-C场景下提升了90%-134%.

关键词：数据库存储引擎持久性内存 NUMA (non uniform memory access) WAL (write-ahead logging)

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

分布式海量云存储平台的技术创新及应用

通信世界 2017年第3期 55-56页

作者：屠要峰中兴通讯

中兴分布式海量云存储平台使用通用X86架构硬件，具有大容量、高性能、高扩展性和易管理等方面的突出优势，为大数据时代的社会、经济、生活提供基础技术平台支撑，实现了无所不在的数据存储服务。

关键词：存储平台分布式技术创新应用 X86架构高扩展性技术平台存储服务

在线全文

学校读者我要写书评

暂无评论

一种分布式持久性内存文件系统的一致性机制

计算机研究与发展 2020年第3期57卷 660-667页

作者：陈波陆游游蔡涛陈游旻屠要峰舒继武江苏大学计算机科学与通信工程学院江苏镇江212013 清华大学计算机科学与技术系北京100084 中兴通讯股份有限公司南京210012

持久性内存(persistent memory,PM)和远程直接内存访问(remote direct memory access,RDMA)具有高带宽、低延迟的硬件性能,这为设计高性能的分布式存储系统提供了新的机遇.然而,它们这些新的特性为高效的数据一致性管理引出了诸多问题:... 详细信息

持久性内存(persistent memory,PM)和远程直接内存访问(remote direct memory access,RDMA)具有高带宽、低延迟的硬件性能,这为设计高性能的分布式存储系统提供了新的机遇.然而,它们这些新的特性为高效的数据一致性管理引出了诸多问题:一方面,持久性内存数据一致性依赖于CPU主动执行硬件指令刷写缓存实现,而这类指令开销极高,严重影响CPU处理性能;另一方面,RDMA在服务器端CPU不参与的情况下直接读写服务器端内存,因此服务器端CPU无法主动感知数据写入事件以执行数据刷写操作,一旦系统崩溃会造成数据不一致的问题.针对以上2个问题,提出一种分布式持久性内存文件系统的一致性机制(crash consistency mechanism,CCM):首先设计实现了基于操作日志的一致性保障策略,通过将每次操作的元信息记录至日志,并持久化,以保障系统的一致性状态;其次,设计了一种客户端对服务器端的远程写一致性策略,在完成数据传输的同时使服务器端CPU主动执行数据刷写;最后实现了一种服务器端的数据异步持久化,以提高系统的处理能力.测试结果表明,基于CCM的文件系统写吞吐可达到网络裸带宽的88%.相比于现有系统Octopus,CCM性能下降控制在1%以内.

关键词：持久性内存远程直接内存访问一致性操作日志分布式文件系统