检索结果-南通市图书馆

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

UStore:面向新型硬件的统一存储系统

计算机研究与发展 2023年第3期60卷 525-538页

作者：屠要峰韩银俊金浩陈正华陈兵南京航空航天大学计算机科学与技术学院南京211106 中兴通讯股份有限公司南京210012

数据规模的爆发式增长使得分布式存储广泛应用,长期以来分布式存储直接使用本地文件系统访问本地存储资源,随着高性能NVMe SSD、持久内存(persistent memory,PMEM)、异构加速设备的出现,本地文件系统难以发挥新型器件的特性和性能优势.... 详细信息

数据规模的爆发式增长使得分布式存储广泛应用,长期以来分布式存储直接使用本地文件系统访问本地存储资源,随着高性能NVMe SSD、持久内存(persistent memory,PMEM)、异构加速设备的出现,本地文件系统难以发挥新型器件的特性和性能优势.现有很多研究针对SSD或者PMEM的硬件特性在软件层面进行优化和改进.然而,这些工作兼容性和扩展性差,不能灵活适配硬件环境变化,缺乏面向新型硬件的统一解决方案.提出了一种兼容多种存储介质的统一存储系统UStore,可根据业务场景灵活选择存储介质,并针对PMEM、KVS加速卡、NVMe SSD等典型硬件进行组合设计优化,充分利用其硬件特性,满足多层次的业务需求;通过一种与物理存储介质形态解耦的元数据设计,使其适应不同硬件的性能和原子更新能力差异,实现灵活的元数据存储策略;通过高效的数据管理机制和更新策略,实现无日志的数据原子写保证,消除了现有系统的写放大以及性能抖动等问题.实验结果表明,相比于BlueStore,UStore的4KB随机读性能提升了3.2倍,4KB随机写提高了8.2倍,3种典型硬件组合下UStore表现出与之相匹配的数据访问特征,充分发挥了存储硬件的特性和性能.

关键词：持久性内存 NVMe SSD 分布式存储元数据原子写

一种持久性内存文件系统数据页的混合管理机制

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2020年第2期57卷 281-290页

作者：陈游旻朱博弘韩银俊屠要峰舒继武清华大学计算机科学与技术系北京100084 中兴通讯股份有限公司南京210012

英特尔于2019年4月正式发布基于3D-Xpoint技术的傲腾持久性内存(Optane DC persistent memory),这为构建高效的持久性内存存储系统提供了新的机遇.然而,现有的存储系统软件并不能很好地利用其字节寻址特性,持久性内存性能很难充分发挥.... 详细信息

英特尔于2019年4月正式发布基于3D-Xpoint技术的傲腾持久性内存(Optane DC persistent memory),这为构建高效的持久性内存存储系统提供了新的机遇.然而,现有的存储系统软件并不能很好地利用其字节寻址特性,持久性内存性能很难充分发挥.提出一种文件系统数据页的混合管理机制HDPM,通过选择性使用写时复制机制和日志结构管理文件数据,充分发挥持久性内存字节可寻址特性,从而避免了传统单一模式在非对齐写或者小写造成的写放大问题.为避免影响读性能,HDPM引入逆向扫描机制,实现日志结构重构数据页时不引入额外数据拷贝.HDPM还提出一种多重垃圾回收机制进行日志清理.当单个日志结构过大时,通过读写流程主动回收日志结构;当持久性内存空间受限时,则通过后台线程使用免锁机制异步释放日志空间.实验显示,HDPM相比于NOVA文件系统,单线程写延迟降低达58%,且读延迟不受影响;Filebench多线程测试显示,HDPM相比于NOVA提升吞吐率33%.

关键词：持久性内存文件系统写时复制日志结构垃圾回收

基于持久性内存和SSD的后端存储MixStore

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2021年第2期58卷 406-417页

作者：屠要峰陈正华韩银俊陈兵关东海南京航空航天大学计算机科学与技术学院南京211106 中兴通讯股份有限公司南京210012

持久性内存(persistent memory,PMEM)同时具备内存的低时延字节寻址和磁盘的持久化特性,将对现有软件架构体系产生革命性的变化和深远的影响.分布式存储在云计算和数据中心得到了广泛的应用,然而现有的以Ceph BlueStore为代表的后端存... 详细信息

持久性内存(persistent memory,PMEM)同时具备内存的低时延字节寻址和磁盘的持久化特性,将对现有软件架构体系产生革命性的变化和深远的影响.分布式存储在云计算和数据中心得到了广泛的应用,然而现有的以Ceph BlueStore为代表的后端存储引擎是面向传统机械盘和固态硬盘(solid state disk,SSD)设计的,其原有的优化设计机制不适合PMEM特性优势的发挥.提出了一种基于持久性内存和SSD的后端存储MixStore,通过易失区段标记和待删除列表技术实现了适用于持久性内存的并发跳表,用于替代RocksDB实现元数据管理机制,在保证事务一致性的同时,消除了BlueStore的compaction所引发的性能抖动等问题,同时提升元数据的并发访问性能;通过结合元数据管理机制的数据对象存储优化设计,把非对齐的小数据对象存放在PMEM中,把对齐的大块数据对象存储在SSD上,充分发挥了PMEM的字节寻址、持久性特性和SSD的大容量低成本优势,并结合延迟写入和CoW(copy-on-write)技术实现数据更新策略优化,消除了BlueStore的WAL日志引起的写放大,提升小数据写入性能.测试结果表明,在同样的硬件环境下,相比BlueStore,MixStore的写吞吐提升59%,写时延降低了37%,有效地提升了系统的性能.

关键词：持久性内存并发跳表后端存储混合存储 BlueStore存储引擎

在线全文

学校读者我要写书评

暂无评论

AI辅助的智能分级存储系统

信息化研究 2022年第6期48卷 52-58页

作者：高洪韩银俊南京中兴软件有限责任公司南京210012 南京中兴新软件有限责任公司南京210012

分布式存储系统中常用的冗余模式有副本和纠删码(EC)两种。副本模式存储效率低,EC模式读写性能不高。文章研究了它们的优劣,结合普通硬件和新型NVMe SSD硬件,实施了一种智能的分级存储的分布式存储系统ATSS,热数据以副本模式存储在高性... 详细信息

分布式存储系统中常用的冗余模式有副本和纠删码(EC)两种。副本模式存储效率低,EC模式读写性能不高。文章研究了它们的优劣,结合普通硬件和新型NVMe SSD硬件,实施了一种智能的分级存储的分布式存储系统ATSS,热数据以副本模式存储在高性能硬件上,以保障高并发高吞吐的读写,冷数据转换为EC模式存储在普通硬件上,节约了系统磁盘空间的同时保障了数据的可靠性。同时通过AI辅助判断需要进行EC编码的数据块,避免了热数据被编码迁移到普通硬件,使得系统在性能和空间效率之间取得了平衡。实验显示,相较于主流的分布式存储Ceph,本系统读性能提升2倍以上,而延迟仅为Ceph的4%左右。

关键词：人工智能纠删码分级分布式存储系统

在线全文

学校读者我要写书评

暂无评论

NVMe优化的用户态文件系统

信息化研究 2022年第5期48卷 44-49,60页

作者：高洪韩银俊南京中兴软件有限责任公司南京210012 南京中兴新软件有限责任公司南京210012

NVMe接口协议的引入使得固态硬盘(SSD)存储设备的性能得到显著提升。但是,传统的内核态IO路径阻碍了NVMe SSD设备的性能发挥。文中提出了一种面向NVMe SSD的用户态文件系统UMFS,通过用户态多进程共享内存的设计,实现了多个应用程序共享... 详细信息

NVMe接口协议的引入使得固态硬盘(SSD)存储设备的性能得到显著提升。但是,传统的内核态IO路径阻碍了NVMe SSD设备的性能发挥。文中提出了一种面向NVMe SSD的用户态文件系统UMFS,通过用户态多进程共享内存的设计,实现了多个应用程序共享访问,减少对SSD的访问量;使用面向NVMe的无日志数据布局,多粒度IO队列分离和NUMA感知的访问技术,提升系统的性能和吞吐量。实验显示,相较于传统文件系统,在CDN场景下UMFS性能提升23%以上,在小文件场景和读取密集场景下UMFS性能提升45%以上。

关键词：文件系统用户态 NVMe固态硬盘无日志

一种基于RDMA多播机制的分布式持久性内存文件系统

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2021年第2期58卷 384-396页

作者：陈茂棠郑圣安游理通王晶钰闫田屠要峰韩银俊黄林鹏上海交通大学计算机科学与工程系上海200240 清华大学计算机科学与技术系北京100084 中兴通讯股份有限公司南京210012

持久性内存技术与远程直接内存访问(remote direct memory access,RDMA)技术的发展,为高效分布式系统的设计提供了新的思路.然而,现有的基于RDMA的分布式系统没有充分利用RDMA的多播能力,难以解决1对多传输场景下的多拷贝文件数据传输问... 详细信息

持久性内存技术与远程直接内存访问(remote direct memory access,RDMA)技术的发展,为高效分布式系统的设计提供了新的思路.然而,现有的基于RDMA的分布式系统没有充分利用RDMA的多播能力,难以解决1对多传输场景下的多拷贝文件数据传输问题,严重影响了系统性能.针对此问题,提出一种基于RDMA多播机制的分布式持久性内存文件系统(RDMA multicast transmission based distributed persistent memory file system,MTFS),通过低延迟多播通信机制充分利用RDMA多播能力,将数据高效传输到多个数据节点,从而避免了多拷贝传输操作带来的高延迟.为提升传输操作灵活性,MTFS设计了多模式多播远程过程调用(remote procedure call,RPC)机制,实现了RPC请求自适应识别,并通过优化返回机制将部分传输操作移出关键路径,进一步提升传输效率.同时MTFS提供了轻量级一致性保障机制,通过设计故障恢复功能、数据校验系统、重传策略与窗口机制,当节点出现崩溃时进行快速恢复,并在传输出现错误时实现数据精准检测与纠正,保证了数据的可靠性和一致性.实验证明,MTFS在各测试集上相比现有系统GlusterFS吞吐量提升了10.2~219倍.在Redis数据库的工作负载下,MTFS相比于NOVA取得了最高10.7%的性能提升,并在多线程测试中取得了良好的可扩展性.

关键词：持久性内存远程直接内存访问多播分布式文件系统远程过程调用

在线全文

学校读者我要写书评

暂无评论

数据管理系统发展趋势与挑战

中兴通讯技术 2023年第4期29卷 64-71页

作者：韩银俊牛家浩屠要峰中兴通讯股份有限公司深圳518057 移动网络和移动多媒体技术国家重点实验室深圳518055

数据是数字经济时代重要的生产要素。数据管理成为释放数据价值的重要引擎。回顾了数据管理技术的迭代变迁历程,分析了构建新一代数据管理基础设施的关键技术及挑战。结合中兴通讯在数据管理领域进行的创新和研发实践,展示了应对这些挑... 详细信息

数据是数字经济时代重要的生产要素。数据管理成为释放数据价值的重要引擎。回顾了数据管理技术的迭代变迁历程,分析了构建新一代数据管理基础设施的关键技术及挑战。结合中兴通讯在数据管理领域进行的创新和研发实践,展示了应对这些挑战的思路、方案及取得的成效。最后,对数据管理技术发展进行了总结和展望。指出数据域技术栈应当走低碳高效、可持续发展路线,而高能效数据管理技术是可持续发展的关键。

关键词：数据管理数据分析数据库大数据人工智能

在线全文

学校读者我要写书评

暂无评论

基于云计算分布式缓存构建IPTV业务平台

电脑知识与技术 2011年第1X期7卷 538-540页

作者：韩银俊高洪郭斌中兴通讯股份有限公司江苏南京210012

在政策、市场等因素的诱导下,国内IPTV进入了一个快速发展的阶段,从而面临着容量的扩充问题。云计算使用分布式的架构,具有海量的存储能力和快速的扩展能力。通过对云计算分布式缓存技术的研究和分析,把云计算分布式缓存技术引入IPTV业... 详细信息

在政策、市场等因素的诱导下,国内IPTV进入了一个快速发展的阶段,从而面临着容量的扩充问题。云计算使用分布式的架构,具有海量的存储能力和快速的扩展能力。通过对云计算分布式缓存技术的研究和分析,把云计算分布式缓存技术引入IPTV业务平台的方案中,使得IPTV业务平台具有良好的扩展性,满足其快速增长的需要。

关键词：云计算分布式缓存 IPTV NoSQL key-value

在线全文

学校读者我要写书评

暂无评论

基于分布式块存储系统的服务质量研究与优化

电信科学 2018年第4期34卷 118-128页

作者：屠要峰杨洪章韩银俊陈正华中兴通讯股份有限公司广东深圳518057 南京中兴新软件有限责任公司江苏南京210012

在云存储技术中,资源复用和共享是一把双刃剑,在为用户降低开销的同时,也导致了应用之间的相互干扰和竞争,特别是在资源需求量超出存储系统能力时,无法提供令人满意的服务质量。提出一种自适应的任务调度技术,解决了前后端任务的资源平... 详细信息

在云存储技术中,资源复用和共享是一把双刃剑,在为用户降低开销的同时,也导致了应用之间的相互干扰和竞争,特别是在资源需求量超出存储系统能力时,无法提供令人满意的服务质量。提出一种自适应的任务调度技术,解决了前后端任务的资源平衡问题。还提出一种多级热度的缓存替换技术,解决了前端任务间的资源平衡问题。在中兴分布式块存储系统中将上述两项技术进行了工程实现和商用测试,上述优化方案满足了用户对分布式块存储服务质量的期望。

关键词：分布式存储系统缓存分级任务调度服务质量