检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

存储系统中的纠删码研究综述

计算机研究与发展 2012年第1期49卷 1-11页

作者：罗象宏舒继武清华大学计算机科学与技术系北京100084

随着海量存储系统的发展和在复杂环境中的应用,存储系统的可靠性受到了严重的挑战.纠删码作为存储系统容错的主要方法越来越受到重视.首先介绍了当前典型和常见的纠删码技术的发展现状,从评价纠删码性能的各项重要指标的角度详细地对比... 详细信息

随着海量存储系统的发展和在复杂环境中的应用,存储系统的可靠性受到了严重的挑战.纠删码作为存储系统容错的主要方法越来越受到重视.首先介绍了当前典型和常见的纠删码技术的发展现状,从评价纠删码性能的各项重要指标的角度详细地对比和分析了现有的纠删码技术,给出了不同纠删码在容错能力与磁盘要求、空间利用率、编码效率、更新效率、重构效率等方面的不足和可能的改进见解,并讨论了磁盘阵列系统、P2P存储系统、分布式存储系统、归档存储系统等不同存储系统对于纠删码各类性能的差别要求,并进一步指明了当前存储系统纠删码研究中尚未解决的一些难题和未来纠删码可能的发展方向.通过分析得出,目前不同纠删码在容错能力、计算效率、存储利用率等方面都存在不同程度的缺陷,如何平衡这些影响纠删码性能的因素,设计出更高容错能力、更高计算效率及更高存储利用率的纠删码,仍是未来很长一段时间内值得不断深入研究的问题.

关键词：存储系统纠删码容错率存储利用率计算效率

在线全文

学校读者我要写书评

暂无评论

非MDS码存储系统的通用可靠性模型

西安电子科技大学学报 2021年第4期48卷 113-119,127页

作者：聂世强郑旭达刘钊华伍卫国董小社张兴军西安交通大学计算机科学与技术学院陕西西安710049

为了量化基于非最大距离可分码的分布式存储系统的可靠性,从非最大距离可分码的构造矩阵入手,提出了一种求解采用非最大距离可分码编码的数据对象在丢失若干块后数据对象的可修复概率算法。该算法穷举丢失若干块的所有可能组合,并在生... 详细信息

为了量化基于非最大距离可分码的分布式存储系统的可靠性,从非最大距离可分码的构造矩阵入手,提出了一种求解采用非最大距离可分码编码的数据对象在丢失若干块后数据对象的可修复概率算法。该算法穷举丢失若干块的所有可能组合,并在生成矩阵中判断每种组合相对应的矩阵是否可逆以计算可恢复的概率。随后采用马尔可夫理论,针对此类系统建立较为通用的度量存储系统可靠性的理论模型。该模型能够量化非最大距离可分码容错配置、存储规模、修复带宽、单节点可靠性、单节点容量对存储系统可靠性的影响。最后采用数值分析的方法,以局部修复码为例验证了模型的正确性,比较了不同因素对存储系统可靠性的影响。本模型为采用非最大距离可分码的存储系统的设计和实现提供了理论基础。

关键词：存储系统可靠性非最大距离可分码马尔可夫模型平均数据丢失时间

在线全文

学校读者我要写书评

暂无评论

基于冲突检测的高吞吐NVM存储系统

计算机研究与发展 2020年第2期57卷 257-268页

作者：蔡涛王杰牛德姣刘佩瑶陈福丽江苏大学计算机科学与通信工程学院

非易失性存储器(non-volatile memory,NVM)是解决计算机系统存储墙问题的有效手段,但现有的I/O栈缺乏相应的适应和优化机制,特别是基于文件系统的锁机制是影响NVM存储系统性能的重要因素.将存储系统访问请求的管理嵌入到存储设备中,利用... 详细信息

非易失性存储器(non-volatile memory,NVM)是解决计算机系统存储墙问题的有效手段,但现有的I/O栈缺乏相应的适应和优化机制,特别是基于文件系统的锁机制是影响NVM存储系统性能的重要因素.将存储系统访问请求的管理嵌入到存储设备中,利用NVM存储设备自主管理访问请求,使用基于冲突检测的方法代替基于文件系统的现有锁机制,提高操作系统执行访问请求的并发度,缓解设备接口带来的瓶颈问题.给出了高吞吐NVM存储系统的结构,设计了一种基于二维链表的访问请求管理方法减少访问请求管理中的冲突,一种基于冲突检测的访问请求调度算法用于管理NVM存储设备中共享的访问请求,并给出了新访问请求提交和已有访问请求释放流程,并基于Intel的开源NVM存储设备模拟器PMEM实现了HTPM的原型系统,使用Filebench中的多种负载和Fio测试了HTPM的吞吐率和I/O性能,实验结果表明:HTPM相比PMEM最大能提高31.9%的IOPS值和21.4%的I/O性能.

关键词： NVM存储系统 NVM存储设备 I/O栈存储系统操作系统

在线全文

学校读者我要写书评

暂无评论

主流知识图谱存储系统并发访问控制方法

计算机仿真 2023年第3期40卷 333-337页

作者：韩斌钱涵笑江苏科技大学计算机学院江苏镇江212000

为了解决系统中文件在访问控制时存在安全隐患、访问响应及重加密时间过长等问题,研究主流知识图谱存储系统并发访问控制方法。利用混沌映射改进的数字加密标准算法加密和解密主流知识图谱存储系统中的文件,通过最小化属性分组算法,对... 详细信息

为了解决系统中文件在访问控制时存在安全隐患、访问响应及重加密时间过长等问题,研究主流知识图谱存储系统并发访问控制方法。利用混沌映射改进的数字加密标准算法加密和解密主流知识图谱存储系统中的文件,通过最小化属性分组算法,对已撤销用户浏览过的文件重新加密,降低重加密属性数量的同时,构建以加密算法作为基础的并发访问控制模型,进一步提升文件访问控制的安全性,结合文件访问共同实现主流知识图谱存储系统并发访问控制。经实验分析,上述方法在用户提出并发访问请求时,时间开销更小,响应时间更短,重加密和解密效率更高,能够提高主流知识图谱存储系统文件的安全性。

关键词：主流知识图谱存储系统并发访问控制数字加密标准

基于区块链的互联网医疗服务监管平台存储系统设计

在线全文

学校读者我要写书评

暂无评论

中国医院管理 2022年第11期42卷 27-30页

作者：翟运开王鑫璞石金铭马倩倩谭中科郑州大学管理工程学院河南郑州450001 郑州大学第一附属医院·互联网医疗系统与应用国家工程实验室河南郑州450052

随着互联网医疗的快速发展,政府要求各主管部门建立省级医疗服务监管平台,以管理辖区内开展互联网医院业务的医疗机构。根据目前各省(区、市)的监管情况,针对现行平台的不足,设计了基于区块链技术的互联网医疗服务监管平台存储系统。系... 详细信息

随着互联网医疗的快速发展,政府要求各主管部门建立省级医疗服务监管平台,以管理辖区内开展互联网医院业务的医疗机构。根据目前各省(区、市)的监管情况,针对现行平台的不足,设计了基于区块链技术的互联网医疗服务监管平台存储系统。系统采用基础平台+应用服务的模式,引入新的信息存储与审查机制,建立可拓展、可融合的医疗信息管理系统架构,使互联网医疗活动的监管更加隐私、安全和智能化。

关键词：区块链互联网医疗服务监管平台存储系统

在线全文

学校读者我要写书评

暂无评论

面向DNN快速训练的高并发NVM存储系统

面向DNN快速训练的高并发NVM存储系统

作者：王飞江苏大学

学位级别：硕士

人工智能的迅速发展导致当前神经网络中参数的规模变得庞大,GPU中显存以及存储系统中的内存也难以在DNN训练过程中保存大量的参数文件。新兴的非易失性存储器NVM由于其读写速度接近DRAM、延迟低、容量大给DNN训练过程中大量的参数文件... 详细信息

人工智能的迅速发展导致当前神经网络中参数的规模变得庞大,GPU中显存以及存储系统中的内存也难以在DNN训练过程中保存大量的参数文件。新兴的非易失性存储器NVM由于其读写速度接近DRAM、延迟低、容量大给DNN训练过程中大量的参数文件提供了有效的解决手段。但是如果直接仅仅更新存储设备,不做存储系统的优化,难以充分使用NVM存储设备的性能。本文在DNN训练过程中需要反复读写参数文件的背景下,针对NVM存储设备通过优化文件系统层和设备驱动层为目标,研究和设计面向DNN快速训练的高并发NVM存储系统。(1)通过分析当前NVM存储系统面临的挑战,针对DNN训练过程中需要反复读写参数文件,从NVM文件系统层和设备驱动层两方面来进行优化,设计了面向DNN快速训练的高并发NVM存储系统的结构,包括面向DNN的高并发文件系统模块和面向DNN的高并发的NVM设备驱动模块,从而适应DNN训练过程中对于参数文件需要反复读写的特点,充分利用了NVM存储设备的优势,为NVM存储系统的读写带宽和系吞吐量提供了保障。(2)通过分析当前的NVM文件系统,针对DNN训练过程中参数文件读写以及NVM存储设备读写速度快的特点,研究和设计了面向DNN的高并发NVM文件系统。首先,定义了文件系统中基与并发线程的细粒度的结构以及给出了读写DNN参数文件过程基于细粒度锁的加锁和解锁过程;在NVM文件系统中设计了两层日志的结构,并给出了基于两层日志的并发读写策略和一致性保障策略;从而提升了读写参数文件的并发度;最后在开源的文件系统NOVA的基础上实现了面向DNN的高并发文件系统DNNFS,首先测试了DNN训练时读写不同数据集的时间开销,DNNFS相比EXT4最大减少了51.2%的读写时间开销,相比NOVA最大减少了22.1%的读写时间开销。然后测试了HTM不同迭代次数下的参数读写时间开销,DNNFS的参数读写开销相比EXT4最大减少了53.8%,相比NOVA最大减少16.6%。最后使用Filebench、Fio和IOzone中的多个负载进行了测试与分析,在使用多线程并发访问时相比NOVA最大能提高35.8%的IOPS值和21.6%的I/O带宽,相比EXT4最大能提高104.2%的I/O带宽。(3)针对DNN训练过程中要求快速读写大量参数和能容忍一定的参数读写误差等特性,研究设计了面向DNN的高并发NVM设备驱动。首先,设计了读写分离的访问请求管理策略,为提高NVM存储设备驱动并发度提供支撑;然后设计了基于冲突重试的访问请求调度策略,减少DNN参数访问的等待时间;最后在开源的NVM设备驱动PMEM源码的基础上实现了面向DNN高并发NVM设备驱动的原型DNNPMEM,首先测试DNN训练时读写不同数据集的时间开销,DNNPMEM相比PMEM最大减少了20.6%的读写时间开销。然后测试HTM不同迭代次数下的参数读写时间开销,DNNPMEM的参数读写开销相比PMEM最大减少了18.1%。最后利用Fio测试工具对顺序读写、随机读写负载进行了测试,同时使用Filebench中多种不同类型负载测试,实验结果表明DNNPMEM相比PMEM提升了2.2%～28.2%I/O带宽和10.9%～20.9%的IOPS值。

关键词：非易失性存储 DNN训练高并发 NVM文件系统 NVM设备驱动存储系统

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

纠删码存储系统单磁盘错误重构优化方法综述

计算机研究与发展 2018年第1期55卷 1-13页

作者：傅颖勋文士林马礼舒继武北方工业大学计算机学院北京100144 清华大学计算机科学与技术系北京100084

随着云存储的迅猛发展与大数据时代的来临,越来越多的存储系统开始采用纠删码技术,以保障数据的可靠性.在基于纠删码的存储系统中,一旦有磁盘出错,系统需根据其他磁盘里存储的冗余信息,重构所有失效数据.由于当前存储系统中绝大部分磁... 详细信息

随着云存储的迅猛发展与大数据时代的来临,越来越多的存储系统开始采用纠删码技术,以保障数据的可靠性.在基于纠删码的存储系统中,一旦有磁盘出错,系统需根据其他磁盘里存储的冗余信息,重构所有失效数据.由于当前存储系统中绝大部分磁盘错误都是单磁盘错误,因此,如何快速地在单磁盘错误的情况下重构失效数据,已成为存储系统的研究热点.首先介绍了存储系统中基于纠删码的单磁盘错误重构优化方法的研究背景与研究意义,给出了纠删码的基本概念与定义,并分析了单磁盘错误重构优化的基本原理;接着归纳了现有的一些主流单磁盘错误重构方法的构造算法及其优缺点与适用范围,并分类介绍了一些用于优化单磁盘错误重构效率的新型纠删码技术;最后指出了存储系统中基于纠删码的磁盘错误重构方法的进一步研究方向.

关键词：存储系统纠删码可靠性磁盘错误数据重构方法

在线全文

学校读者我要写书评

暂无评论

融合文件管理功能的高吞吐NVM存储系统

融合文件管理功能的高吞吐NVM存储系统

作者：施健聪江苏大学

学位级别：硕士

随着物联网时代的到来,计算机所需处理的数据以几何倍数增长,这意味着存储系统对读写吞吐率的要求越来越高。非易失性内存NVM(Non-Volatile Memory),因其具有低延迟与接近内存的读写速度等特性,成为解决计算机系统“存储墙”问题的重要... 详细信息

随着物联网时代的到来,计算机所需处理的数据以几何倍数增长,这意味着存储系统对读写吞吐率的要求越来越高。非易失性内存NVM(Non-Volatile Memory),因其具有低延迟与接近内存的读写速度等特性,成为解决计算机系统“存储墙”问题的重要手段。但现有的存储系统软件栈难以有效发挥NVM存储设备高性能的优势,存在I/O(Input/Output)栈过长、锁粒度大、并发程度低等问题,成为影响NVM存储系统性能的重要因素。因此,本文以提高NVM存储系统的读写吞吐率为目标,研究与设计基于NVM的高吞吐存储系统。首先,分析NVM存储系统面临的挑战,从文件系统与设备驱动两方面进行改进,设计融合文件管理功能的高吞吐NVM存储系统的结构,包括融入驱动的高并发文件管理算法模块与高吞吐的NVM存储设备驱动模块,从而发挥NVM存储设备读写速度快的优势,满足Io T(Internet of Things)等应用对海量数据高速并发读写的要求。接着,在分析现有I/O系统软件栈过长影响NVM存储系统I/O性能的基础上,针对Io T等应用对存储系统并发能力要求高和NVM存储设备读写速度快等特点,设计融入驱动的高并发文件管理算法。首先,通过将文件管理功能嵌入到设备驱动,给出了融入驱动的高并发文件管理算法的结构;接着,通过分解I-node节点,构建基于数据块的细粒度锁,并采用奇偶校验的读写正确性保证方式,设计基于奇偶校验的细粒度锁,为提高NVM存储系统中读写操作的并发度提供支撑;其次,改造跳表中的节点,在保证节点之间有序的基础上,在节点内保存多组无序键值对,并将最上层索引转变为缓存,设计基于C-Skiplist的锁管理策略,从而通过提高锁管理的效率,提高NVM存储系统的并发度;最后,在开源的NVM存储设备驱动基础上,实现融入驱动的高并发文件管理算法原型MAGMD,分别使用Filebench、Fio与IOzone作为测试工具进行测试与分析,实验结果表明MAGMD与PMEM上加载的EXT4相比最大能提高19%的I/O吞吐率与22.9%的读写带宽。最后,分析当前NVM存储设备驱动中存在的问题,研究并设计高吞吐的NVM存储设备驱动并给出其结构,包括两阶段的BIO管理策略模块与轻量级的BIO迁移策略模块。设计两阶段的BIO管理策略,对设备驱动程序中的BIO管理流程进行分解,将BIO的接收与执行功能分离,降低请求管理粒度,减少BIO之间的冲突,提高NVM存储设备中BIO管理的并发性;设计一种轻量级的BIO迁移策略,能够将多个接收队列高效地转换为单个执行队列,减少管理时间开销,避免扫描全部请求队列,从而减少对NVM存储设备的访问次数,提高NVM存储系统的读写吞吐率;在开源NVM存储设备驱动的基础上,实现高吞吐的NVM存储设备驱动原型SVTNVM,使用Filebench测试不同线程数量下的读写吞吐率,使用Fio测试顺序与随机读写性能,与当前Linux的NVM存储设备驱动PMEM进行比较,实验结果表明,SVTNVM最高能提升29.3%的读写吞吐率与23.3%的I/O带宽。

关键词：非易失性存储存储系统文件系统设备驱动读写吞吐率

从BERT到ChatGPT:大模型训练中的存储系统挑战与技术发展

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机研究与发展 2024年第4期61卷 809-823页

作者：冯杨洋汪庆谢旻晖舒继武清华大学计算机科学与技术系北京100084

以ChatGPT为代表的大模型在文字生成、语义理解等任务上表现卓越,引起了工业界和学术界的广泛关注.大模型的参数量在3年内增长数万倍,且仍呈现增长的趋势.首先分析了大模型训练的存储挑战,指出大模型训练的存储需求大,且具有独特的计算... 详细信息

以ChatGPT为代表的大模型在文字生成、语义理解等任务上表现卓越,引起了工业界和学术界的广泛关注.大模型的参数量在3年内增长数万倍,且仍呈现增长的趋势.首先分析了大模型训练的存储挑战,指出大模型训练的存储需求大,且具有独特的计算模式、访存模式、数据特征,这使得针对互联网、大数据等应用的传统存储技术在处理大模型训练任务时效率低下,且容错开销大.然后分别阐述了针对大模型训练的3类存储加速技术与2类存储容错技术.针对大模型训练的存储加速技术包括:1)基于大模型计算模式的分布式显存管理技术,依据大模型计算任务的划分模式和计算任务间的依赖关系,设计模型数据在分布式集群中的划分、存储和传输策略;2)大模型训练访存感知的异构存储技术,借助大模型训练中的访存模式可预测的特性,设计异构设备中的数据预取和传输策略;3)大模型数据缩减技术,针对大模型数据的特征,对模型训练过程中的数据进行缩减.针对大模型训练的存储容错技术包括:1)参数检查点技术,将大模型参数存储至持久化存储介质;2)冗余计算技术,在多张GPU中重复计算相同版本的参数.最后给出了总结和展望.

关键词： ChatGPT 大模型存储系统容错大模型训练系统