检索结果-南通市图书馆

支持丰富检索的区块链底层存储系统设计与实现

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

支持丰富检索的区块链底层存储系统设计与实现

作者：李胜东西安电子科技大学

学位级别：硕士

区块链系统因具有去中心化、防篡改、数据共享等诸多特性,被认为将会给传统的互联网应用和金融领域带来变革。目前区块链系统已广泛应用于许多领域,如智慧医疗,金融科技及电子政务等。然而在当前的实际应用中,区块链系统在数据查询处理... 详细信息

区块链系统因具有去中心化、防篡改、数据共享等诸多特性,被认为将会给传统的互联网应用和金融领域带来变革。目前区块链系统已广泛应用于许多领域,如智慧医疗,金融科技及电子政务等。然而在当前的实际应用中,区块链系统在数据查询处理方面已经暴露出诸多不足。区块链数据的追加式特性导致其数据不断膨胀,如何高效的组织和利用这些海量数据,成为一个亟待解决的问题。目前的区块链技术对于不断增加的区块数据采用的是粗粒度的组织方式,无法支撑较为复杂的查询,更无法在这些区块数据上进行数据分析和数据挖掘,这是对数据资源的极大浪费,也是阻碍区块链技术得到进一步广泛应用的主要因素。本文针对区块链数据的组织与管理进行了相关研究,提出了支持丰富检索的区块链底层存储系统设计方案。主要工作内容如下:1.基于My SQL的存储系统设计。针对目前区块链系统存在的数据查询效率低下,查询功能有限,数据存储缺乏灵活性等问题,本文以联盟链Fabric为基础,分析其数据存储模式,数据检索流程,基于My SQL重新设计区块链的底层存储系统,且新系统对旧系统有一定的兼容性,即使用新系统的节点可以和使用旧系统的节点并存于同一个区块链中,数据互通互不干扰,现有的区块链系统可以实时添加新节点,来提供新的数据服务,支持更加复杂的数据查询,数据分析。2.基于Mongo DB的存储系统设计。与第1点类似,该系统设计的主要目的是丰富区块链系统的数据查询处理功能,拓展区块链系统的应用场景。该系统主要面向表结构不明确、数据不断变化的场景,Mongo DB非结构化的特性,使其扩展字段非常容易,且不会对原数据造成影响。Mongo DB的高写入性能使其更适合存在大量“低价值”数据写入的业务系统。相较于基于My SQL的存储系统,在数据量不断增长的场景下,My SQL为了避免性能下降,需要进行表单的水平或垂直拆分,十分不便,而Mongo DB的数据分片特性,可以使其更好得适应数据大量增长的情况。3.基于以上两种设计方案,面向数字货币交易场景,进行详细的需求分析、功能设计,以此实现基于联盟链fabric,支持丰富检索的数字货币交易系统。

关键词：区块链超级账本Fabric MySQL MongoDB 存储系统数据查询

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于蚁群优化的纠删码存储系统数据更新方案

基于蚁群优化的纠删码存储系统数据更新方案

作者：李乾湖南大学

学位级别：硕士

由于纠删码的高可用性和高空间利用率,使得纠删码已成为大型分布式存储系统中提供数据持久性的标准。一方面纠删码存储系统中存在冗余数据,即校验数据,当数据更新时,与它相关联的所有校验数据也需要进行更新,这就使得纠删码存储系统的... 详细信息

由于纠删码的高可用性和高空间利用率,使得纠删码已成为大型分布式存储系统中提供数据持久性的标准。一方面纠删码存储系统中存在冗余数据,即校验数据,当数据更新时,与它相关联的所有校验数据也需要进行更新,这就使得纠删码存储系统的更新开销较大。另一方面,数据的更新频率较为频繁。对于纠删码存储系统,其更新效率倍受关注,因此,纠删码的更新效率成为了评价纠删码最重要的标志。纠删码的更新密集型工作负载将会导致大量数据传输和I/O操作,使得对于大型异构纠删码存储系统,减少数据传输量和优化现有网络资源的使用从而提高纠删码的更新效率成为主要挑战。但是,很少有研究在多种Qo S指标下优化纠删码的更新效率。本文提出了基于蚁群优化的多个数据节点更新方案(ACOUS),这个更新方案建立在基于多目标蚁群优化路由算法(MACOU)的基础之上,同时采用了两阶段数据更新过程,针对集中式更新模式提出了两种集合节点选择方式,在多种Qo S条件下来优化多个数据节点的更新。具体而言,两阶段集中更新模式的数据更新过程基于由蚁群优化路由算法构建的多目标更新树来执行数据增量收集和校验增量分发。在典型的数据中心网络拓扑下,大量的实验结果表明,与传统的TA-Update方案相比,本文的方案能够以可忽略的计算开销为代价,将更新时延减少26%至37%,并且可以保证算法及时收敛。本文的主要工作如下:(1)针对异构纠删码存储系统存在内存吞吐量以及跨节点链路带宽不一致的问题,本文通过深入研究了在异构纠删码存储系统中,当多个数据节点更新时的更新过程和路由工作,提出的基于多目标蚁群路由优化算法,能够有效提高纠删码的更新效率。(2)本文通过详细的定量分析集中式更新模式和分布式更新模式下数据更新过程中的I/O开销以及数据传输开销,说明纠删码存储系统中多个数据节点更新的路由问题,并提出集中式更新模式中集合节点的两种选择方式。(3)进行大量的实验来评估本文提出的ACOUS更新方案。实验结果表明,对于大规模纠删码存储系统,选择最优集合节点和MACOU算法的结合优于随机选取集合节点和MACOU算法的结合。与TA-Update更新方案相比,ACOUS方案显著提高了纠删码更新效率。

关键词：纠删码更新路由存储系统时延网络拓扑

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

船舶位置数据的提取和存储系统设计

舰船科学技术 2018年第7X期40卷 52-54页

作者：廖美红桂林电子科技大学广西桂林541004 广西工商职业技术学院广西南宁530003

针对当前船舶位置数据提取和存储过程中存在的速度慢、效率低等难题,设计了一种基于云平台的船舶位置数据的提取和存储系统。首先对船舶位置数据的提取和存储的研究现状进行分析,找到引起问题的因素,然后设计了基于云平台的船舶位置数... 详细信息

针对当前船舶位置数据提取和存储过程中存在的速度慢、效率低等难题,设计了一种基于云平台的船舶位置数据的提取和存储系统。首先对船舶位置数据的提取和存储的研究现状进行分析,找到引起问题的因素,然后设计了基于云平台的船舶位置数据的提取和存储系统的总体框架,然后分别详细描述了硬件系统和软件系统的工作流程,并对一些关键技术进行分析,最后对与当前船舶位置数据的提取和存储系统进行对比模拟实验,结果表明,本文系统加快了船舶位置数据的提取和存储的速度,船舶位置数据的提取和存储精度也得到了大幅度的提高,具有十分重要的实际应用价值。

关键词：船舶位置数据提取存储系统软件系统硬件系统

在线全文

学校读者我要写书评

暂无评论

面向水电大数据的数据采集与存储系统设计

重庆电力高等专科学校学报 2022年第5期27卷 5-8,19页

作者：段美前李胜邓真平刘晓云谢军重庆大唐国际彭水水电开发有限公司重庆409600 重庆市科源能源技术发展有限公司重庆401147

流域型水电企业由于电厂分布范围广,信息系统建设分散,难以通过传统的数据存储架构模式对场站数据进行汇聚。基于此,针对海量、高维度、多源电力生产数据的采集和存储需求,结合彭水水电公司大数据平台的建设实践,对数据采集和存储系统... 详细信息

流域型水电企业由于电厂分布范围广,信息系统建设分散,难以通过传统的数据存储架构模式对场站数据进行汇聚。基于此,针对海量、高维度、多源电力生产数据的采集和存储需求,结合彭水水电公司大数据平台的建设实践,对数据采集和存储系统的总体架构、数据架构、技术架构进行探讨。

关键词：水电大数据数据采集存储系统流域型水电大数据平台

在线全文

学校读者我要写书评

暂无评论

基于云计算的海量大数据存储系统设计和实现

信息与电脑 2022年第23期34卷 147-149页

作者：孙惠芬江苏联合职业技术学院镇江分院江苏镇江212006

云计算技术是大数据存储、处理和管理的一项热门技术。随着互联网中海量数据的爆炸性增加,传统数据存储方式逐渐无法充分满足对海量数据存储的要求,而云计算中的云存储技术为海量数据存储提供了解决思路。为实现对海量数据的管理、存储... 详细信息

云计算技术是大数据存储、处理和管理的一项热门技术。随着互联网中海量数据的爆炸性增加,传统数据存储方式逐渐无法充分满足对海量数据存储的要求,而云计算中的云存储技术为海量数据存储提供了解决思路。为实现对海量数据的管理、存储以及智能分析,基于云计算技术对海量大数据的存储和管理等展开相应的研究,并根据Hadoop架构技术提出了一种新型的海量大数据存储系统设计方案,同时给出了各项模块的设计方案,增强了对海量大数据的高效存储、处理以及管理的能力。

关键词：云计算技术海量大数据存储系统 Hadoop技术云存储

在线全文

学校读者我要写书评

暂无评论

基于CH378的嵌入式存储系统设计

电子测试 2022年第19期36卷 33-35页

作者：李贵娇鲁争艳李金宝关帅杨颖 214所研发二部安徽蚌埠233000

USB串口芯片CH378内置了USB通信协议栈和文件系统,并提供多种操作命令,能够方便地与多种处理器进行接口。基于CH378和DSP处理器TMS320C6713,设计了一种大容量存储系统,采用CH378实现对U盘直接管理,设计了CH378接口电路和操作程序。该系... 详细信息

USB串口芯片CH378内置了USB通信协议栈和文件系统,并提供多种操作命令,能够方便地与多种处理器进行接口。基于CH378和DSP处理器TMS320C6713,设计了一种大容量存储系统,采用CH378实现对U盘直接管理,设计了CH378接口电路和操作程序。该系统支持FAT32文件系统,可将现场采集的各种实时数据及时保存到U盘之中,可方便地集成于各种测试系统。

关键词：存储系统 CH378

在线全文

学校读者我要写书评

暂无评论

基于非易失性存储器的存储系统技术研究进展

科技导报 2016年第14期34卷 86-94页

作者：舒继武陆游游张佳程郑纬民清华大学计算机科学与技术系北京100084

非易失性存储器(NVM)主要包括两类,即适用于外存的、块寻址的闪存和适用于内存的、字节寻址的持久性内存。相比于传统磁盘,闪存具有性能高、能耗低和体积小等优势;相比于DRAM(动态随机存储器),持久性内存如PCM(相变存储器)、RRAM(阻变... 详细信息

非易失性存储器(NVM)主要包括两类,即适用于外存的、块寻址的闪存和适用于内存的、字节寻址的持久性内存。相比于传统磁盘,闪存具有性能高、能耗低和体积小等优势;相比于DRAM(动态随机存储器),持久性内存如PCM(相变存储器)、RRAM(阻变存储器)等,具有非易失、存储密度高以及同等面积/内存插槽下能给多核环境的CPU提供更多的数据等优点,这些都为存储系统的高效构建带来了巨大的机遇。然而,传统存储系统的构建方式不适用于非易失性存储器,阻碍了其优势的发挥。为此,分析了基于非易失性存储器构建存储系统的挑战,从闪存、持久性内存两个层次分别综述了它们在存储体系结构、系统软件以及分布式协议方面的变革,总结了基于非易失性存储器构建存储系统的主要研究方向。

关键词：非易失性存储器闪存持久性内存存储系统

在线全文

学校读者我要写书评

暂无评论

语言信息存储系统应急动态资源优化调度仿真

计算机仿真 2019年第4期36卷 436-439,473页

作者：翟玲西安科技大学图书馆陕西西安710054

语言信息存储系统应急动态资源调度影响建筑行业、产品生产行业、电力行业等领域的发展。针对当前方法存在应急资源搜索爬坡能力弱和收敛性差的缺点,导致最终的语言信息存储系统应急资源调度不完整等问题,提出一种基于蚁群算法的语言信... 详细信息

语言信息存储系统应急动态资源调度影响建筑行业、产品生产行业、电力行业等领域的发展。针对当前方法存在应急资源搜索爬坡能力弱和收敛性差的缺点,导致最终的语言信息存储系统应急资源调度不完整等问题,提出一种基于蚁群算法的语言信息应急动态资源调度方法,利用信息存储系统应急资源目标的误差测量,计算出应急动态资源测量前后的语言信息增量,得到先验和后验语言信息熵,利用应急动态传感器资源调度准则,计算出信息应急资源矩阵,为完成语言信息应急资源模型的建立对其信息增量进行计算。在语言信息应急资源增量模型建立完成的基础上,采用蚁群算法对语言信息素建立矩阵,计算出蚁群中的应急资源目标语言信息素,且对其改进和更新,对更新后的语言信息素重新初始化,获得最优蚂蚁释放语言信息素,实现语言存储系统应急动态资源优化调度。仿真结果表明,所提方法提高了语言信息存储系统应急动态资源的搜索爬坡能力和收敛性能,为后续实现应急资源调度奠定了良好基础。

关键词：语言信息存储系统应急动态资源调度

Content Addressable Storage Optimization for Desktop Virtualization Based Disaster Backup Storage System

在线全文

学校读者我要写书评

暂无评论

China Communications 2012年第7期9卷 1-13页

作者： Ruan Li Xiao Lim in Zhu Mingfa State Key Laboratory of Software Development Environment Beijing 100191 P. R. China School of Computer Science and Engineering Beihang University Beijing 100191 P. R. China

This paper proposes a content addressable storage optimization method, VDeskCAS, for desktop virtualization storage based disaster backup storage system. The method implements a block-level storage optimization, by employing the algorithms of chunking image file into blocks, the block-finger calculation and the block deduplication. A File system in Use Space (FUSE) based storage process for VDeskCAS is also introduced which optimizes current direct storage to suit our content addressable storage. An interface level modification makes our system easy to extend. Exp eriments on virtual desktop image files and normal files verify the effectiveness of our method and above 60% storage volume decrease is achieved for Red Hat Enterprise Linux image files.

关键词：内容寻址存储虚拟化存储存储优化虚拟桌面存储系统灾难备份图像文件映像文件