检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

云环境下虚拟机数据持久化存储系统

云环境下虚拟机数据持久化存储系统

作者：陈辉华中科技大学

学位级别：硕士

随着虚拟化技术的蓬勃发展，云计算平台层出不穷。云计算平台以分配虚拟机或者创建虚拟机集群的方式满足用户对于资源的需求，虚拟机内的数据最终保存在镜像文件中。这种用户数据与虚拟机镜像的紧密耦合的方式，不仅不利于管理，而且数... 详细信息

随着虚拟化技术的蓬勃发展，云计算平台层出不穷。云计算平台以分配虚拟机或者创建虚拟机集群的方式满足用户对于资源的需求，虚拟机内的数据最终保存在镜像文件中。这种用户数据与虚拟机镜像的紧密耦合的方式，不仅不利于管理，而且数据会在虚拟机关闭后随镜像文件一起被删除。云环境下虚拟机数据持久化存储系统为云计算平台提供了独立于虚拟机的块设备存储服务。系统采用主从架构，由一个头节点和多个存储节点组成，避免了单点故障的发生并提高系统的可扩展性。头节点负责用户请求的处理转发，通过心跳信息管理维护与各个存储节点的连接。存储节点采用逻辑卷管理器管理磁盘空间，然后通过iSCSI协议将磁盘挂载到虚拟机中。系统使用基于集群网络拓扑的块设备分配策略选择合适的存储节点，具体而言，在集群中同一个机架上的服务器是连接在同一个交换机中，不同机架之间再通过交换机连接在一起，构成了树形的网络拓扑结构，机架内的通信延时低且只会占用内部的带宽，头节点会根据该树形拓扑结构，选择与虚拟机距离最近的存储节点创建块设备。基于Linux操作系统，采用Java和Python语言实现了云环境下虚拟机数据持久化存储系统，并进行了系统测试。测试的结果表明，该系统使虚拟机能够成功地申请并挂载块设备，当虚拟机关闭后保存在块设备中的数据没有丢失，实现了数据的持久化存储。性能测试的结果表明，块设备的访问速率相比虚拟机镜像提升了20%，能够满足应用对性能的需求。

关键词：云计算虚拟机持久化存储网络拓扑

高效Key-Value持久化缓存系统的实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机工程 2014年第3期40卷 33-38页

作者：罗军陈席林李文生重庆大学计算机学院重庆400044

传统的缓存系统为了追求更高的性能大多是基于内存存储的,数据的持久化功能并不完善,因而系统会受到内存容量的限制,并且在系统宕机时会导致数据全部丢失,无法恢复。为此,在分析传统缓存系统的基础上,针对数据的持久化运用LSM-Tree理论... 详细信息

传统的缓存系统为了追求更高的性能大多是基于内存存储的,数据的持久化功能并不完善,因而系统会受到内存容量的限制,并且在系统宕机时会导致数据全部丢失,无法恢复。为此,在分析传统缓存系统的基础上,针对数据的持久化运用LSM-Tree理论以及Merge-Dump存储引擎进行改进,并参考Google的单机持久化存储系统LevelDB,实现一个分布式的Key-Value持久化缓存系统SSDB,结合传统缓存系统的优点并利用一致性哈希、布隆过滤器等思想对SSDB进行一系列优化。对SSDB性能测试的结果表明,优化后的持久化缓存系统SSDB是纯内存存储的,能有效降低数据的存储成本,且在读写性能上只比Redis下降约600 QPS。

关键词： LSM Tree理论 Merge—Dump存储引擎缓存系统持久化存储一致性哈希布隆过滤器

在线全文

学校读者我要写书评

暂无评论

移动Web客户端持久化缓存技术研究

移动Web客户端持久化缓存技术研究

作者：王艳萍华中科技大学

学位级别：硕士

由于移动网络带宽低，延迟高，间歇性连通等缺点，Web用户通过移动网络与服务器交互获取或提交数据时，可能出现响应延迟高，甚至网络突然中断导致的Web服务不可用。客户端缓存技术是解决上述问题的有效手段，但是传统的浏览器缓存机制... 详细信息

由于移动网络带宽低，延迟高，间歇性连通等缺点，Web用户通过移动网络与服务器交互获取或提交数据时，可能出现响应延迟高，甚至网络突然中断导致的Web服务不可用。客户端缓存技术是解决上述问题的有效手段，但是传统的浏览器缓存机制在移动网络下具有局限性：（1）浏览器单向缓存特性不能缓存其提交给服务器的数据，断网提交数据丢失，提交操作延迟;（2）验证机制要求浏览器必须获取服务器验证结果才能读取缓存数据，网络突然中断将导致缓存数据不可用。结合移动网络下Web应用的特点，提出一种利用HTML5客户端持久化存储技术实现的Web客户端持久化缓存方案。所提出的缓存采用HTML5中LocalStorage作为底层的存储引擎，构建一个双向缓存，为Web应用客户端提供缓存对服务器读取及提交数据的服务，部分解决移动网络不稳定造成的用户无法读取及提交数据的问题;设计一种基于消息机制的自适应一致性同步策略用于缓存数据的同步，在尽可能保证数据一致性的前提下，分阶段提供不同一致性的数据窗口，满足不同Web应用或操作对数据一致性以及响应时间的差异需求。在实验室自主研发论文分享系统中，基于所提出的Web客户端持久化缓存方案实现其移动客户端应用。对移动客户端测试结果表明，所提出的方案能解决突然断网的情况下客户端无法进行数据读取和提交操作问题;基于消息机制的自适应一致性同步策略让应用先使用缓存数据提供给用户，待更新到来时再更新缓存数据提供给用户;离线操作提交的数据先写入缓存后合并提交到服务器的策略，相比于运用浏览器缓存机制离线无法提交数据待在线重新分次提交的策略，请求次数由多次合并为单次，消除多次连接造成的时间开销，请求数据包由多个合并为单个，消除多个数据包头造成的带宽开销。

关键词：移动Web 客户端缓存持久化存储一致性

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式持久化缓存系统的研究与实现

分布式持久化缓存系统的研究与实现

作者：陈席林重庆大学

学位级别：硕士

随着信息技术的发展，应用程序对后台性能的要求越来越高，数据量也越来越大，传统的关系数据库已经无法满足当今的海量数据规模应用。而在大数据时代，人们总希望存在一个Key-value存储机制，像HashMap一样在内存中处理大量的Key-valu... 详细信息

随着信息技术的发展，应用程序对后台性能的要求越来越高，数据量也越来越大，传统的关系数据库已经无法满足当今的海量数据规模应用。而在大数据时代，人们总希望存在一个Key-value存储机制，像HashMap一样在内存中处理大量的Key-value对，以便提高数据的查找、修改速度，为此NoSQL技术得到了长足发展。目前，NoSQL主要有两方面的应用，一是将数据按列存储作为数据库存储服务器，另一个是将数据全部存储在内存中作为关系数据库的前端缓存以提高动态Web应用的访问速度。通过缓存系统就能减少数据库的访问次数，因为它能将数据库的查询结果缓存到内存中。但是传统的缓存系统为了追求更高的性能大都是基于内存存储的，数据的持久化功能并不完善，因而系统会受到内存容量的限制，并且在系统宕机时会导致数据全部丢失，无法恢复。为此本文提出了缓存持久化存储的思想。本文首先对现有的缓存系统进行了分析和比较，指出了其中的缺点和不足，针对缓存数据的持久化运用了LSM-Tree理论进行改进，以牺牲随机读换取顺序写来实现数据的高效持久化存储;然后对分布式系统的扩展性及相关的关键技术进行了研究分析，如分布式系统中的数据一致性、数据同步机制、数据切分规则等，并参考Google的单机持久化存储系统LevelDB和Amazon的高可用、高可扩展的Dynamo分布式架构实现了一个分布式的Key-Value持久化缓存系统SSDB（SortedSet DB）;最后运用了布隆过滤器等思想对SSDB进行了一系列优化，并对SSDB和Redis做了性能测试，同时将结果放在Highcharts插件中展示对比。结果表明，优化后的持久化缓存系统SSDB在读写性能上比Redis只是略有下降。

关键词：缓存系统持久化存储分布式系统 SSDB

一种优化的Key-Value型NoSQL系统

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机工程 2019年第6期45卷 52-59页

作者：屠雪真屠要峰陈小强河南大学计算机与信息工程学院河南开封475001 中兴通讯股份有限公司南京210012

Key-Value(KV)是NoSQL系统中使用较为广泛的一种存储模型。针对当前主流NoSQL系统存在检索功能有限、内存容量小和宕机等问题,提出一种KV型NoSQL系统设计方法。使用可持久化的混合主索引结构解决范围查询和快速重启,采用数据分布算法和... 详细信息

Key-Value(KV)是NoSQL系统中使用较为广泛的一种存储模型。针对当前主流NoSQL系统存在检索功能有限、内存容量小和宕机等问题,提出一种KV型NoSQL系统设计方法。使用可持久化的混合主索引结构解决范围查询和快速重启,采用数据分布算法和内外存混合存储技术,通过数据在内存和固态硬盘之间的智能调度,实现了大规模数据的高效存取和低成本存储。实验结果表明,与Redis相比,对于典型大小Value,该系统在单节点读写性能上提升约8倍,配置成本降低约3/4,在海量数据的低成本高效存储上有明显优势。

关键词： NoSQL系统多核架构固态硬盘持久化存储数据分布混合存储

地下工程灾害光纤多参数监测系统软件平台开发

在线全文

学校读者我要写书评

暂无评论

地下工程灾害光纤多参数监测系统软件平台开发

作者：于颜华山东大学

学位级别：硕士

近年来,我国地下工程建设蓬勃发展,交通隧道工程和大型水利水电工程纷纷投入建设,同时地下工程灾害频繁发生。地下工程灾害往往造成重大的人员伤亡、严重的经济损失和恶劣的社会影响。目前,地下工程灾害监测传感器与相应的仪器设备已经... 详细信息

近年来,我国地下工程建设蓬勃发展,交通隧道工程和大型水利水电工程纷纷投入建设,同时地下工程灾害频繁发生。地下工程灾害往往造成重大的人员伤亡、严重的经济损失和恶劣的社会影响。目前,地下工程灾害监测传感器与相应的仪器设备已经比较成熟,基本能够满足实时监测的需要,但软件系统功能简单,参数单一,严重制约了地下工程灾害监测技术的进一步提升。尤其对于迅速发展的光纤传感技术,传感器品种日益齐全,解调设备开发技术日益成熟,但软件系统大多只能采集原始波长数据,不能实现多参数监测与自动预警功能。本课题在现有的光纤传感硬件系统的基础上,设计开发了可以同时测量多参数的地下工程灾害实时监测系统软件平台。本文根据系统的需求分析、业务流程,提出了软件平台整体设计方案。在分析系统功能结构的基础上,采用模块化设计思想进行系统软件平台的开发,将软件平台分为用户权限管理模块、参数配置模块、采集模块、数据处理模块、显示模块、数据管理模块和报警模块七大模块。系统在Microsoft Visual C++2008的环境下编程实现。采用MFC的基于多文档的架构构建系统平台的整体框架,实现了多任务同时处理。系统整体界面风格简洁,操作简单。软件平台分别采用了基于TCP的socket编程和基于Win32API函数的编程,实现了平台下的网络通信和串口通信,并在对其运行模式分析的基础上,建立了多线程的软件架构,避免系统阻塞,可以对多参数信息同时采集,同步处理,满足系统实时性的要求。通过对多参数信息的着重分析,本文实现了强大的参数配置功能,并通过算法运算来实时刷新数据处理模块。设计实现采用独立内存模块存储数据至数据库,实现数据集中高效的管理,系统显示层也是通过访问独立内存模块来显示实时数据。对多参数信息的持久化存储对日后地下工程灾害的分析具有重要意义。本课题通过设计和调试最终完成了地下工程灾害光纤多参数监测系统的软件平台。软件平台实验阶段运行良好,长期运行稳定,满足监测要求。

关键词：多参数监测软件平台持久化存储多线程参数配置

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

数据流实时存储关键技术

数据流实时存储关键技术

作者：陈彬浙江工业大学

学位级别：硕士

工业监控领域、交通领域和物联网等领域出现了一种新的数据类型,称为数据流。大数据流除了具有大数据的4V特性,还具有连续性、实时性、潜在规模无限等特点。传统的关系型数据库管理系统在处理数据流时存在严重不足;大数据流管理系统成... 详细信息

工业监控领域、交通领域和物联网等领域出现了一种新的数据类型,称为数据流。大数据流除了具有大数据的4V特性,还具有连续性、实时性、潜在规模无限等特点。传统的关系型数据库管理系统在处理数据流时存在严重不足;大数据流管理系统成为当今学术界和工业界的研究热点之一。存储子系统是其中的一个核心模块;索引是存储子系统的关键组件。本文工作针对大数据流管理系统的索引构建和持久化存储开展研究。本文贡献如下:1.提出了面向大数据流的索引批量构建技术。根据数据流特性,基于已有B+树批量装载和批量插入技术,提出了基于排序的批量装载和批量插入相结合B+树批量构建技术,分析了批量构建相关参数与数据流流速之间的关系。2.提出了数据流持久化聚集存储策略,并分析持久化聚集存储策略相关参数与数据流流速之间的关系,确定持久化聚集存储策略所能承受的最大吞吐量。本文实现了所提算法,并开展了相应实验。实验验证了所提B+树批量构建技术和持久化聚集存储策略的有效性。

关键词：数据流 B+树批量构建持久化存储

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种解决移动终端漫游通信的方法

软件工程 2017年第3期20卷 6-8,31页

作者：孙婧万翔中国电子科技集团公司第二十八研究所江苏南京210007

部署在有线网络环境下的通信处理软件^([1]),与部署在4G和Wifi无线局域网络环境下的移动终端[2]设备相互通信时,存在移动终端设备在重新接入局域网络或发生移动漫游时,移动终端设备的IP地址与通讯录的配置项不一致,导致信息无法互通的... 详细信息

部署在有线网络环境下的通信处理软件^([1]),与部署在4G和Wifi无线局域网络环境下的移动终端[2]设备相互通信时,存在移动终端设备在重新接入局域网络或发生移动漫游时,移动终端设备的IP地址与通讯录的配置项不一致,导致信息无法互通的问题。本文提出了一种基于网关代理服务的方法,该方法将网关接入代理接入到无线局域网络的各个终端,使终端与外界隔离,有效解决了移动终端设备漫游通信存在的问题。

关键词：网关接入代理心跳保持路由管理持久化存储异常恢复