检索结果-南通市图书馆

基于智能预测的键值数据库负载均衡技术的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于智能预测的键值数据库负载均衡技术的设计与实现

作者：张超华中科技大学

学位级别：硕士

键值数据库由于其优秀的性能被广泛用于各种分布式存储系统中,而实现键值数据库的负载均衡性,有利于提高系统的稳定和效率。在现有的商业数据库中,数据的访问负载呈现周期性变化的规律,而传统的负载均衡策略在这种场景下具有调度的滞后... 详细信息

键值数据库由于其优秀的性能被广泛用于各种分布式存储系统中,而实现键值数据库的负载均衡性,有利于提高系统的稳定和效率。在现有的商业数据库中,数据的访问负载呈现周期性变化的规律,而传统的负载均衡策略在这种场景下具有调度的滞后性。随着深度学习技术的发展,数据预测技术越来越成熟,如果能准确地对未来一段时间内的负载做出预测,并结合负载均衡技术,将热点数据提前做出均衡处理,将有效地提高集群的整体性能。在此思想的基础上,设计并实现一种基于智能预测的负载均衡技术。该技术分为两个模块:预测模块和调度模块。预测模块以集群历史数据为基础训练模型,从而预测集群未来一段时间的负载曲线;调度模块每次在做均衡调度时,从预测模块中获取集群未来一段时间内的负载预测曲线,设定高负载阈值,通过阈值计算下个周期内的低负载时刻区间,再设计一种具有热度衰减特征的热度统计算法,以计算出集群热度最高的Top-K个Region（调度的最小单位）作为调度的热点Region。在计算结果的基础上生成调度计划,调度计划以低负载时刻区间作为调度时机,热点Region作为调度内容。改进后的负载均衡技术能够对集群中的热点数据提前作出均衡处理,且每次调度都在低负载时刻进行,最大程度地降低调度本身对集群性能的影响。基于开源的TiKV代码,采用LSTM（Long Short-Term Memory）模型,实现了系统原型,并在负载周期性变化的场景下做了充分的测试。测试表明,在预测方面,负载曲线的真实值和预测值的拟合度在93%～97%之间;在调度方面,基于智能预测负载均衡调度下的集群平均QPS峰值是改进前的1.24倍,平均查询延迟降低158～288毫秒。

关键词：键值数据库负载预测热度衰减算法负载均衡

面向键值数据库应用的混合存储系统设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向键值数据库应用的混合存储系统设计与实现

作者：赵恒华中科技大学

学位级别：硕士

随着大规模互联网应用的高速发展，给存储系统的可扩展性提出了更高的要求，键值数据库由于其简单高效的数据模型在可扩展性方面较传统的数据库系统有很大的优势。另一方面，随着硬件的发展，固态盘的性价比逐步提高，已经成为越来越多... 详细信息

随着大规模互联网应用的高速发展，给存储系统的可扩展性提出了更高的要求，键值数据库由于其简单高效的数据模型在可扩展性方面较传统的数据库系统有很大的优势。另一方面，随着硬件的发展，固态盘的性价比逐步提高，已经成为越来越多系统的首选，其随机读的优势与互联网应用的特征高度符合，但是其写性能的相对低下以及擦除次数的限制影响了它的应用场景，于是将固态盘与磁盘相结合的融合存储系统得到了大家的广泛关注。因此针对键值数据库而设计的融合存储系统是一个有价值的结合点。针对Web应用的负载特点，通过日志的方式顺序的记录对键值数据库的操作，所有的操作都仅仅是顺序的写入内存，当内存中的数据达到了一定阈值以后一次刷写到后端存储上，日志的方式一定程度上是通过牺牲读性能来优化写性能，所以和固态盘有天然的互补关系。由于后端固态盘与磁盘的不同特性，使用层次化的方法将写的特点进行分类后写入不同的设备上，并设计实现了一个可定制文件放置与迁移策略的文件系统HybridFS，通过监控分析脚本可以对同一文件系统中不同特点的文件选择不同的放置与迁移策略。针对键值数据库的文件访问特点，日志类文件多是一次写很少读，所以直接写入磁盘。元数据类文件读写都很频繁但是文件大小和数量偏少，因此写入固态盘。对数据文件由于其海量、定长、一次写多次读的特点，根据负载特点选择性的写入磁盘或者固态盘。针对纯写入型负载使用概率选择的方式比Flashcache提升了5%-56%，而对于读写混合行负载使用LRU的迁移方式相比Flashcache有4%-14%的性能提升。

关键词：固态盘键值数据库融合存储系统文件系统

基于存算分离的分布式RocksDB的研究与应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于存算分离的分布式RocksDB的研究与应用

作者：吴迪华东师范大学

学位级别：硕士

目前,大部分开源的分布式数据库采用了计算和存储耦合的架构模式,存在计算和存储不均衡、CPU和内存配比更新困难、扩展需要迁移大量数据等缺点。在数据并发量和使用量高速增长的互联网时代,数据库的CPU和内存配比、存储容量需要不断更新... 详细信息

目前,大部分开源的分布式数据库采用了计算和存储耦合的架构模式,存在计算和存储不均衡、CPU和内存配比更新困难、扩展需要迁移大量数据等缺点。在数据并发量和使用量高速增长的互联网时代,数据库的CPU和内存配比、存储容量需要不断更新,计算和存储耦合的缺陷越来越明显。随着网络延迟降低,计算与存储分离的架构模式成为了新的发展方向。本文以RocksDB为例,研究了计算与存储分离的键值数据库的改造方法,设计与实现了分布式RocksDB数据库。RocksDB采用了Write Append Log（WAL）和Compact内存机制,没有更新数据文件的操作。因此,其数据文件（如SST,WAL,MANIFEST等文件）比较适合使用Append Only模式的高性能分布式文件系统（High Performance Distributed File System,HPDFS）作为底层文件持久化存储系统。本文基于计算与存储分离的架构模式改造RocksDB数据库,并利用异构存储、RDMA（Remote Direct Memory Access）与SPDK（Storage Performance Development Kit）等技术加快存取速度,消除数据库端远程存储对性能的影响。论文主要完成以下几项工作:（1）改造RocksDB为分布式数据库,采用一主多从的模式,在Zookeeper组件上注册选主。同时,在HPDFS上设计分布式文件锁,利用分布式文件锁确认主服务器的唯一性,确保RocksDB不会双写。主服务节点提供读写能力,从服务节点提供写的能力。主服务节点故障后,从服务节点可以推选为新的主服务节点提供服务,实现高可用。（2）改造了RocksDB底层文件存储的接口,通过HPDFS提供的SDK访问远程的分布式文件系统,将数据灾备、副本恢复、冗余压缩等特性集成到分布式文件系统中。同时,不同RocksDB实例的数据存在到HPDFS的不同文件目录中,实现数据隔离。（3）针对RocksDB写WAL、MANIFEST两种文件速度影响RocksDB整体写性能的特性。研究中创新性的提出了对RocksDB的数据进行异构介质存储,综合性能和成本的需求,系统能够同时使用持久化内存（Persistent Memory,PM）、固态硬盘（Solid State Disk,SSD）两种存储介质。使用PM存储数据量较少的WAL、MANIFEST文件,使用SSD等相对廉价设备来存储SST文件。此外,本文针对读取频繁且对读性能较高的业务,提出在计算节点端利用PM缓存访问读取频繁的、数据量相对较少的索引文件。（4）RocksDB的写操作瓶颈主要在于WAL日志的追加写,所有写请求都会堵塞等待WAL日志持久化完成。针对RocksDB原生的批量写存在锁等待、堵塞的缺陷。本研究通过队列及异步化写的模式,写线程将请求封装成Context放在Pending队列中,再由轮询线程从队列中批量取出数据组装发送到远程分布式文件系统,通过异步的模式提升系统的吞吐能力。针对远程存储网络延迟的问题,本研究采用RDMA技术的数据旁路、用户空间和操作系统内核空间的复制等特性降低网络延迟,采用SPDK技术提升SSD磁盘的读取速度。RDMA和SPDK两种技术能够有效帮助降低延迟的影响。（5）论文通过实验,对比批量写、PM、RDMA＆SPDK等技术优化前后的效果。并通过机器故障、磁盘故障、网络故障、增加计算节点、增加存储节点等实验验证了分布式RocksDB系统的可靠性、可扩展性、负载均衡性。通过实验表明,本研究设计与实现的计算与存储分离的分布式RocksDB数据库具有较强的可靠性和扩展性。综合IO优化效果能够让分布式RocksDB存储性能接近RocksDB在本地SSD文件系统的存储性能。目前,分布式RocksDB存储系统被试运行应用到对象存储系统的元数据灾备存储中,并通过Grafana监控工具对线上的实例进行监控,系统整体运行稳定。

关键词：计算与存储分离 RocksDB RDMA＆SPDK 键值数据库 OptanceDC

基于内存数据库Redis的轻量级矢量地理数据组织

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

地球信息科学学报 2014年第2期16卷 165-172页

作者：朱进胡斌邵华罗青江南张景云南京师范大学虚拟地理环境教育部重点实验室南京210023

矢量地理数据的高效组织管理是空间数据应用的关键问题之一。矢量地理数据服务作为一种重要的公众空间信息服务,已经得到广泛应用。公众对矢量地理数据服务性能提出了越来越高的要求,包括实时响应、高并发、高吞吐量等。当前的矢量地理... 详细信息

矢量地理数据的高效组织管理是空间数据应用的关键问题之一。矢量地理数据服务作为一种重要的公众空间信息服务,已经得到广泛应用。公众对矢量地理数据服务性能提出了越来越高的要求,包括实时响应、高并发、高吞吐量等。当前的矢量地理数据服务后台数据存储组织,通常基于磁盘和关系数据库,其在面对公众日益增长的需求时已经显得力不从心。本文提出了一种以内存数据库Redis的轻量级矢量地理组织方法,能在高并发情况下有效提高矢量地理数据服务性能。论文首先分析了Redis的存储机制,设计了矢量地理数据库的分层组织模型,利用Redis丰富的数据结构对矢量地理数据及其相关元数据进行存储管理,然后,以网格索引为例,设计了Redis的空间索引,最后,设计Redis的矢量数据引擎原型系统,并进行了实验验证。结果表明,Redis的矢量地理数据库显著提高了响应速度,且并发性能更好,可广泛应用于大型空间数据库前端高速缓存和高性能空间索引库。

关键词：内存数据库键值数据库矢量地理数据空间索引

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

LSM-tree的合并操作优化技术研究

LSM-tree的合并操作优化技术研究

作者：李建川中国科学技术大学

学位级别：硕士

物联网、电子商务等应用的快速发展使得数据的获取和生产速度不断提升,由此对数据库系统的写入性能也提出了更高的要求。以LSM-tree为基础的键值数据库系统(如LevelDB、RocksDB等)依靠LSM-tree的高写入性能,已广泛应用于各类大数据应用... 详细信息

物联网、电子商务等应用的快速发展使得数据的获取和生产速度不断提升,由此对数据库系统的写入性能也提出了更高的要求。以LSM-tree为基础的键值数据库系统(如LevelDB、RocksDB等)依靠LSM-tree的高写入性能,已广泛应用于各类大数据应用场景。LSM-tree将键值数据缓存在内存中,并采用顺序写的方式以SSTable的方式持久化到磁盘中。SSTable在磁盘中被进一步组织成多层结构。随着数据不断写入SSTable,系统会不定期地触发合并(Compaction)操作来保持LSM-tree的多层有序结构。LSM-tree的合并操作不仅能通过归并排序将重复键值进行垃圾回收,还能在排序后提升键值数据库系统的读取性能。但是,合并操作需要读写大量的SSTable数据,这一过程会占用较多的磁盘带宽、CPU、内存等资源,导致系统的性能下降。因此,如何优化LSM-tree的合并操作,是基于LSM-tree的键值数据库系统中的一个关键问题,也是当前LSM-tree相关研究中的热点。本文以优化LSM-tree的合并操作为主要目标,研究了两种不同思路的优化方法。总体而言,本论文的主要工作和贡献可总结为以下几点:1.针对I/O密集型负载,本文提出了延迟顶层合并策略DLC(Delay Level-0 Compaction)。DLC的主要贡献有两个方面。首先,为了更精确地测量系统的磁盘带宽占用,我们提出了一种新的I/O带宽估计模型。我们在理论和实验上证明这一新的I/O带宽估计模型优于以往的方法。其次,针对长时间高负载情况下由于系统缺乏足够的I/O资源而导致吞吐下降的问题,论文提出了在高负载时延迟顶层合并操作同时在低负载时恢复顶层合并操作的设计。进一步地,针对持续的高负载情形,论文提出了一种及时合并的妥协策略,使得系统能够通过小时间段内的性能牺牲而保证系统在之后长时间里的性能稳定。我们在MyRocks上实现了 DLC,并使用OLTP负载与MyRocks和SILK(ATC 2019最佳论文)进行了实验对比。结果表明DLC在吞吐和延迟两项指标上均优于对比方法。2.针对CPU密集型负载,本文提出了基于FaaS弹性计算架构的合并操作优化策略。在分布式环境中,为了降低合并操作对本地CPU资源的占用,我们提出将合并操作迁移至FaaS平台进行处理,从而不影响本地服务器的资源占用,保证性能的稳定性。基于FaaS的合并操作可以很好地利用FaaS平台的弹性计算能力,自动地为合并操作分配所需的资源,并根据合并操作请求的增加或减少自动增加或者减少资源。为了适应FaaS处理程序的设计结构,我们提出了一种微型合并操作方法,将一个较大的合并操作按生成文件的大小细分为几个微型合并操作,从而解决了 FaaS平台存在的超时问题与冷启动问题。我们在实际的FaaS平台和基于LSM-tree的键值数据库系统TerarkDB上进行了实验,证明了该方法的有效性。本文提出的LSM-tree合并操作优化方法有效地提高了基于LSM-tree的键值数据库系统在处理大数据存取请求时的性能稳定性,降低了处理的平均延迟,对LSM-tree的优化有着较好的参考价值。论文所提出的方法已应用于实际的企业云数据库系统,验证了所提出的方法的可行性和实用性。

关键词： LSM-tree 合并操作键值数据库延迟合并 FaaS 弹性计算

运行Redis数据库的Tition3服务器性能测试系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

运行Redis数据库的Tition3服务器性能测试系统的设计与实现

作者：徐硕华中科技大学

学位级别：硕士

目前,越来越多的公司和研究单位,投入越来越多的人力和物力在系统测试上,以保证系统在正常工作时不会出现意外情况。然而,计算机科技的发展十分迅速,测试技术却滞后于计算机软硬件的发展。本文实现一个新型测试系统,具有新的测试功能和... 详细信息

目前,越来越多的公司和研究单位,投入越来越多的人力和物力在系统测试上,以保证系统在正常工作时不会出现意外情况。然而,计算机科技的发展十分迅速,测试技术却滞后于计算机软硬件的发展。本文实现一个新型测试系统,具有新的测试功能和测试体系。通过对搭载键值数据库Redis的集群服务器Tition3进行性能测试,展示服务器的真实性能。本文在设计系统时从多个角度分析了测试需求,包括Cpu、内存、网络、磁盘等硬件的使用情况以及服务器的处理速率、响应延时、网络延时以及集群负载情况等;同时系统要满足远程可操作性和数据管理方便性。本文设计的系统将只能在本地运行的高负载的测试程序与便于远程操作和数据管理的Web程序相融合,构成了一个新的测试系统:运行Redis数据库的Tition3服务器性能测试系统。运行Redis数据库的Tition3服务器性能测试系统包含四个主要模块,概览与创建模块、项目管理模块、报表展示模块和用户管理模块,系统底层还提供数据监控服务和测试服务。数据监控服务使用SNMP协议采集目标服务器的性能数据,并实时展示给用户。测试服务主要是制造请求产生负载,使用了很多经典的数据分布模型,使测试系统能够生成更真实的工作负载。针对性能测试,系统在设计时使用高并发、多线程等提高程序运行效率的技术。为了改进测试效果,在测试服务中加入了DPDK技术,并提出新的服务器响应的测试方法。

关键词：测试系统简单网络管理协议 DPDK技术键值数据库

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向大规模批量日志数据存储方法的研究

面向大规模批量日志数据存储方法的研究

作者：王兆永电子科技大学

学位级别：硕士

防火墙、IPS/IDS、WEB服务器等大的网络系统实时产生大量日志数据,能高效地存储、处理这些数据是挖掘日志数据的前提。关系数据库因为要进行类型检查、语句分析等操作大大影响了其效率,越来越不适用于处理实时和海量日志数据。而无类型... 详细信息

防火墙、IPS/IDS、WEB服务器等大的网络系统实时产生大量日志数据,能高效地存储、处理这些数据是挖掘日志数据的前提。关系数据库因为要进行类型检查、语句分析等操作大大影响了其效率,越来越不适用于处理实时和海量日志数据。而无类型约束、易扩展的键值数据库无疑将大大提高对日志数据的处理效率。随着互联网的发展键值数据库的应用越来越广泛,百度,谷歌,雅虎,阿里巴巴等大的互联网公司都采用键值数据库存取,现在热门的云存储,云计算其数据也用键值技术。本文详细介绍了键值数据库的原理和主要技术,并设计和实现了一个高效的、专门处理网络日志数据的键值数据库,能够支持多维索引和事务处理,并保证进程和线程安全。最后给出完成的键值数据库的测试结果以及和BerkeleyDB数据库的对比情况,指出实现键值数据库的优势与不足,并给出下一步的优化改进措施。本课题主要内容是设计一个实时处理海量网络日志数据的数据库。其主要实现功能包括以下几点: （1）基于键值数据库技术,开发一个网络日志存储系统;（2）保证较高的读写效率,写日志到数据库和从数据库中读日志的速率都达到每秒10万条记录的数量级;（3）实现多维索引,实现从多个域查询日志记录,并支持等值查找,范围查找,遍历操作等;（4）线程安全,读,写进程的同步与互斥,保证数据的完整性;（5）实现C/S分布式存储,利用libevent库来实现主从存储器间的通信。本课题将采用一种从整体到局部的设计思路实现日志存储系统。首先分析日志记录的特点和日志系统需要提供的功能来总体设计键值数据库。然后研究实现数据库的各项技术并进行分析对比,接着从整体到各个模块进行分别设计和优化,最终完整地实现日志存储数据库。所要达到的目标为能实时的存储日志记录到数据库中,同时也能实时的从数据库读日志出来。

关键词：网络日志键值数据库 hash B/B+树 Libevent

Vantage Pro气象站实时数据采集与在MUSER中的应用研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

天文研究与技术 2016年第1期13卷 117-123页

作者：卫守林石聪明高姣姣王锋邓辉季凯帆中国科学院云南天文台云南昆明650011 昆明理工大学云南省计算机技术应用重点实验室云南昆明650500

我国明安图射电频谱日像仪(Mingantu Ultrawide Sp Ectral Radio Heliograph,MUSER)已经完成所有的硬件设备安装与调试,即将进入常规观测。为有效地保证观测数据的可用性,项目组购置了Vantage Pro自动气象站,用以实时监控观测地的气象... 详细信息

我国明安图射电频谱日像仪(Mingantu Ultrawide Sp Ectral Radio Heliograph,MUSER)已经完成所有的硬件设备安装与调试,即将进入常规观测。为有效地保证观测数据的可用性,项目组购置了Vantage Pro自动气象站,用以实时监控观测地的气象条件变化。首先介绍了MUSER项目的基本情况,论述了在项目中气象条件的应用场景及在数据处理时对数据有效性可能造成的影响;详细介绍了Vantage Pro气象站的数据采集格式、数据交换格式以及串行通信协议;介绍了在气象数据的存储方式;最后给出了构建气象数据服务、数据归档和高效查询的方法。可以应用在望远镜自动气象监控和数据处理方面,也可以为选址的自动气象监测提供参考。

关键词： VantagePro MUSER 气象数据采集数据合并键值数据库

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

LevelDB架构与相关改进分析

无线通信技术 2020年第2期29卷 12-17页

作者：俞加平宁波大学信息科学与工程学院宁波315211

键值数据库是NoSQL数据库中的一种,LevelDB作为典型的键值数据库,其底层采用LSM树作为存储架构,写入性能十分优异,一直是人们研究和改进键值型数据库性能的基准线。本文首先对LevelDB的整体结构做了剖析,并以LevelDB中的重要数据结构和... 详细信息

键值数据库是NoSQL数据库中的一种,LevelDB作为典型的键值数据库,其底层采用LSM树作为存储架构,写入性能十分优异,一直是人们研究和改进键值型数据库性能的基准线。本文首先对LevelDB的整体结构做了剖析,并以LevelDB中的重要数据结构和读写操作为轴线,详细分析了LevelDB如何实现快速存取的目标。本文接着对当前以LevelDB为代表,基于LSM树存储结构的数据库改进做了深入调查和分类,在对已有技术分析的基础上,指出了非关系型数据库未来可能的研究方向。

关键词：键值数据库 LSM树数据存储数据检索