检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

可扩展数据库中快照隔离级别的实现与优化

可扩展数据库中快照隔离级别的实现与优化

作者：肖冰华东师范大学

学位级别：硕士

随着互联网的繁荣发展和数据密集型应用的广泛使用,越来越多的互联网应用采用可扩展数据库来处理日益增长的数据存储和数据访问。由于增量数据与基线数据分离的特性可以同时发挥磁盘的大规模存储以及内存的高性能存取等优势,日志结构合... 详细信息

随着互联网的繁荣发展和数据密集型应用的广泛使用,越来越多的互联网应用采用可扩展数据库来处理日益增长的数据存储和数据访问。由于增量数据与基线数据分离的特性可以同时发挥磁盘的大规模存储以及内存的高性能存取等优势,日志结构合并树的思想已被广泛应用于分布式存储系统当中,如BigTable,HBase。然而,由于该类存储系统通常不提供事务特性,无法直接应用于金融和电信等关键应用中。谷歌的Spanner在BigTable的基础上通过分布式并发控制实现了事务的ACID特性。但由于系统的性能受制于数据分区,Spanner对上层应用有着极高的要求。随着内存价格的不断下降和单处理器中处理单元的不断增加,采用一个独立的物理服务器节点来处理增量数据从而避免分布式事务已成为一种选择,如OceanBase,CEDAR。然而,该类系统的架构特性决定了其无法高效地处理事务的读取操作。首先,为了保证事务的正确性,每一个事务读取均需要访问基线数据和增量数据,这将增加事务的处理时间,从而增加事务冲突的可能性;其次,由于每次事务读取均需要访问增量数据,单事务处理节点的网络带宽可能成为系统瓶颈。针对上述两个方面的问题,首先,为了发挥该架构下增量数据多版本存储的优势,本文采用了快照隔离级别来保证事务的正确性,使得读写互不阻塞,进而提升读写的并发性能。其次,针对读密集型应用,本文提出了一个更加高效的数据访问方法,采用布隆过滤器维护增量数据,在事务处理节点的数据访问流程中对无法获取到增量数据的空读请求提前进行过滤,进而降低单点过载造成的读取延迟,提升整体吞吐性能。本文工作的主要贡献如下:1.给出了在基于日志结构合并树架构的可扩展数据库系统中实现快照隔离级别的方法,分析了定期合并流程中快照隔离需要面对的问题并提出解决方案。同时给出如何在保证快照隔离正确性的基础上,有效地进行副本管理和故障恢复的策略。2.分析了该架构下事务处理节点的数据读取流程,总结该节点处理读请求时网络I/O线程和工作线程的工作机制,并结合大多数应用场景下的数据分布情况,对原有工作机制提出改进方法,使用布隆过滤器优化空读的处理,使得空读请求可直接在网络I/O线程返回,而不必排队等待工作线程处理,进而提升系统整体的快照读取性能。3.在开源系统CEDAR中实现上述快照隔离级别和快照读取优化方法,并通过大量实验验证快照隔离级别的服务性能,同时验证基于空读过滤的快照读取优化方法对系统读取的性能提升。实验表明,本文提出的快照隔离级别实现方法和快照读取优化方法能够保证系统对读密集型服务提供接近理想状态下的可扩展性能和较高的可用性,这对基于日志结构合并树架构的可扩展数据库系统提供高性能事务级数据访问是一次积极的尝试,具有一定的借鉴意义。

关键词：可扩展数据库 LSM 快照隔离网络I/O 布隆过滤器读取性能

基于快照隔离的分布式数据库同步技术研究与应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于快照隔离的分布式数据库同步技术研究与应用

作者：王珏解放军信息工程大学

学位级别：硕士

近年来，基于分布式数据库的应用随着计算机网络的飞速发展而日益增加。这些应用中，通常在分布式数据库系统的设计和实现时引入冗余数据，多个数据副本在不同地点同时提供服务可以提高数据的可用性和系统的可靠性，如何保证这些数据副... 详细信息

近年来，基于分布式数据库的应用随着计算机网络的飞速发展而日益增加。这些应用中，通常在分布式数据库系统的设计和实现时引入冗余数据，多个数据副本在不同地点同时提供服务可以提高数据的可用性和系统的可靠性，如何保证这些数据副本的一致性是分布式数据库系统中的一个核心问题。针对分布式数据库多副本一致性的问题，一部分学者将快照隔离引入到数据库同步技术中，通过其并发的特性来提高数据库同步系统的性能;一部分学者采用组通信中的全序转发技术很好的实现了数据库对等节点同步中较强的数据一致性。但是快照隔离没有达到数据库并发控制的可串行化的正确性准则，可能会导致数据的不一致;而仅采用组通信技术会对系统的性能产生一定的影响。因此，本文综合分析了快照隔离技术和组通信技术，针对分布式数据库中多节点对等同步的业务需求，结合两者的优点，设计并实现了一个维护分布式数据库中多副本一致性的系统。主要完成的工作包括： (1)设计了一种基于快照隔离的可串行化规则SSI。为了保证快照隔离下并发事务能达到可串行化的正确性准则，在研究快照隔离的基础上，设计了一种快照隔离可串行化规则，可以确保快照隔离下的并发事务能达到单副本可串行化。 (2)设计了一个适用于对等模式的分布式数据库同步协议SSI-SYNC。基于提出的快照隔离可串行化规则，结合组通信特性，将可串行化规则的应用范围扩展到分布式数据库系统中，设计了SSI-SYNC数据库同步协议，保证所有节点副本都能提供读写服务，同时在单副本可串行化的前提下保证了系统的性能。 (3)为了保证副本的一致性，设计了一种适用于分布式数据库同步的冲突处理策略和异常处理策略。对于数据库同步带来的冲突，通过设计的冲突处理策略保证数据副本的一致性;对于系统故障导致的异常，通过设计的故障处理策略来保证系统的健壮性和稳定性。 (4)设计并实现了一个基于快照隔离的分布数据库同步系统。为了解决同步过程中数据的安全传输问题，本文将数据同步协议与数字信封机制相结合，设计了数据传输安全验证机制，增强了系统的安全性，从而满足了对数据安全性有较高要求的应用场景。实现的系统可以在Oracle、SQL Server等主流数据库产品之间进行安全、可靠、稳定、高效的同步，并对系统进行了同步验证。实验结果表明系统可在充分保证用户自治性的前提下，较好地完成分布式数据库的同步。

关键词：分布式数据库快照隔离组通信一致性 SSI SSI-SYNC

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于TiDB数据库事务处理技术研究与实现

基于TiDB数据库事务处理技术研究与实现

作者：时昕电子科技大学

学位级别：硕士

随着计算机技术和互联网的快速发展,网络应用的数据量和用户规模呈现爆发式增长,传统的关系型数据库已经无法满足当前海量数据的存储和事务处理需求,因此分布式关系型数据库应运而生,其中涉及的分布式事务处理模型和事务一致性问题是当... 详细信息

随着计算机技术和互联网的快速发展,网络应用的数据量和用户规模呈现爆发式增长,传统的关系型数据库已经无法满足当前海量数据的存储和事务处理需求,因此分布式关系型数据库应运而生,其中涉及的分布式事务处理模型和事务一致性问题是当前研究的热点。目前大部分数据库的分布式事务模型仍然基于两阶段提交协议设计,存在事务提交延迟高等问题。在事务一致性方面,部分数据库为了保证事务处理性能,使用的事务并发控制协议并没有达到可串行化隔离级别,在事务并发执行时可能会发生数据错误,在一些场景下可能对企业造成巨大损失。因此如何在保证事务一致性的前提下,尽可能地提高分布式事务的处理性能,成为当前分布式关系型数据库面临的核心挑战。针对以上问题,论文基于Percolator分布式事务模型,结合开源分布式关系型数据库TiDB的具体实现,展开了对分布式事务的相关研究。在事务处理性能方面,对Percolator的设计思想和执行流程展开深入研究,提出内存锁表机制及其宕机恢复策略,该机制在保证事务原子性的前提下,将Percolator的写锁解锁操作从磁盘转移到了内存中,减少了事务执行时的磁盘IO次数,从而降低事务处理延迟。在发生宕机后,通过重放Raft日志的方式恢复内存锁表中保存的数据,避免事务状态丢失。在事务一致性方面,对Percolator的隔离级别进行分析,指出Percolator采用的检测并发事务之间写写冲突策略中存在的问题,提出了基于读写冲突检测的S-Peroclator协议,并证明其产生的事务调度序列是可串行化的。最后,论文基于TiDB和TiKV对提出的两个改进点进行了实现。测试结果表明,在加入了内存锁表机制后,TiKV的读取和插入延迟平均下降了 5-7%左右。使用S-Percolator协议后,在对数据库性能没有造成显著影响的情况下,使事务并发控制达到了可串行化隔离级别。

关键词：分布式事务快照隔离可串行化并发控制两阶段提交协议

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多版本并发控制的分布式事务优化与实现

基于多版本并发控制的分布式事务优化与实现

作者：俞文谦华东师范大学

学位级别：硕士

随着移动互联网的繁荣发展,愈来愈多的线下业务向线上业务进行转移。传统的集中式数据库系统已经无法通过扩展来应对用户量和数据量的快速增长。在此背景之下,分布式关系数据库系统应运而生。它将数据切分到多个节点上进行处理,从而能... 详细信息

随着移动互联网的繁荣发展,愈来愈多的线下业务向线上业务进行转移。传统的集中式数据库系统已经无法通过扩展来应对用户量和数据量的快速增长。在此背景之下,分布式关系数据库系统应运而生。它将数据切分到多个节点上进行处理,从而能够获得良好的可扩展性。但是受限于目前的网络速度,节点之间的网络通信时延成为这类系统的主要瓶颈。当出现分布式事务时,为了确保其正确性和高效性,分布式事务型关系数据库系统通常采用多版本并发控制协议（Multi-Version Concurrency Control,MVCC）、先更新者赢规则（First Updater Wins,FUW）及两阶段提交协议（Two-Phase Commit,2PC）相结合的方法。然而,以上协议的运行需要多次耗时的网络通信,并且在此期间写锁会被分布式事务一直持有。在高冲突的负载下,这会增加事务之间冲突的可能性,进而影响系统的事务处理性能。因此,为了解决分布式事务持锁时间过长的问题,本文设计了基于提交依赖的分布式事务处理方法,该方法通过提前释放写锁对分布式事务的性能进行优化。本文的主要贡献如下:1.针对分布式事务持锁时间过长的问题,提出了一种具有可恢复性和有序终止性的多版本有序终止协议（MV-OT）。它能在保证正确性的前提下,通过引入少量级联中止来有效地提升分布式事务处理性能。2.为了支持事务读写未提交的数据,设计了一组基于行版本的可见性、可更新性判断和读写策略,并能在事务发生冲突时记录提交依赖信息;同时,设计了一种事务提交策略,它通过提交依赖信息确定事务之间正确的提交顺序,从而避免了并发事务引起的异常,保证了数据的一致性。3.验证了在无共享分布式数据库系统中MV-OT的有效性。在开源的分布式数据库系统Postgres-XL中实现了MV-OT,并进行一系列的实验进一步证明了其对分布式事务的性能提升。

关键词：分布式关系数据库系统分布式事务多版本并发控制快照隔离两阶段提交