检索结果-南通市图书馆

基于分离式内存的热点感知与低时延分布式事务设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于分离式内存的热点感知与低时延分布式事务设计与实现

作者：单海康华中科技大学

学位级别：硕士

采用远程直接内存访问(Remote Direct Memory Access,RDMA)技术通信的计算存储分离式内存架构,显著提升系统的资源利用率,但在这种架构下的分布式事务操作需要通过跨节点通信实现。近年来提出的分布式内存事务系统在分离式内存架构的高... 详细信息

采用远程直接内存访问(Remote Direct Memory Access,RDMA)技术通信的计算存储分离式内存架构,显著提升系统的资源利用率,但在这种架构下的分布式事务操作需要通过跨节点通信实现。近年来提出的分布式内存事务系统在分离式内存架构的高热点负载下因大量跨节点通信而无法保证时延的服务质量,具体原因是:1)在并发控制算法方面,常用的乐观并发控制(Optimistic Concurrency Control,OCC)算法及其变体在热点负载下会因冲突导致事务重试,引发长尾延迟问题;2)在时间戳方面,采用定期同步的物理时间戳方式需要等待较大的不确定时延,而因热点冲突导致的事务重试需要重新获取时间戳,进一步增加时延;3)在RDMA通信方面,现有的RDMA通信不能兼顾时延服务质量的要求和分离式内存下的低计算处理能力。针对目前研究中存在的问题,提出基于分离式内存的热点感知与低时延事务系统Hot-T(Distributed Transaction System with Hotspot-Awareness and Low-Latency in Disaggregated Memory)。首先,Hot-T提出Takeout Lock(Ticket Lock with Hangout Timeout)机制实现事务执行过程中的热度感知以及冲突事务之间的公平排队。在此基础上,Hot-T在低热度场景下使用OCC发挥并发能力;在热点访问场景下,Hot-T结合时间戳排序的思想,提出时间戳排序OCC(Timestamp Ordered OCC,TOC)并发控制算法减少OCC因重试导致的跨节点通信开销,缓解长尾延迟问题。其次,HotT利用RDMA网卡内存实现低时延的中心化授时服务,避免定期同步方式的等待时延。最后,Hot-T设计针对RDMA优化的通信框架RRPC(RDMA Remote Procedure Call),结合RPC(Remote Procedure Call)方式与RDMA单边原语,利用批处理方法均摊时延,并帮助TOC并发控制算法降低事务中止率、减少跨节点通信开销。通过事务性能基准测试,将Hot-T与Fa RMv2、FORD系统进行对比。测试结果表明,在高并发、高热度负载下Hot-T将事务吞吐率提升25.8%～57%,事务P50时延降低29.2%～43.1%,P99时延降低32.5%～45.6%。

关键词：分离式内存分布式事务热点负载远程直接内存访问乐观并发控制

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式事务在工商银行的探索实践

中国金融电脑 2021年第7期 61-65页

作者：张丹枫中国工商银行软件开发中心云计算实验室

互联网金融时代下,主机集中式架构难以适应新形势下的业务快速发展,金融信息系统开始向分布式架构转型探索,分布式事务作为基础技术成为了转型关键所在。传统主机通过DB2数据库或CICS中间件即可解决事务一致性问题,分库分表后的分布式... 详细信息

互联网金融时代下,主机集中式架构难以适应新形势下的业务快速发展,金融信息系统开始向分布式架构转型探索,分布式事务作为基础技术成为了转型关键所在。传统主机通过DB2数据库或CICS中间件即可解决事务一致性问题,分库分表后的分布式事务一般遵循BASE特性,即基本可用、软状态和最终一致性,目前业界主流的事务模型主要有SAGA模型、TCC模型和消息模型。工商银行通过研究各类开源产品如何解决事务最终一致性问题,自主研发了完全贴合行内架构布局的分布式事务平台,目前已大量运用于借贷等关键交易。该平台具有完善的事务模型、便捷的开发使用、灵活的部署模式、高可用/易扩展、完备的运维监控。未来,工商银行将持续推动金融科技创新,保证金融服务的稳定运行。

关键词：分布式事务分库分表事务一致性 SAGA TCC 消息同库部署异库部署

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

微服务架构中分布式事务研究与实现

微服务架构中分布式事务研究与实现

作者：刘佳新疆大学

学位级别：硕士

随着互联网技术的快速的更新换代,软件后端系统由原本的单体应用逐渐转化为微服务的应用,微服务化就是提倡将臃肿繁杂的一体式的服务应用拆分为多个功能简单、单一、耦合度比较低的微型服务,如此一来就能够降低开发难度、减少开发的成本... 详细信息

随着互联网技术的快速的更新换代,软件后端系统由原本的单体应用逐渐转化为微服务的应用,微服务化就是提倡将臃肿繁杂的一体式的服务应用拆分为多个功能简单、单一、耦合度比较低的微型服务,如此一来就能够降低开发难度、减少开发的成本,增强微服务的扩展性、和复用性,同时便于敏捷开发。微服务是分布式的,每个服务都是一个独立的程序。这种分布式架构下由多个微服务之间通过网络远程调用完成的事务就会引起数据不一致性问题。因此实现分布式事务保证数据一致性是让微服务项目成功落地的关键。本文通过对微服务下分布式事务产生场景和理论的分析,并研究2PC方案、TCC方案、可靠消息最终一致性方案、最大努力通知方案等常用的分布式事务解决方案。深入理解每个解决方案的设计思想和执行流程,为智能油田应用集成系统项目中的分布式事务的设计和实现提供了理论依据。在智能油田应用集成系统微服务化的开发过程中,对项目中的微服务业务流程进行分析,对于涉及到分布式事务问题的低并发强时效性事务、高并发强时效性事务、高并发弱时效性事务等进行解决方案分析,分别设计和实现2PC方案、TCC方案、可靠消息最终一致性方案的分布式事务,并通过数据一致性测试和事务吞吐率测试,保证数据一致性的同时为每个业务选择最优解决方案的分布式事务。最后通过项目中的使用情况,对每个解决方案进行优劣研究,分析高并发项目中分布式事务如何选型。对智能油田应用集成系统项目中使用的TCC方案和可靠消息最终一致性方案提出了性能优化的设计和实现。在TCC优化方案中通过对事务发起者的本地事务和异步调用的优化能够减少事务发起方与事务协调器网络调用的开销,减少事务协调器注册事务发起方分支事务的开销。同时减少了开发量,降低了整个系统的时间复杂度,性能提升了19%。在可靠消息最终一致性方案中通过基于异步消息的优化减少了数据源服务与Rocket MQ之间的交互次数,通过异步消息代码改造降低开发工作量,异步消息另起线程接收返回信号,不同步阻塞,提升了系统7%的性能。

关键词：微服务分布式事务数据一致性性能优化

OceanBase分布式关系数据库架构与技术

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机研究与发展 2023年

作者：阳振坤杨传辉韩富晟王国平杨志丰成肖君北京奥星贝斯科技有限公司

关系数据库是当今社会的关键信息基础设施，互联网和数字化带来了高并发和海量数据，传统关系数据库均为集中式架构，处理能力和存储容量都捉襟见肘。OceanBase分布式关系数据库基于通用PC服务器，不仅实现了在线水平伸缩，还实现了机... 详细信息

关系数据库是当今社会的关键信息基础设施，互联网和数字化带来了高并发和海量数据，传统关系数据库均为集中式架构，处理能力和存储容量都捉襟见肘。OceanBase分布式关系数据库基于通用PC服务器，不仅实现了在线水平伸缩，还实现了机房故障自动无损容灾以及高倍率数据压缩等，已经应用于金融、政务、通信和互联网等行业。介绍了OceanBase分布式关系数据库的系统架构和关键技术，包括分布式事务处理、基于LSM-tree 的存储系统以及分布式SQL优化器。详细阐述了OceanBase数据库的高可用和数据一致性，包括RPO为0和RTO小于8秒。也介绍了OceanBase数据库多租户机制，即采用了集群内原生多租户设计，在集群内实现多个互相独立的数据库服务。基于Sysbench和TPC-H评测基准，对比实验结果表明，1）在单机模式下，OceanBase的性能是MySQL的1.27倍至2倍多；2）在单主模式下，OceanBase的性能是MySQL的1.25倍至近2倍；3）在多主模式下，OceanBase的性能是MySQL的1.09倍至3.1倍，对于下OLAP复杂查询，OceanBase 的性能是MySQL 的6 倍到327倍。

关键词：关系数据库分布式事务基于LSM-tree存储分布式SQL优化器多租户

Kubernetes容器集群下分布式事务解决方案的研究

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

Kubernetes容器集群下分布式事务解决方案的研究

作者：张斌浙江理工大学

学位级别：硕士

随着互联网行业的飞速发展,对技术的要求也越来越高,如12306抢票软件和淘宝商城在高峰时会出现千万级甚至更高的并发量,同时大量的数据也考察着系统的存储能力、查找能力等,对系统的高可用、高并发的要求越来越高。同时软件更新迭代频... 详细信息

随着互联网行业的飞速发展,对技术的要求也越来越高,如12306抢票软件和淘宝商城在高峰时会出现千万级甚至更高的并发量,同时大量的数据也考察着系统的存储能力、查找能力等,对系统的高可用、高并发的要求越来越高。同时软件更新迭代频率越来越频繁,微服务、DevOps、持续交付、动态伸缩等概念相继被提出并得到飞快的发展,云原生的概念也越来越深入人心。云原生并不止简单的将传统的物理服务器上的软件服务转为放到云服务器上去,它从应用的架构、开发、部署和维护的各个方面都提出了改变创新,最终真正的发挥云的弹性、动态调度、自动伸缩等特性。云原生架构和云原生应用所涉及的技术很多,如微服务、容器技术、可持续交付、DevOps等。本文通过Spring Cloud微服务框架、Docker容器化技术和Kubernetes服务编排技术对云原生的核心思想即服务的快速开发和部署进行研究,同时结合容器场景,解决分布式系统在多主机下单机的事务机制无法保证数据的一致性幂等性的问题。首先本文针对微服务系统进行分析,从服务拆分开始,通过使用Spring Cloud框架将传统的单体服务进行拆分,网关使用Zuul网关,注册中心采用Eureka,微服务之间的调用采用Feign组件,负载均衡结合各种场景使用对应的Ribban策略,并结合分布式Session和根据雪花算法生成全局唯一 Id等技术构造一套微服务系统。第二部分分析如何使用Docker及Kubernetes,微服务在带来了一系列好处的同时也带来了一些问题,如多个微服务的管理及相互通信,多服务的部署,单个服务出现问题后导致的其他服务不可用等问题。这里本文使用Docker来进行服务的容器化,来做到服务的高效部署,且能保证环境的一致性,并通过Kubernetes实现服务编排、动态伸缩等功能。第三部分是讨论在容器化环境下解决微服务的分布式事务问题,结合当前一有的几种方式进行实践和验证,讨论优缺点并加以改进完善,最终选出最优方案。

关键词：云原生微服务容器分布式事务 Docker Kubernetes

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多版本并发控制的分布式事务优化与实现

基于多版本并发控制的分布式事务优化与实现

作者：俞文谦华东师范大学

学位级别：硕士

随着移动互联网的繁荣发展,愈来愈多的线下业务向线上业务进行转移。传统的集中式数据库系统已经无法通过扩展来应对用户量和数据量的快速增长。在此背景之下,分布式关系数据库系统应运而生。它将数据切分到多个节点上进行处理,从而能... 详细信息

随着移动互联网的繁荣发展,愈来愈多的线下业务向线上业务进行转移。传统的集中式数据库系统已经无法通过扩展来应对用户量和数据量的快速增长。在此背景之下,分布式关系数据库系统应运而生。它将数据切分到多个节点上进行处理,从而能够获得良好的可扩展性。但是受限于目前的网络速度,节点之间的网络通信时延成为这类系统的主要瓶颈。当出现分布式事务时,为了确保其正确性和高效性,分布式事务型关系数据库系统通常采用多版本并发控制协议（Multi-Version Concurrency Control,MVCC）、先更新者赢规则（First Updater Wins,FUW）及两阶段提交协议（Two-Phase Commit,2PC）相结合的方法。然而,以上协议的运行需要多次耗时的网络通信,并且在此期间写锁会被分布式事务一直持有。在高冲突的负载下,这会增加事务之间冲突的可能性,进而影响系统的事务处理性能。因此,为了解决分布式事务持锁时间过长的问题,本文设计了基于提交依赖的分布式事务处理方法,该方法通过提前释放写锁对分布式事务的性能进行优化。本文的主要贡献如下:1.针对分布式事务持锁时间过长的问题,提出了一种具有可恢复性和有序终止性的多版本有序终止协议（MV-OT）。它能在保证正确性的前提下,通过引入少量级联中止来有效地提升分布式事务处理性能。2.为了支持事务读写未提交的数据,设计了一组基于行版本的可见性、可更新性判断和读写策略,并能在事务发生冲突时记录提交依赖信息;同时,设计了一种事务提交策略,它通过提交依赖信息确定事务之间正确的提交顺序,从而避免了并发事务引起的异常,保证了数据的一致性。3.验证了在无共享分布式数据库系统中MV-OT的有效性。在开源的分布式数据库系统Postgres-XL中实现了MV-OT,并进行一系列的实验进一步证明了其对分布式事务的性能提升。

关键词：分布式关系数据库系统分布式事务多版本并发控制快照隔离两阶段提交

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式事务处理模型研究与实现

分布式事务处理模型研究与实现

作者：俞腾秋电子科技大学

学位级别：硕士

在大数据时代下,移动互联网、智能设备以及物联网技术的发展,使得全球数据量呈现爆发式增长,传统的单机数据库受限于扩展能力,难以承载海量业务需求,人们开始探索将数据库分布式化,出现了以Google Spanner为代表的分布式数据库。分布式... 详细信息

在大数据时代下,移动互联网、智能设备以及物联网技术的发展,使得全球数据量呈现爆发式增长,传统的单机数据库受限于扩展能力,难以承载海量业务需求,人们开始探索将数据库分布式化,出现了以Google Spanner为代表的分布式数据库。分布式数据库具备强一致性、高可用性、可扩展性、易运维、容错容灾的特性,拥有满足ACID特性的高并发事务处理能力,可以满足低延迟和海量并发处理需求。分布式数据库一般采用多分区和多副本实现可扩展性和高可用性,分布式事务往往要在强一致性和事务性能两者之间做出妥协,这也使得分布式事务的研究成为分布式数据库领域最具有挑战性的工作之一。本文以分布式事务处理模型作为研究背景,调研了主流分布式事务模型的实现原理,分析其优劣势。在此基础上,借鉴Percolator事务模型的思想,设计和实现分布式关系型数据库的事务处理模型。该模型通过两阶段提交协议,提供强一致性跨分区事务,由中心授时服务器提供全局唯一的时间戳,实现快照隔离级别。本文的主要工作包括:1.设计和实现乐观事务模型,在增删改查阶段将记录修改操作缓存在计算层中,在事务提交时通过两阶段提交协议进行提交。采用多版本并发控制机制,读操作读取快照版本数据,实现读写不相互阻塞。2.针对解决高事务冲突场景下事务性能降低的问题,在乐观事务模型的基础上实现悲观事务模型,在增删改查阶段对所有记录提前写入悲观锁,将事务冲突检测的时机提前,从而减少事务冲突回滚的发生。3.针对分布式事务延迟高的问题,设计和实现异步提交协议,在完成第一阶段写入后,立即返回客户端响应,同时异步地完成第二阶段的事务提交,减少一轮网络IO带来的事务延迟。4.针对单分区事务的场景,设计和实现一阶段提交协议,优化对记录加锁和解锁步骤,在一次网络IO中完成事务提交,进而提升事务性能。本文使用TPC-C和Sysbench等测试工具对事务进行功能和性能测试,测试结果表明,事务系统支持ACID特性并实现快照隔离级别。悲观事务模型在冲突严重场景下性能表现大幅优于乐观事务,异步提交事务能在保证一致性前提下降低事务的响应时间,单分区事务场景中使用一阶段提交协议可以极大地提升事务性能。

关键词：分布式事务分布式数据库多版本并发控制两阶段提交

基于分布式事务的门架数据处理系统设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

中国交通信息化 2022年第10期 97-100页

作者：梁燕飞曹峰广东利通科技投资有限公司智能交通研究院广东广州510000 广深珠高速公路有限公司广东东莞523925

根据高速公路取消省界站工程的要求,高速公路大量建设ETC门架系统,安装高清摄像枪和RSU天线,生成通行流水,用于识别车辆真实行驶路径,作为收取通行费用的依据。在此背景下,一方面大型路段门架数量庞大,车流密集,流水上传具有高并发的特... 详细信息

根据高速公路取消省界站工程的要求,高速公路大量建设ETC门架系统,安装高清摄像枪和RSU天线,生成通行流水,用于识别车辆真实行驶路径,作为收取通行费用的依据。在此背景下,一方面大型路段门架数量庞大,车流密集,流水上传具有高并发的特点;另一方面,门架产生的通行流水需要快速上传处理,对流水的完整性与实时性有严格要求。为解决此问题,本文通过对分布式事务技术的研究,结合Docker Swarm容器编排工具,构造出一套运行于路段中心的支持高可用、零丢失、高性能的门架数据处理系统,在广东省高速公路广泛部署使用两年多,取得了良好效果。

关键词：分布式事务 ETC门架系统取消省界站

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于分布式事务的数据跨网交换技术

指挥信息系统与技术 2023年第2期14卷 91-94,100页

作者：蒋明鹏李荣宽王金泉周烁电科云(北京)科技有限公司北京100041

随着信息技术在社会各领域中的应用越来越深入,数据跨网交换与传输成为业务信息系统之间的重要途径。针对跨网数据交换存在的安全问题,分析了现有数据跨网交换方式在确保数据安全传输方面的不足,以及网络单向通信导致的无法利用常用事... 详细信息

随着信息技术在社会各领域中的应用越来越深入,数据跨网交换与传输成为业务信息系统之间的重要途径。针对跨网数据交换存在的安全问题,分析了现有数据跨网交换方式在确保数据安全传输方面的不足,以及网络单向通信导致的无法利用常用事务模式的问题,提出了一种可屏蔽底层跨网硬件设备差异的基于分布式事务的数据跨网交换技术。对数据跨网交换方案设计过程进行了分解,并基于国产化平台进行了设计,实现了信息环境中数据跨网的安全交换。

关键词：分布式事务数据跨网交换数据安全

维普期刊数据库