检索结果-南通市图书馆

基于zookeeper的分布式电力系统状态估计

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于Zookeeper的分布式电力系统状态估计

作者：钟佳霖济南大学

学位级别：硕士

电力系统状态估计（State Estimation,SE）是能量管理系统（Energy Management System,EMS）的关键组成部分,然而随着电力系统规模的不断扩大,量测设备的增加,以及各种高级应用的实现,目前工程上仍在采用的集中式状态估计存在较大的数... 详细信息

电力系统状态估计（State Estimation,SE）是能量管理系统（Energy Management System,EMS）的关键组成部分,然而随着电力系统规模的不断扩大,量测设备的增加,以及各种高级应用的实现,目前工程上仍在采用的集中式状态估计存在较大的数据计算量和存储量以及较高的通信设备成本,并且存在实时性和可靠性较差的问题。因此,对分布式电力系统状态估计的研究具有重要的意义。本文集中式电力系统状态估计的算法为基础,选择经典的加权最小二乘（Weighted Least Squares,WLS）法作为算法的依据。首先,本文对状态估计的数学模型和加权最小二乘法的求解过程进行了详细的描述,分析了量测雅可比矩阵和信息矩阵的结构,以及求解过程的可并列性,并对信息矩阵按照节点进行了解耦;其次,根据节点求解的顺序,按照并行求解任务的划分对信息矩阵进行了分块,以此对电力系统进行分区,根据前代回代求解过程确定了子区域间需要共享的信息;然后,采用zookeeper系统进行共享信息的存储,配置了相应的zookeeper存储节点,使用Java语言编写了客户端程序;最后,通过实际的电网算例验证了本文方法的正确性和有效性,并对比分析了不同分区方式的状态估计计算结果和效率。

关键词：电力系统分布式状态估计并行算法数据共享 zookeeper

基于zookeeper的大数据处理调度系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Zookeeper的大数据处理调度系统的设计与实现

作者：程庚华中科技大学

学位级别：硕士

随着大数据时代的到来,如何对海量数据进行处理、分析,从而获取商业价值,已经成为了越来越多公司重点关注的问题,同时也给任务调度带来了不少挑战。首先,在大数据处理中,由于数据处理量极大,单机处理会给企业带来巨大的时间成本;其次,... 详细信息

随着大数据时代的到来,如何对海量数据进行处理、分析,从而获取商业价值,已经成为了越来越多公司重点关注的问题,同时也给任务调度带来了不少挑战。首先,在大数据处理中,由于数据处理量极大,单机处理会给企业带来巨大的时间成本;其次,在单个数据处理的工作流中,可能存在工作流内部各个任务之间有上下游依赖的情况,如果仅通过传统的定时任务库如Quartz来处理,则十分麻烦,难以掌控;另外,虽然有诸如Airflow的调度系统利用了有向无环图的概念来构建工作流,但是因为其构建需要通过编程来实现,又形成了较高的使用门槛。针对以上大数据处理任务调度中的问题,以及考虑到实习公司在数据处理中调度规模的使用情况,单工作流可包含上百个任务,日均调度量十万级,因此,设计并实现了一款任务调度系统。采用多Master多Worker分布式系统架构,创建工作流时采用了可视化有向无环图的方式,这两个特点分别能够大幅缩短数据处理的用时以及降低使用门槛。此分布式系统基于分布式协调框架zookeeper构建,实现了高可用性,保证在系统内,部分组件失效时仍然能够执行任务。由于许多场景下数据处理需要定时进行,因此基于Quartz实现了对定时任务的支持。任务调度系统的Web前后端分别是基于Spring Boot框架以及***前端框架实现,实现了对工作流的管理以及对任务执行日志的查看功能,为运维工程师和应用开发者提供了易于使用的交互界面。任务调度系统在实现对数据处理任务进行调度的基础上,吸取了分布式系统的可扩展性优势,以及采用可视化图模型的表达力和表现力强的优势,使得用户可以更容易的对大数据任务处理进行调度,满足了实习公司在对海量数据进行处理时,对调度系统的功能和性能需求。

关键词：大数据处理任务调度分布式系统 zookeeper 有向无环图

Apache zookeeper设计理念和数据结构的研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

现代计算机 2022年第21期28卷 63-68页

作者：陈涛索海燕毕马威信息技术服务(南京)有限公司南京210003 南京医科大学第一附属医院(江苏省人民医院)信息处南京210096

早期互联网信息系统业务相对简单,服务通常为单节点架构。随着用户数量增多,系统逐渐发展为分布式架构。在分布式领域,围绕着中心化协同工作机制,产生了一批优秀的分布式开源框架。分布式中心化集群框架Apache zookeeper是其中的典型代... 详细信息

早期互联网信息系统业务相对简单,服务通常为单节点架构。随着用户数量增多,系统逐渐发展为分布式架构。在分布式领域,围绕着中心化协同工作机制,产生了一批优秀的分布式开源框架。分布式中心化集群框架Apache zookeeper是其中的典型代表。zookeeper实现了中心化的管理方式,提供了注册中心和配置中心,解决了分布式系统需要从一个中心地址获取配置的问题。研究zookeeper应用场景和设计理念,包括数据结构、监视点与通知、ACL权限控制等方面对研究zookeeper内核原理具有重要的意义。

关键词： zookeeper 数据结构分布式架构 ACL权限 Znode

基于zookeeper的全网统一信任锚模型研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2020年第12期37卷 3722-3725页

作者：史博轩章峰蒋文保北京信息科技大学信息管理学院北京100192

由于现有的TCP/IP没有对地址、身份等信息进行认证,造成源地址欺骗、路由劫持等大量攻击的发生,严重威胁到网络安全。而现有基于PKI体系的CA认证机构的管理效率低、没有统一性,不适合在全网统一范围进行认证。为了能够高效地管理、认证... 详细信息

由于现有的TCP/IP没有对地址、身份等信息进行认证,造成源地址欺骗、路由劫持等大量攻击的发生,严重威胁到网络安全。而现有基于PKI体系的CA认证机构的管理效率低、没有统一性,不适合在全网统一范围进行认证。为了能够高效地管理、认证和存储公钥信息,建立全网统一的网络层可信身份认证与管理机制,提出了基于zookeeper的全网统一信任锚模型。该模型利用zookeeper的负载均衡、数据一致性等优点,采用分布式架构来共同管理信任锚,以一种全网统一的ID标志信息来解决身份与地址真实性鉴别问题,实现网络的平等互联、安全可信。

关键词：信任锚可信认证信任链 zookeeper 分布式

基于zookeeper的SDN多控制器架构的研究与实现

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于Zookeeper的SDN多控制器架构的研究与实现

作者：田心宁兰州大学

学位级别：硕士

当前,网络已经成为人类社会的一项重要的基础设施,对推动社会发展与技术进步起着十分重要的作用。但是随着网络规模的不断扩大以及网络应用的不断增多,传统网络架构已经越来越不能满足当今企业、运营商以及用户的需求。特别是到了云计... 详细信息

当前,网络已经成为人类社会的一项重要的基础设施,对推动社会发展与技术进步起着十分重要的作用。但是随着网络规模的不断扩大以及网络应用的不断增多,传统网络架构已经越来越不能满足当今企业、运营商以及用户的需求。特别是到了云计算时代,数据中心的多租户、虚拟机迁移等业务对网络虚拟化的要求越来越高。以OpenFlow为代表的SDN(Software Defined Network)技术将网络分为数据平面和控制平面,数据平面主要负责数据的转发,而控制平面则负责制订相应的转发策略。这种控制和转发分离的架构使控制层摆脱了对网络设备的依赖,提供了灵活、便捷的可编程能力。SDN使用集中控制使其很容易实现资源池化,动态按需调度使用,并能更好地弹性扩展。同时,其开放的API,即南向和北向接口,可以催生产业链,推动整个产业的快速发展。SDN架构中,控制器极为重要,但控制能力的集中化,也意味着如果控制层可扩展性或者可靠性达不到要求,随之而来的将是全网的服务能力的降级甚至是瘫痪。随着近两年SDN技术由“概念”向“落地”转型,多控制器的设计成为其实现工业部署的核心问题之一。本文研究了多控制器系统在设计过程中多个方面所面临的问题与应该权衡的设计原则,对比了多种已有的方案和理论模型。本文提出了一种使用zookeeper进行集群管理的多控制器架构,使用Ryu作为控制器,使用OpenVswitch作为OpenFlow交换机。在本文提出的架构中,控制器之间状态交由zookeeper管理,全网视图信息也由zookeeper服务器维护。每台交换机都连接多个控制器,在其主控制器失效的情况下,其他控制器可接管交换机,从而避免了单一控制器造成的单点故障,同时,相比于早期的单一控制器控制整个Open Flow网络的架构,多台控制器协同工作也有效减轻了每台控制器的负载。控制器可以动态添加,将全网拓扑信息交由zookeeper统一管理,利用分布式系统的锁定方式实现分布互斥的选举算法,实现了控制器失效应付机制。最后,本文对实现的多控制器架构进行了验证,并分析了本文架构的性能瓶颈,并对选举时间与控制器获取全网拓扑信息时间进行了测量。

关键词：软件定义网络 OpenFlow 多控制器 zookeeper

基于zookeeper的分布式服务中间件设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于ZooKeeper的分布式服务中间件设计与实现

作者：庄鹏深圳大学

学位级别：硕士

互联网应用已经深入到我们生活的方方面面。大型APP,网站,云服务,都具有强大的服务器端处理能力。近几年崛起并快速发展成熟的云计算服务,更是将服务器协调与计算的能力发挥到极致。当前的大型互联网应用,离不开各种分布式服务的协调作... 详细信息

互联网应用已经深入到我们生活的方方面面。大型APP,网站,云服务,都具有强大的服务器端处理能力。近几年崛起并快速发展成熟的云计算服务,更是将服务器协调与计算的能力发挥到极致。当前的大型互联网应用,离不开各种分布式服务的协调作业,集群化带来的高可用,高可靠性。一个成熟互联网应用,包含了各种各样的业务、架构框架以及底层支持。在分布式环境下,一个系统可能会依赖各种各样的系统,也会被各种各样的系统所依赖,极大影响了系统维护与扩展。这种复杂的依赖关系,高耦合度的分布式架构越来越成为一个亟待解决的问题。本文参考了现有的服务化框架,例如支付宝sofa框架,并更深人地探究分布式服务在微服务架构下的实现方法和服务治理方式,设计并实现一个基于zookeeper的分布式服务中间件,采用普通Java接口作为微服务载体。一般来说,分布式服务包含两个基本的元素:服务提供者,服务使用者。在分析并使用现有的分布式应用的框架下,本文提出,为了适应微服务架构模式,除了这两个基本元素,需要引入第三个元素:服务协调中心,用来避免在大规模集群、成百个服务并存的情况下配置复杂的服务依赖关系。因此,本文主要研究和实现以下几个功能和创新点:1.提出微服务架构下的接口即服务的架构概念;2.提出一种基于动态class生成的Java方法调用,替代反射式调用;3.引入zookeeper做服务协调中心;4.实现基于简单通信协议的远程接口调用方式;5.实现与主流框架和容器的无缝集成;本文在微服务的架构下提出接口即服务原则,使用动态class直接调用Java方法的方式取代Java反射式调用,在高并发下,比框架单纯使用Java反射式调用方式性能提升约8%到10%左右,并且通过与主流框架相融合,引入zookeeper注册中心,极大的提升了远程接口服务的易用性,以及微服务集群的服务治理和异常恢复能力,良好的设计通信协议与线程模型,比使用阻塞式线程模型的原生RMI提供了更平滑的达到性能瓶颈的能力。

关键词：微服务服务协调中心 zookeeper 接口即服务中间件技术

基于zookeeper的分布式范围锁的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Zookeeper的分布式范围锁的设计与实现

作者：赵玉京华中科技大学

学位级别：硕士

分布式文件系统有效地解决了数据的存储和管理的难题,但却面临多用户并发访问数据的一致性问题,分布式锁机制为不同客户端正确访问服务器上的数据提供了保障。在多客户端同时访问同一个文件的不同范围时,使用文件锁会产生很多的冲突,而... 详细信息

分布式文件系统有效地解决了数据的存储和管理的难题,但却面临多用户并发访问数据的一致性问题,分布式锁机制为不同客户端正确访问服务器上的数据提供了保障。在多客户端同时访问同一个文件的不同范围时,使用文件锁会产生很多的冲突,而范围锁会对不同的范围分别申请锁,冲突数大大减少,锁申请的效率就更高。在分析目前流行的几个分布式文件系统锁机制和各自的优缺点的基础上,结合实验室自主研发的基于对象的分布式文件系统Cappella目前锁机制存在的问题,设计了基于zookeeper的分布式范围锁机制,来保证文件系统中对象数据的一致性访问。结合zookeeper可靠的分布式协调服务,实现了在服务器上的锁层次目录结构、范围锁申请和释放的流程、本地的锁缓存,并详细的分析了范围锁在Cappella系统中的使用。重点针对多客户端顺序交叉访问模式下传统乐观锁存在的问题,提出了首次适应乐观范围锁机制,使服务器上已授权队列在首次加入锁时获得整个范围,当有冲突发生时,就不再扩展范围,从而减少冲突次数,提高了性能。此外,针对密集访问模式中涉及的频繁的锁冲突回调,优化了锁删除的策略,根据即将到来的锁请求情况,实现动态删除锁。系统测试结果表明,分布式范围锁并不会对系统的读写聚合带宽产生影响,而且通过首次适应乐观范围锁机制,能够减少顺序交叉访问模式下锁的冲突次数、提高锁请求的效率,而且比Lustre的更有优势。此外,对密集访问模式下锁的优化也有所成效。

关键词：分布式文件系统 zookeeper 分布式范围锁首次适应乐观范围锁

基于zookeeper的SDN跨域路由技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Zookeeper的SDN跨域路由技术研究

作者：徐岩电子科技大学

学位级别：硕士

软件定义网络（SDN）是一种将控制平面和数据平面相分离的新型网络架构,其对下层设备的集中控制特性,相比传统网络具有独特的优势。在传统的IP网络中,跨域路由主要依靠一些分布式路由协议来实现,例如边界网关协议（BGP）等。然而传统路... 详细信息

软件定义网络（SDN）是一种将控制平面和数据平面相分离的新型网络架构,其对下层设备的集中控制特性,相比传统网络具有独特的优势。在传统的IP网络中,跨域路由主要依靠一些分布式路由协议来实现,例如边界网关协议（BGP）等。然而传统路由协议由于其完全分布式的特性存在诸多限制,无法对网络进行精确的控制,策略的部署也较为繁琐。而对于SDN网络来说,由于控制器提供了一个集中式的全局控制平面,相比传统IP网络下的分布式协议,提供了集中式控制平面的SDN在跨域路由方面有着巨大的优势。跨域路由涉及到多个域的协同工作,需要先实现控制面的跨域,本文基于zookeeper实现了一种Agent架构,来解决多个域的控制面之间的跨域。Agent基于zookeeper的监听器机制来控制多个域之间的协作。对上层应用,Agent提供标准的Socket接口,上层应用只需按照标准消息格式来访问Agent即可;对下层控制器,Agent通过北向接口与所在域的SDN控制器交互。对于跨域请求,Agent会将请求注册到zookeeper,通过zookeeper的监听器机制,其它域的Agent能够感知到相应的事件,最终完成跨域协作。为了复用各个域的Agent的能力,并降低系统的复杂度,本文设计了Control Center角色,若各个域的Agent要进行复杂的协同工作,可以通过Control Center来跨域分发请求,Control Center会操作相应的zookeeper节点,最终各个域的Agent协同完成跨域交互。基于上述提出的跨域协作方法,实现了控制面的跨域后,接着本文实现了一个SDN下的跨域路由系统,提供了创建/销毁跨域路由通道的能力。相较于传统IP网络的跨域路由,该系统能够精确地控制跨域路由的路径,而集中式的控制特性也使得策略的部署更为灵活方便。为了使得域间链路负载均衡,本文在实现了跨域路由的基础上,通过跨域业务占用的带宽来量化域间链路的负载情况,实现了一个基于链路权重负反馈的负载均衡算法。该算法包含一个域间链路权重调整机制,配合基于链路权重的最短路算法,每个业务流量都会被规划一条较合适的路由路径。经过实验证明,上述方案能够将网络流量均衡分配到不同的链路上,提高网络的可用性。

关键词：软件定义网络 zookeeper 跨域路由路由优化

基于zookeeper的集群应用配置管理的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于ZooKeeper的集群应用配置管理的设计与实现

作者：袁子淇内蒙古大学

学位级别：硕士

随着互联网规模的迅速扩张和应用种类的复杂多样,越来越多的应用都已经被部署到了集群服务器上。目前,很多大型企业和互联网公司都拥有着数量众多的服务集群,其上应用的配置工作是一件相当重要的任务。但就目前情况来说,集群中应用的种... 详细信息

随着互联网规模的迅速扩张和应用种类的复杂多样,越来越多的应用都已经被部署到了集群服务器上。目前,很多大型企业和互联网公司都拥有着数量众多的服务集群,其上应用的配置工作是一件相当重要的任务。但就目前情况来说,集群中应用的种类众多,它们的配置方法多样,没有统一的模式。如果采用手工操作的方式来管理这些应用,显然是一项非常繁琐的工作,尤其是在超大规模的集群当中,手工方式不仅容易出错,而且还会因为任务繁重,部署速度太慢,影响到集群应用的部署使用。因此,非常有必要选用和实施一种高效的配置方法提高集群中应用配置工作的效率。本文采用zookeeper技术实现了一个高效的集群应用配置管理系统,该系统可以应用于各种集群,将众多的应用配置文件统一存放在zookeeper服务器中。利用zookeeper服务的可靠性,完成对配置信息的集中化管理。zookeeper的客户端通过与服务器建立连接,获取和监听配置文件。如果管理员对配置文件进行了修改操作,那么客户端可以快速获知并更新配置信息,提高集群配置的效率。本篇论文研究的内容主要包含如下四点：(1)研究分析zookeeper服务的技术特点,搭建zookeeper服务集群。(2)设计并实现配置管理系统,能够管理zookeeper服务集群和集群应用的配置信息。(3)选择一个被管理的应用Floodlight控制器,在该应用上实现了zookeeper的客户端。(4)对zookeeper服务进行了相关测试。对开发的系统进行了修改配置的实验,验证了系统能够完成应用配置工作。

关键词：集群配置 zookeeper 配置文件客户端