检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于任务分配的数据库集群模型研究

基于任务分配的数据库集群模型研究

作者：刘冉冉华中科技大学

学位级别：硕士

数据库集群使用特定的连接方式,将一些价格相对较低的硬件设备结合起来,协调工作从而对外提供单一的,完整的数据库功能并充分发挥各个节点地并行能力。但是由于数据库集群在任务分配,数据定位,数据同步等方面的问题,使得很难有一种数据... 详细信息

数据库集群使用特定的连接方式,将一些价格相对较低的硬件设备结合起来,协调工作从而对外提供单一的,完整的数据库功能并充分发挥各个节点地并行能力。但是由于数据库集群在任务分配,数据定位,数据同步等方面的问题,使得很难有一种数据库集群模式能够满足所有的应用环境。基于任务分配的数据库集群模式是一种专门解决电子商务应用特定环境的数据库集群模型。它在采用传统的复制模式数据库集群的同时,改进了其中的部分结构。系统的原有的多个平行节点分为一个任务分配节点和多个任务执行节点,同时附带有多个次中心节点。任务分配节点处于中心地位,负责请求的接受、分析和调度。任何一个请求都由中心节点进行任务调度,从而减少任务分配的复杂度。而任务执行节点则执行传统的数据库存取功能。在节点上运行着节点代理。任务分配节点维护最新数据的索引,通过索引查询以及内部缓存解决数据定位困难的问题。系统通过数据库文件快速复制、数据库查询语言同步执行、日志文件复制的方式分别用于系统的静态同步和动态复制。同时,系统通过随机数平衡因子、节点权重平衡因子、系统使用率平衡因子和经验统计平衡因子评估任务最轻的任务执行节点来执行任务,从而使每个节点都发挥自己的运算能力,达到理想负载平衡性能。任务执行节点通过连接缓存优化数据库连接管理,提高单个节点处理数据库的能力。模型设计中提供扩展功能,可以使用用户自定义的平衡算法。系统可以作为一个逻辑上的数据库进一步与其它节点组合成新的系统。实验表明在大量请求到达时可以提高整体多个节点的并行能力。

关键词：数据库集群任务分配数据同步负载平衡

负载均衡技术在数据库集群系统中的应用与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

负载均衡技术在数据库集群系统中的应用与实现

作者：刘同国防科学技术大学

学位级别：硕士

随着数据库技术的发展和各种数据库产品的产生,数据库系统在各行各业和许多领域有了广泛的应用,随着应用需求的不断增加,越来越多的用户希望能够透明地访问和处理来自多个数据库的数据。同时,电子商务和信息技术的迅猛发展使数据库管理... 详细信息

随着数据库技术的发展和各种数据库产品的产生,数据库系统在各行各业和许多领域有了广泛的应用,随着应用需求的不断增加,越来越多的用户希望能够透明地访问和处理来自多个数据库的数据。同时,电子商务和信息技术的迅猛发展使数据库管理系统(DBMS)已经不堪重负,将这些数据库有机的连接起来,统一管理,协调工作不但提高数据库的性能和可用性,而且解决了遗留系统的问题。对于这些通过网络连接起来的数据库而言,必须能够实时处理大量的用户请求,而且必须能向客户提供高质量服务。但是如何才能提高由网络连接起来的异构数据库的响应速度、稳定性和扩展性,并且保护最初的硬件投资;如何避免大量用户请求对系统带来的冲击,负载均衡技术为我们提供了一条途径,它在后端数据库间分发客户请求,以达到减少系统瓶颈,增强系统响应能力。本文的负载均衡是基于中间件技术的,采用三层体系结构,位于中间件层的负载均衡器负责将客户的请求根据数据库负载情况和负载均衡策略转发给最适合处理的数据库中去。负载均衡器采用Java语言实现,在功能上完成了数据库负载信息的收集、负载的决策、负载的放置,支持不同数据库部署的负载均衡决策器,支持不同负载均衡算法模块的动态加入或撤出。本文首先介绍了数据库集群、数据库集群的负载均衡及其研究状况,其次介绍了本系统负载均衡的体系结构,研究了传统负载均衡的体系结构和组成,分析了集中式和分布式负载均衡策略的优缺点,提出采用应用服务器技术与反向代理技术的可扩展的集中式负载均衡体系结构,该体系结构的重点是根据用户的需要通过配置文件订制不同数据库部署和算法的决策模块。实现了负载均衡的扩展性和灵活性。同时还分析了数据分布对负载均衡的影响,提出了基于RAID技术的数据库部署。然后研究了负载均衡算法的信息策略,在面向对象技术将负载均衡组件化、对象化的前提下提出将数据库对象的等待队列数作为本系统的负载均衡指标。研究了动态与静态策略的特点,提出针对不同数据库部署采用不同算法的策略。并在集中式动态策略的基础上提出了基于等待的最小队列算法。最后对以上研究与设计进行了实现,并结合测试分析了负载均衡的能力。

关键词：数据库集群负载均衡中间件集中对象式负载均衡负载均衡算法数据库部署

基于IA架构的大型数据库集群系统的研究与应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机工程与设计 2006年第17期27卷 3187-3188,3305页

作者：张波黄志宏张晓鹏鹿海涛华南农业大学现代教育技术中心广东广州510642

在高校信息化建设过程中,为了保障各项业务正常运转,建立一套低成本、大型的数据库集群系统是必不可少的,它将弥补高校现有的数据库在高可用性和可扩展性方面的不足。本文对基于IA(intelarchitecture)架构的大型数据库集群系统进行深入... 详细信息

在高校信息化建设过程中,为了保障各项业务正常运转,建立一套低成本、大型的数据库集群系统是必不可少的,它将弥补高校现有的数据库在高可用性和可扩展性方面的不足。本文对基于IA(intelarchitecture)架构的大型数据库集群系统进行深入探讨和研究,并通过一个具体的系统建设实例,提供了一套可行性方案。

关键词：低成本数据库集群高可用性可扩展性英特尔架构

在线全文

学校读者我要写书评

暂无评论

面向数据库集群的节能查询技术研究

面向数据库集群的节能查询技术研究

作者：谢佳壮中国科学技术大学

学位级别：硕士

随着大数据时代的到来,数据中心需要处理的数据量越来越多,全球数据中心的数量与规模都在高速扩张。数据中心扩张带来了更高处理性能的同时,也引发了一系列问题,其中不可忽视的是数据中心巨大的能耗。企业每年必须支付高额的能耗费用来... 详细信息

随着大数据时代的到来,数据中心需要处理的数据量越来越多,全球数据中心的数量与规模都在高速扩张。数据中心扩张带来了更高处理性能的同时,也引发了一系列问题,其中不可忽视的是数据中心巨大的能耗。企业每年必须支付高额的能耗费用来支持数据中心的运转。另一方面,为了达到最高的性能需求,数据中心往往会配置多个服务器集群,每个集群由多台服务器组成。这导致在很多时间里,大量服务器会处在空闲或低利用率的状态,存在明显的能耗浪费现象。最后,巨大的能耗还会引起能源快速消耗、碳排放过多等严重的环境问题。因此无论从企业的角度还是环保的角度,针对集群环境提出有效的能耗管理方法都是非常有必要的。数据库集群作为数据中心里普遍存在的集群系统,其能耗管理问题也亟待深入探讨。伴随全球能源的日益紧张和当前以数据为主导的计算模式,政府、企业和学术界都将节能数据库系统的研究纳入了重点考虑的范畴。本文主要研究数据库集群环境下查询操作相关的能耗管理方法。因为查询操作是数据库系统中最常见也最重要的操作,重新审视集群的查询处理过程,针对查询处理提出相应的节能技术,对降低集群的能耗具有重要的意义。目前衡量集群系统能耗表现的两种重要指标分别是能耗均衡性和能耗有效性,二者追求的目标和实现方式都存在区别。然而这两种方法在面向数据库集群上的研究还相对缺乏,现有的算法直接移植到数据库集群中也会明显削弱集群的查询处理能力。因此本文针对数据库集群的独特性,在保证数据库查询性能的前提下,研究实现集群的能耗均衡性和能耗有效性的方法。本文主要内容与贡献点总结如下：(1)针对能耗均衡性的研究,首先提出了一种新的查询处理框架：将共享存储架构和无共享架构相结合,并且引入了查询流缓冲池。该框架能保证在实现能耗均衡控制时最大化减少服务器状态改变对集群查询性能的影响。其次结合查询流缓冲池提出负载倾斜的分配策略,使集群中更多的服务器能有更大的概率转为空闲从而被关闭。基于该查询处理框架,还提出了缓存驱动的能耗均衡控制方法,该方法较之于现有算法,能大大减少误判现象。最后在真实的PostgreSQL集群上利用多种不同类型的负载进行实验,结果表明该方法能在基本满足集群查询性能要求的前提下有效减少集群能耗。(2)针对能耗有效性的研究,我们将单节点的DVFS(Dynamic voltage and frequency scaling,动态电压频率调整)思想应用到集群上,提出了集群上的协同DVFS算法,克服了单节点DVFS并发查询性能差的缺陷。算法首先将集群划分为不同CPU运行频率的节点结合,并且将查询按照CPU密集型和非CPU密集型进行划分,同一类型的查询分配到同一个集合中的节点上执行。该方法兼顾了查询的高效性和集群的能耗有效性,依旧通过PostgreSQL集群上的实验验证了该方法的有效性。

关键词：数据库集群能耗均衡性能耗有效性查询优化

利用JDBC和MySQL Replication实现数据库集群

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

煤炭技术 2011年第4期30卷 204-206页

作者：柳刚西昌学院网络管理中心四川西昌615013

数据急剧增长会导致数据库性能下降,当数据库层出现瓶颈时,就得在硬件上花费高额的费用。针对这一情况,提出在现有硬件的基础上利用JDBC规范与MySQL Replication实现数据库集群从而解决数据访问瓶颈。其主要方法是在进行JDBC连接之前实... 详细信息

数据急剧增长会导致数据库性能下降,当数据库层出现瓶颈时,就得在硬件上花费高额的费用。针对这一情况,提出在现有硬件的基础上利用JDBC规范与MySQL Replication实现数据库集群从而解决数据访问瓶颈。其主要方法是在进行JDBC连接之前实现负载均衡,所有SQL请求由负载均衡器进行统一调度。在数据库端利用MySQL Replication实现数据高并发读写。

关键词：数据库连接数据库同步数据库集群负载均衡器

水稻秸秆深埋整秆还田装置设计——基于数据库集群系统框架

在线全文

学校读者我要写书评

暂无评论

农机化研究 2017年第2期39卷 94-98页

作者：胡菊芬尹强飞江西现代职业技术学院南昌330095

农作物的秸秆还田可以改良土壤性能,增强土壤肥力,进而提高作物产量。为了提高水稻秸秆深埋还田装置的性能,对装置的性能和作业参数进行深入研究,针对装置埋深、土壤密度和装置行进速度3个影响因素水平,设计了装置性能测试的正交试验,... 详细信息

农作物的秸秆还田可以改良土壤性能,增强土壤肥力,进而提高作物产量。为了提高水稻秸秆深埋还田装置的性能,对装置的性能和作业参数进行深入研究,针对装置埋深、土壤密度和装置行进速度3个影响因素水平,设计了装置性能测试的正交试验,并在实验平台上对不同方案的装置阻力进行了测试。为了有效地采集和保存传感器的数据,提出了一种面向物联网海量传感器采样数据管理的数据库集群系统框架(Io T-ClusterDB),传感器的阻力历次采样值被保存为采样数据序列,可以支持对数据的复杂逻辑查询和分布式索引查询,支并持关键字和时空查询。最后,通过实验得到了不同影响因素水平正交试验的装置阻力数值。实验表明:Io T-Cluster DB具有良好的传感器数据接入与查询处理性能,从而缩短了秸秆深埋装置的整个设计周期,提高了设计效率。

关键词：水稻秸秆还田数据库集群数据序列

在线全文

学校读者我要写书评

暂无评论

云环境下高性能数据库集群关键技术研究

云环境下高性能数据库集群关键技术研究

作者：丁敏电子科技大学

学位级别：硕士

云计算技术的日益成熟,使得其在各行各业中都得到了广泛应用。数据库系统作为云平台的一个关键组成部分,对云平台性能有着重要的影响。因此,探索更高性能的数据库系统是业界关注的问题。相比单机数据库,数据库集群凭借着高可用、高性能... 详细信息

云计算技术的日益成熟,使得其在各行各业中都得到了广泛应用。数据库系统作为云平台的一个关键组成部分,对云平台性能有着重要的影响。因此,探索更高性能的数据库系统是业界关注的问题。相比单机数据库,数据库集群凭借着高可用、高性能和数据备份等优点成为了搭建云平台的首选方案。面对复杂的云环境,传统的数据库集群并不能很好地解决突发的流量暴增问题,而且对负载的分配算法也是乏善可陈。此外,某些数据库集群还对硬件有着苛刻的要求和高昂的授权费用,这是与云计算思想相悖的。在这种背景下,本文对云环境下高性能数据库集群关键技术进行了研究,并且在此基础上实现了一套基于MySQL的数据库集群解决方案。该方案有效地利用了云平台中的廉价机器,降低了软硬件成本,提高了集群的整体性能和吞吐量。首先,本文在集群前端加入了代理模块,代理对用户是透明的,用户并不会感知到代理的存在,只需要像正常访问数据库一样来访问代理。代理实现了数据库集群的单一系统映像(Single System Image),并且可以对SQL进行路由转发,因此,可以利用代理实现读写分离。然后,分析了现有负载均衡算法的不足,并提出一种新的负载均衡算法。该算法通过层次分析法确定了各项资源对服务器性能的影响权重,将服务器负载能力量化,为负载调度决策奠定基础,并配合概率方式改进分配决策。同时,算法还考虑了服务器单项资源过载问题,提出了阈值限制。在MySQL Replication的基础上,本文设计了一套数据复制方案。该方案采用级联的方式,对数据进行分层复制。针对分层复制可能产生的级联故障,提出了一种基于链表的动态检测算法。为了保证数据访问的一致性,解决方案是检查当前Master节点的复制状态,然后等待数据从父节点复制到本节点,当本节点达到Master节点的复制状态时,才执行用户的请求。本文在MySQL的基础上实现了一个数据库集群系统,并将前文的设计思想应用到这个集群当中。最后,设计了一系列的实验,测试负载均衡算法的效果和多种场景下集群的读写性能,证明了集群的性能确实得到了提高。

关键词：数据库集群负载均衡高性能读写分离

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

数据库集群中内存使用率研究

微处理机 2015年第5期36卷 65-68页

作者：李刚鱼佳欣郭道通李文君中国洛阳电子装备试验中心济源459000

数据库集群中各节点均配有内存,然而在运行过程中,有的节点存在大量的内存资源闲置,不仅造成内存资源的极大浪费,而且严重降低了系统运行效率。为此,研究分别基于虚拟机、共享存储和无共享结构,提出优化内存使用率的方法,并着重研究了"... 详细信息

数据库集群中各节点均配有内存,然而在运行过程中,有的节点存在大量的内存资源闲置,不仅造成内存资源的极大浪费,而且严重降低了系统运行效率。为此,研究分别基于虚拟机、共享存储和无共享结构,提出优化内存使用率的方法,并着重研究了"内存转移"机制,即如何将节点上的空闲内存转移到需要内存的其他节点上。最后使用vb编写的"档案管理系统"远程连接平台进行测试,通过对比实验数据验证"内存转移"在提高内存使用率方面的优越性,同时对系统的高可用性给予实践证明。

关键词：数据库集群故障转移内存机制高可用性实现模式

在线全文

学校读者我要写书评

暂无评论

基于虚拟化部署的高能效数据库集群设计

基于虚拟化部署的高能效数据库集群设计

作者：朱振华哈尔滨工业大学

学位级别：硕士

进入21世纪以来,云计算的爆炸性扩散,使得全球的数据中心蓬勃发展。然而与此同时,大规模数据中心增长带来的巨额电力资源消耗以及二氧化碳的大量排放,已经渐渐成为制约数据中心的发展的重要因素。数据中心的节能越发的重要,研究低功耗... 详细信息

进入21世纪以来,云计算的爆炸性扩散,使得全球的数据中心蓬勃发展。然而与此同时,大规模数据中心增长带来的巨额电力资源消耗以及二氧化碳的大量排放,已经渐渐成为制约数据中心的发展的重要因素。数据中心的节能越发的重要,研究低功耗、低排放的绿色数据中心已刻不容缓。本文主要从集群的部署角度出发,将虚拟化节点引入到数据库集群的部署当中,从节能的角度来研究数据库集群的数据划分、查询执行和节点部署等问题。本文首先对集群的能耗效率进行形式化的定义,然后分析了单节点各个硬件部件对总的能耗的贡献,给出了合理的能耗测算模型。之后本文针对提出的虚拟化部署的集群设计并实现了分布式查询的中间件,为这种虚拟化异构的集群的节能研究提供途径。接着为本文研究了虚拟集群上研究节能的数据划分策略、查询执行策略和节点部署策略,提出了按比例地的和重叠地两种不同的数据划分策略,提出了5种不同的查询执行方式和两种节点部署的策略。最后,本文通过一系列的对比实验,验证了本文提出的数据划分策略、查询执行策略和节点部署策略的可行性,验证了这种基于虚拟化部署的数据库集群具有较好的能耗效率,分析了集群表现出某种能耗特征的原因,验证了本文提出的虚拟化部署的集群在节能上是可行的。文章最后简要分析了当前研究存在的不足之处以及后续可以研究的方向。

关键词：虚拟化数据库集群能耗效率中间件数据划分