检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

面向大数据的数据库集群设计实现与优化

面向大数据的数据库集群设计实现与优化

作者：曹猛北京交通大学

学位级别：硕士

随着全国高校信息化建设的不断深入发展,应用系统与网络建设逐渐成熟与完善,门户网站的社会公众关注度、信息公开透明度、数据资源开放度逐步提高,加快了高校教育数字化、网络化、信息化的发展。恰逢教育部相关文件出台,使高校信息化建... 详细信息

随着全国高校信息化建设的不断深入发展,应用系统与网络建设逐渐成熟与完善,门户网站的社会公众关注度、信息公开透明度、数据资源开放度逐步提高,加快了高校教育数字化、网络化、信息化的发展。恰逢教育部相关文件出台,使高校信息化建设有了重要的指导和参考方向,并设立目标要在2025年,形成新时代教育管理信息化制度体系。为推动智慧校园建设,提升智慧校园的数据服务能力,将设计实现全校各信息系统数据集成的存储平台。在存储平台开发过程初期,本人调研国内外数据库集群前沿技术和部分互联网科技公司的高可用数据库集群架构进行技术选型,通过分析实际应用场景和需求,设计适合高校数据库存储集群架构搭建方案。本文的主要贡献具体如下:(1)针对高校大数据环境,设计搭建高可用数据库集群,并部署监控平台。本论文中的存储平台将以My SQL数据库作为数据存储介质,设计主从同步架构进行基础数据库集群的实验搭建;并采用MHA和My Cat中间件,使数据库集群具备高可用和读写分离功能;同时部署Zabbix监控平台对整体集群进行实时监控和预警通知。使集群具备数据信息备份、异地容灾和抗高并发的能力,以及内部自动处理单节点故障的能力。(2)设计编写ETL清洗脚本对监控数据进行抽取、清洗和采集,将清洗后的数据作为后续模型训练的样本集,精确故障阈值。通过梳理监控平台表结构和影响数据库集群性能的主要因素,使用ETL工具对监控数据进行抽取、清洗和采集,作为模型训练的数据样本集,并使用四种采样算法分别对数据样本集进行处理,分析对比评价指标参数,最终选用Borderline-SMOTE采样算法使数据样本集中的数据达到均衡,再通过分类器模型进行数据分类,以精确数据库集群故障阈值。(3)从功能、集群架构、网络架构和制定故障预处理方案对高可用集群进行优化。设计实现高可用数据库集群后,通过实时监控和压力测试,暴露出许多不符合预期效果的问题,经过问题定位和分析,对数据库集群进行优化改良;并对比优化前后性能,实验结果验证表明优化后的数据库集群在性能、可靠性、并发量和用户体验等方面上都得到了提升。目前该数据库高可用集群已经在北京交通大学投入使用,上线运行使用反馈良好,达到了设计初期希望的目标和效果,实现了为我校大数据共享交换平台提供存储保障,并为各个业务部门间的信息资源的共享提供存储交换平台,以更加高效、智慧的理念和方式服务我校师生,进一步协助信息化建设顺利进行。

关键词：数据库集群高可用性故障转移数据挖掘故障阈值

单捆钢筋计量信息的MySQL数据库集群的探索与应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

水钢科技 2022年第4期 8-10页

作者：蒋宝瑞首钢水钢智能应用事业部贵州六盘水553028

首钢水钢钢捆计量信息来源于单捆计量程序,而现有单捆计量程序的数据存储均使用本地MySQL数据库进行存储。单捆计量设施长期在高温、高粉尘环境中运行,常造成终端损坏而导致钢捆数据不准,为此,探索并实践计量程序中数据库的集群应用,挖... 详细信息

首钢水钢钢捆计量信息来源于单捆计量程序,而现有单捆计量程序的数据存储均使用本地MySQL数据库进行存储。单捆计量设施长期在高温、高粉尘环境中运行,常造成终端损坏而导致钢捆数据不准,为此,探索并实践计量程序中数据库的集群应用,挖掘数据库中的数据和同步传输,有效解决钢捆数据不准和实现数据的容灾备份。

关键词： MySQL数据库数据库集群数据同步容灾备份

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

数据库集群环境下数据划分与查询优化的研究

数据库集群环境下数据划分与查询优化的研究

作者：许雷华中科技大学

学位级别：硕士

企业信息化发展过程中初期由于业务规模小、业务数据量不多,企业通常会采用集中式的数据库系统来存储业务数据,但是随着业务规模的扩张业务数据量会不断增长,集中式数据库系统很快会成为企业信息系统的瓶颈,出现业务查询速度慢等问题。... 详细信息

企业信息化发展过程中初期由于业务规模小、业务数据量不多,企业通常会采用集中式的数据库系统来存储业务数据,但是随着业务规模的扩张业务数据量会不断增长,集中式数据库系统很快会成为企业信息系统的瓶颈,出现业务查询速度慢等问题。在实习过程中所在公司也同样遇到了这个问题,公司采用了基于中间件的MySQL数据库集群解决方案。在此背景之下,本文对数据库集群系统上的数据划分和查询处理进行了研究和分析,并以此为基础来实现查询优化。在数据库集群环境中,一般要先进行数据划分,然后将划分后的数据分散存储于后台各数据库服务器上,这样做可以带来诸多方面的好处,但是也引入了一些新的问题,其中一个就是查询的处理。中间件收到用户的查询请求后要根据请求中数据表的划分存储信息来得到路由信息,并据此将查询请求路由转发到相应的后台数据库服务器上去执行,待各后台数据库返回部分结果后,中间件又要对结果进行合并处理,最后返回客户端合并的结果,在这个过程中可以结合数据划分对查询处理做一些优化。本文先对数据库集群系统中数据划分的逻辑及相关的一些算法做了研究和介绍;然后结合数据划分对排序查询和关联查询处理过程及其优化进行了详细论述;最后在基于中间件的数据库集群系统中对查询优化及相应的数据划分进行了实现。本文最后在实验环境下搭建了一个基于中间件的数据库集群系统,借助此系统对数据划分和查询优化做测试,测试结果表明数据划分功能正确实现,查询优化效果明显。

关键词：数据划分排序查询优化关联查询优化中间件数据库集群

数据库集群中间件MySQL Proxy研究与分析

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

数据库集群中间件MySQL Proxy研究与分析

作者：祝雄锋武汉理工大学

学位级别：硕士

当今的互联网应用呈现出随机访问和数据库查询频度都非常高,而数据更新的频度相对比较低的特点。人们对互联网上应用服务也提出更高的要求,传统的数据库服务器已经很难满足当前互联网的需要。在这种需求下,具有可靠性、高可用性和高扩... 详细信息

当今的互联网应用呈现出随机访问和数据库查询频度都非常高,而数据更新的频度相对比较低的特点。人们对互联网上应用服务也提出更高的要求,传统的数据库服务器已经很难满足当前互联网的需要。在这种需求下,具有可靠性、高可用性和高扩展性特点的集群技术应运而生。但是集群技术的产生带来一些急需要解决的问题：负载均衡、读写分离、透明访问等。MySQL Proxy就是这样的一种数据库集群中间件,可以很好的解决这些问题。程序员只需要连接到这个中间件,就可以访问到数据集群,他们不需要了解集群的系统结构,而由数据库集群中间件来处理负载均衡、读写分离等问题。本文对MySQL Proxy进行深入研究后,发现MySQL Proxy在读写分离和负载均衡两个功能上存在一定缺陷。为了对这些缺陷进行修正,本文主要做了以下几个方面的工作：（1）利用MySQL Proxy和MySQL Replication构建集群系统,用触发器法来解决主从不一致导致的读写分离缺陷。（2）提出了基于概率分布和剩余负载率的负载均衡算法。该算法综合考虑各个服务器节点的真实负载和服务器自身的处理性能,很好的反映出每个节点的实时处理能力,均衡了服务器负载,发挥每个节点的最大处理性能。从而提高系统的处理性能,降低整个系统的平均响应时间。（3）在深入分析研究动态反馈模型和当前流行的集群系统之后,设计出MySQL Proxy扩展系统框架,并实现整个系统。该系统首先收集节点信息,然后根据收集的信息通过改进的负载均衡算法生成可用节点概率分布,根据概率分布来转发请求。（4）最后搭建整个系统的测试环境,利用当前常用的性能测试工具JMeter对整个数据库集群系统进行测试,并与搭配最小连接数均衡算法的MySQL Proxy进行比较。然后得出扩展前后的实验数据,进行分析得出扩展后的结论。通过实验证明,经过扩展后的平台,能够明显缩短用户的请求响应时间,并提高系统吞吐量,提高集群的稳定性。

关键词：数据库集群 MySQL Proxy 负载均衡算法读写分离

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

数据库集群负载均衡技术的研究

数据库集群负载均衡技术的研究

作者：张锋曲阜师范大学

学位级别：硕士

随着Internet的迅速发展和广泛应用、电子商务和信息技术的迅速发展,数据库在不同的行业和领域得到了广泛的应用。海量的信息和大量的用户请求对数据库管理系统提出了严峻的挑战。数据库集群为解决传统数据库管理系统所遇见的问题提供... 详细信息

随着Internet的迅速发展和广泛应用、电子商务和信息技术的迅速发展,数据库在不同的行业和领域得到了广泛的应用。海量的信息和大量的用户请求对数据库管理系统提出了严峻的挑战。数据库集群为解决传统数据库管理系统所遇见的问题提供了解决方案。然而,要使数据库集群能够及时高效的向用户提供高质量服务,就必须解决在低投入的前提下如何根据节点的性能和现有的负载来分配任务,做到任务的分配合理、负载的分配均衡,使集群节点能充分的协调工作的问题以及提高集群的可靠性和可扩展性的问题。负载均衡技术可以帮助我们解决此类问题。通过负载均衡技术,数据库集群可以根据后端节点的负载信息来分配新的客户请求,同时也可以在各节点之间调整负载,缩短系统的响应时间,提高系统的工作效率。本文首先介绍了数据库集群的研究背景和意义、数据库集群系统的基本理论及关键技术。接着设计了一种为实现负载均衡算法的中间件结构模型,分析了模型中各个模块的功能和实现各个模块的关键技术。然后在详细分析了影响负载均衡的因素的基础上提出了一种动态的负载均衡算法。该算法能有效的实现负载信息的收集、评估,能有效的均衡节点负载,起到提高系统效率的功能。本文所做的具体工作如下： 1、在研究数据库集群和中间件的基础上,设计了一种数据库中间件的结构模型,分析了该模型的组成和功能。该结构模型通过两级事务管理器将用户请求划分为小的事务请求分配给节点执行,增强了节点之间的协作。 2、结合数据库应用请求、数据分布的特点和节点的异构性,设计了一种基于复制和基于视图的一维数据划分的数据分布策略,该数据分布策略可以在数据分布方式转换时有效的避免大量的数据转移。同时,在此基础上设计了一种动态负载均衡算法,该算法结合上述的数据分布策略能在保持读操作的高效率的前提下有效的提高对数据库的写操作的效率。 3、最后通过实验对这种负载均衡算法进行了测验,实验结果表明基本上实现了预期的设计目标。

关键词：数据库集群负载均衡中间件数据分布

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

数据库集群模式下数据结构同步技术研究

数据库集群模式下数据结构同步技术研究

作者：李函芮哈尔滨工程大学

学位级别：硕士

数据库集群模式下产生成千上万内部结构完全一致的数据库,对这些数据库的管理和维护耗费了大量的人力资源。为了解决这一难题,业界相继推出各种数据库结构比对工具,然而数据库结构比对工具不仅操作复杂,而且只站在数据库层面进行同步,... 详细信息

数据库集群模式下产生成千上万内部结构完全一致的数据库,对这些数据库的管理和维护耗费了大量的人力资源。为了解决这一难题,业界相继推出各种数据库结构比对工具,然而数据库结构比对工具不仅操作复杂,而且只站在数据库层面进行同步,不符合软件工程中面向对象的编程思想。Hibernate的作者Gavin King也在其框架中添加了Hibernate自动建表技术,其自动建表技术不仅操作方便而且符合面向对象思想。但是,在后续的开发实践中该自动建表技术逐渐显露出一系列不足,不能充分满足企业级应用程序对数据库结构的维护需求。首先,本文作者在研究和对比了该领域国内外相关技术的基础上,确定选择Hibernate自动建表技术作为基础技术平台,分析出Hibernate自动建表技术存在的不足,具体为不能同步视图、存储过程、扩大字段的最大长度和删除字段;其次,研究设计出基于Hibernate框架的升级版数据库结构同步技术,创新性地增补了上述四种同步功能,并考虑到新增同步功能要继承Hibernate适配八大主流数据库的良好特性,实验结果显示上述同步功能具有良好的效果和性能;第三,将新增同步功能的相关实现代码封装进Hibernate框架的源码中,完成新增同步技术与Hibernate框架的整合,实现针对Hibernate的框架的优化升级;第四,针对集群模式下多数据源的结构同步需求,使用升级后的Hibernate数据库结构同步技术设计“一键式”结构同步的解决方案,弥补Hibernate自动建表技术只能同步单一数据源的局限。本文的研究成果与数据库结构比对工具相比同步速度更快,且具备良好的稳定性、可扩展性和可维护性,更重要的是符合软件工程中面向对象的编程思想;与Hibernate自动建表技术相比,本文的研究成果同步范围更全面,更加符合集群模式下的数据库结构的管理和维护需求。

关键词：数据库集群数据库结构同步 Hibernate

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

数据库集群中间件负载均衡模块的设计与实现

数据库集群中间件负载均衡模块的设计与实现

作者：崔丹北京邮电大学

学位级别：硕士

近年来,随着互联网技术的飞速发展和广泛应用,数据规模呈现爆炸式增长,海量的信息和大量的用户请求对数据库系统提出了严峻的挑战,越来越多的用户希望能够透明地访问和处理来自多个数据库的数据,数据库集群技术应运而生。数据库集群技... 详细信息

近年来,随着互联网技术的飞速发展和广泛应用,数据规模呈现爆炸式增长,海量的信息和大量的用户请求对数据库系统提出了严峻的挑战,越来越多的用户希望能够透明地访问和处理来自多个数据库的数据,数据库集群技术应运而生。数据库集群技术是将现有的数据库有机连接起来,进行统一管理,为用户提供统一透明的服务,从而有效提高集群的性能。然而,要使数据库集群能够及时高效的向用户提供高质量服务,需要解决在低投入的前提下,根据节点的性能和现有的负载来分配任务,做到任务的合理分配、负载的均衡分配,使集群节点能充分地协调工作的问题,以提高集群的工作效率和可靠性。负载均衡技术可以帮助我们解决此类问题。通过使用负载均衡技术,数据库集群可以根据后端节点的负载信息来分配新的应用系统的数据请求,调整集群中数据库节点的负载数量,从而缩短整个集群系统的平均响应时间,提高系统的效率。本文首先介绍了数据库集群中间件技术和负载均衡技术相关理论;其次通过对负载均衡技术的研究,设计实现了数据库集群中间件负载均衡模块,该模块依据节点的负载信息使用特定的负载均衡策略进行负载的分配,以达到数据库集群负载均衡的目的;然后对负载均衡模块进行功能测试,并验证负载均衡算法的性能。在文章总结了负载均衡工作,提出了进一步完善负载均衡模块的想法和思路。

关键词：数据库集群中间件负载均衡

数据库集群负载均衡优化的Markov模型研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

科技通报 2013年第9期29卷 89-92页

作者：郑金芳王艳杰郑州经贸职业学院河南郑州450044

针对数据库集群负载过重问题,本文提出了一种基于Markov的数据库集群负载均衡优化模型。该模型引入了基于两级事务管理器的中间件模型,提高写数据库操作的效率,并采用Markov模型预测采样周期内执行节点负载信息,并结合滑动窗口方法来更... 详细信息

针对数据库集群负载过重问题,本文提出了一种基于Markov的数据库集群负载均衡优化模型。该模型引入了基于两级事务管理器的中间件模型,提高写数据库操作的效率,并采用Markov模型预测采样周期内执行节点负载信息,并结合滑动窗口方法来更新管理节点内各执行节点的负载信息记录,然后针对综合性能指标对其进行负载均衡优化。实验表明,基于Markov的数据库集群负载均衡优化模型在可靠性和性能上得到了提高,该模型切实有效。

关键词： Markov 数据库集群负载均衡中间件结构

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

通用无共享数据库集群研究与实现

计算机工程与应用 2007年第32期43卷 156-160页

作者：周英飚华中科技大学计算机学院武汉430074

数据库集群是提高数据库系统事务吞吐率,降低响应时间的有效机制。研究并实现了一种通用的无共享的数据库集群,集群由异构的节点数据库组成。系统支持水平数据划分和数据复制,系统具有性价比高,可扩展性好等特点。

关键词：数据库集群数据划分事务处理