检索结果-南通市图书馆

作者：王少萍中国科学技术大学

学位级别：硕士

近年来Internet的快速发展和GIS(Geographic Information System)的广泛应用推动了WebGIS的诞生。随着WebGIS在车载导航、移动位置服务、现代物流产业等领域的不断普及,系统面临大用户群高并发访问的情况越来越多。传统的WebGIS架构无... 详细信息

近年来Internet的快速发展和GIS(Geographic Information System)的广泛应用推动了WebGIS的诞生。随着WebGIS在车载导航、移动位置服务、现代物流产业等领域的不断普及,系统面临大用户群高并发访问的情况越来越多。传统的WebGIS架构无法支撑庞大的数据访问和处理,导致服务性能下降,表现为响应时间变长、请求丢失甚至出现拒绝服务的现象。针对上述问题,本文提出了一种基于云平台的WebGIS服务器系统架构,系统从负载均衡、数据缓存和数据库集群三个方面缓解WebGIS高并发访问瓶颈,这对于地理信息共享、GIS社会化有着重要意义。本文主要工作如下：(1)在分析传统WebGIS架构缺陷基础上选定云平台为WebGIS服务器提供弹性计算和存储资源。WebGIS由于其计算密集和数据密集特点适合云平台应用。云平台在并行计算、负载均衡等方面表现良好,具有可快速弹性扩展应用、抵御攻击、易于部署管理等优点。系统选择开源OpenStack平台搭建,SnowFlock API帮助云平台实现虚拟机的快速复制功能。(2)提出基于剩余负载的动态负载均衡算法。系统选择轻量高效的Nginx作为软件负载均衡器,负载均衡算法依据后端应用服务器状态计算剩余负载作为权重衡量,并随机选择一个权重较大的服务器中分发请求。该算法降低了服务器状态收集过程中信息延迟带来的影响。实验结果表明基于剩余负载的均衡算法在高并发时性能优于Nginx自带的轮询和最少连接策略。(3)设计缓存机制。系统选用内存数据库作为缓存存储介质,session缓存避免重复的客户端身份验证。本文另外设计了一套缓存层与空间数据库交互的读写机制,算法依据局部性访问原理将数据库中频繁访问的地理信息写入缓存中。缓存机制最好的情况下将WebGIS服务响应时间缩短了48%左右。(4)采用数据库集群缓解I/O瓶颈。数据库集群能够有效解决单个数据库应对高并发时的I/O瓶颈。PostgreSQL PostGIS因跨平台、高可用、高性能等优势被选为系统空间数据存储系统。文中对PostgreSQL进行了参数优化,并使用pgpool-Ⅱ作为数据库集群和客户端的中间件。本文采用开源服务器端软件GeoServer作为WebGIS系统应用场景,并对软件发布的WMS(Web Map Service)访问进行压力测试。实验结果表明基于云平台的WebGIS系统相对于单节点物理服务器能够更有效地应对高并发访问。集群节点数越多能处理的并发量上限越大。随着集群规模增加,云平台WebGIS系统获得了良好的加速比。本文提出的云平台WebGIS架构能够有效提升系统的高并发访问性能,具有广泛的应用前景。

关键词：云平台高并发网络地理信息系统负载均衡缓存数据库集群性能

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

并行查询加速器的设计与实现

并行查询加速器的设计与实现

作者：张俊毅长春理工大学

学位级别：硕士

随着IT技术的不断进步,计算机系统在国民经济和人们的日常生活中扮演着越来越重要的角色,同时也产生了越来越多的数据。据wintercorp公司调查,世界上最大的数据库的规模每两年翻三番,我们真正进入到“海量数据”管理的时代。数据规模从... 详细信息

随着IT技术的不断进步,计算机系统在国民经济和人们的日常生活中扮演着越来越重要的角色,同时也产生了越来越多的数据。据wintercorp公司调查,世界上最大的数据库的规模每两年翻三番,我们真正进入到“海量数据”管理的时代。数据规模从过去的GB级进入到TB级,目前正接近PB级。网络监控、电子商务、实时数据仓库都成为海量数据的重要来源。另一方面,快速发展的计算能力和不断提高的存储密度使海量数据的处理成为可能。 OLTP是传统关系型数据库在海量数据传输的主要应用,但是随着数据传输技术的发展,该技术严重地制约了信息系统的性能,虽然可采用提高单机的硬件配置和优化数据库系统性能参数的方法对系统性能进行改进,但是效果并不理想。因此,数据库集群技术日渐成为数据库研究领域的主要内容,基于多机并行处理的数据库集群以及较高的性能、较强的可用性和可扩展性在高性能计算、海量数据的存储和处理、Web服务、电子商务等领域发挥着巨大的作用。上述应用中的数据都是随时产生的,因系统规模巨大,数据的产生速率很高。这些数据需要及时地保存起来并进行统计分析以得出有效的信息,因此需要大量的数据扫描和计算,传统的单一并行数据库难以处理如此规模的数据。本文机群并行数据库中间件ERAC是一种无共享(shared-nothing)结构的并行数据库软件。它采用Oracle数据库作为数据处理的单元,将数据并行地写入若干个独立的同构数据库,查询时并行地读取和处理这些数据,从而极大地提高了系统存储数据的能力并缩短单个查询的完成时间。通过提高单个数据库节点的硬件配置和增加数据库节点的个数可以实现数据容量和处理能力的扩展。ERAC配置单独的加载和查询等服务节点,通过配置合理数目的服务节点可以充分发挥数据库节点的存储和处理能力,并提高系统的总体服务能力。负载均衡将用户请求分发到不同中间件服务器上。用户可以通过ERAC提供的类似JDBC的编程接口和实用工具集透明、有效地访问并行数据库系统。

关键词：海量数据数据库集群 ERAC 并行查询

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于北斗的滑坡监测预警系统设计与实现

基于北斗的滑坡监测预警系统设计与实现

作者：王超峰桂林电子科技大学

学位级别：硕士

滑坡地质灾害时刻在威胁着人们的生命和财产安全,利用现代化科学技术,建立一套滑坡地质灾害监测预警系统,实现对滑坡的实时监测与精准预警,对人们防灾避险具有重大意义。本论文针对滑坡灾害预警困难的问题,研究了滑坡地质灾害预警算法,... 详细信息

滑坡地质灾害时刻在威胁着人们的生命和财产安全,利用现代化科学技术,建立一套滑坡地质灾害监测预警系统,实现对滑坡的实时监测与精准预警,对人们防灾避险具有重大意义。本论文针对滑坡灾害预警困难的问题,研究了滑坡地质灾害预警算法,基于相关软件开发技术,从系统需求出发,利用北斗高精度定位数据与传感器数据等多源异构数据,完成了滑坡监测预警系统的开发,实现了监测的可视化和预警的精准化。主要研究成果及创新点如下:(1)针对大量多源异构数据的科学存储与管理问题,利用MySQL+Mycat搭建了一套大型分布式MySQL数据库集群系统。该集群系统在完成MySQL数据库服务器多主多从的基础上,通过配置Mycat中间件,实现了数据库集群的读写分离、分库分表功能,并使用MySQL自身特性,实现了数据表的分区查询,加上redis缓存与多种数据管理策略,保证了监测数据有序存入,整体上确保了数据存储的负载均衡与快速的数据读写能力。(2)根据自主研发的滑坡监测预警系统运行要求,研究了适合本系统的预警算法。对不同的监测区域,根据地质条件的复杂性程度和滑坡发生的可能性大小,实行不同的预警算法。单站点双判据预警算法主要根据单个监测点的累积形变量和切线角两个预警指标进行判断预警。多站点双判据预警算法加入了多个监测点对累积形变量和切线角的判断,保证了滑坡区域在整体性上的预警。多源信息融合预警算法针对系统提供的多源异构数据,提出了多指标多阈值的综合预警方法,实现了空间预报的更精确、时间预报的更精准。(3)研发了滑坡监测预警系统。通过对系统的需求进行分析,设计了系统的总体框架,并相应设计了系统监测模块、预警模块、权限模块、监控模块四大主要模块,然后给出了数据库表的相应设计,并基于Jeecg开源框架,完成了滑坡监测预警系统各功能模块的开发,同时设计并实现了系统API接口,方便平台与平台之间的数据共享。最后,通过对系统性能与功能的测试,发现系统运行稳定,功能全面,达到预定要求。

关键词：滑坡地质灾害滑坡监测预警系统数据库集群北斗预警算法系统测试

基于OpenStack的私有云平台的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于OpenStack的私有云平台的设计与实现

作者：张雪利哈尔滨工业大学

学位级别：硕士

近年来,随着计算机技术的不断发展,企业和个人对于服务器的要求也越来越复杂,云计算就这样应运而生,作为能够为用户提供弹性可变的CPU、内存、硬盘且保持高性能的服务器管理技术,云计算以其独特的优势迅速占领了市场。目前,国内大部分... 详细信息

近年来,随着计算机技术的不断发展,企业和个人对于服务器的要求也越来越复杂,云计算就这样应运而生,作为能够为用户提供弹性可变的CPU、内存、硬盘且保持高性能的服务器管理技术,云计算以其独特的优势迅速占领了市场。目前,国内大部分企业都希望可以依托云计算技术拓展自己的云上业务,保证业务的灵活,高效,提高企业效率。因此,私有云技术正在蓬勃发展。Open Stack作为目前比较成熟的开源私有云技术,拥有架构开放,生态稳定等优点,但是其作为一款商业化产品,缺乏一定的容错性,用户操作体验不太好,没有考虑数据库的高可用功能,缺乏系统自主的资源调度能力。本文是基于Open Stack开发的私有云平台,为了解决Open Stack用户体验差的问题,设计并开发了容错率较高的云平台管理系统,本系统继承了Open Stack的虚机管理功能,网络管理功能和磁盘管理功能,在原有功能的基础上增加了用户权限的概念,在用户操作指令下发时先进行权限检测,满足操作条件的情况下才会继续下发命令到服务器端,避免因操作失误造成服务器错误。为了提高数据库的高可用功能,采用了docker+kubernetes+galera的数据库集群保证数据库的稳定运行,同时开发了数据备份和数据库恢复功能,用户可以定期备份并保留系统数据,系统崩溃,数据丢失时可以联系管理员使用恢复功能恢复,保证了系统的稳定性,提高了用户体验。为提高系统的自我维护能力,减轻服务器负担,开发了动态资源调度模块,动态资源调度模块可以保证系统的资源均衡分配,节约资源,减少消耗,同时可以保证服务器宕机时及时把虚机迁出,避免影响云上业务正常运行。本文对成果进行了功能性测试和性能测试。测试结果显示,本系统ECS模块,VPC模块、磁盘模块和数据库管理功能均可正常使用,用户体验较好,可以实现对云主机的正常管理和操作。资源调度模块实现了对系统资源的管理优化,灵敏度可以满足正常需求。

关键词： OpenStack 私有云数据库集群动态资源调度

MySQL集群中面向DDL操作的主从同步优化方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

MySQL集群中面向DDL操作的主从同步优化方法研究

作者：李敏华中科技大学

学位级别：硕士

近年来,基于读写分离架构的分布式数据库设计,在国内外许多系统中的应用日渐广泛,主机和从机之间通过数据复制技术进行同步而存在的延迟问题,受到了业界的广泛关注,数据库主从同步成为了一个重要的研究方向。MySQL数据库作为市场占比第... 详细信息

近年来,基于读写分离架构的分布式数据库设计,在国内外许多系统中的应用日渐广泛,主机和从机之间通过数据复制技术进行同步而存在的延迟问题,受到了业界的广泛关注,数据库主从同步成为了一个重要的研究方向。MySQL数据库作为市场占比第二的数据库,由于其开源的特性,被许多互联网企业所青睐,因此研究MySQL数据库集群的主从同步优化方法具有重要的意义和价值。针对MySQL集群在面对DDL操作时会出现的主从同步延迟加重的问题,对MySQL基于事务成组提交的并行复制技术进行了深入的研究,提出了能够让更多的DDL事务和DML事务在从机并行回放的优化方法。该优化方法首先改造DML事务在从机的回放机制,然后对单个事务的二进制日志的组织顺序做了调整,最后让从机可以提前开始回放DDL事务,从而增加从机事务回放的并行度;同时对主机上基于写集合的事务成组提交策略进行优化,在保证数据一致性的前提下,从机不等DDL事务回放完成,便提前回放DDL事务之后的DML事务,来提高从机事务回放的效率,最终以实现降低DDL操作带来的主从同步性能波动的目标。在对真实业务场景的模拟和实验中,通过对比优化方法实现前后MySQL数据库集群在面对DDL操作时主从同步性能的波动情况,发现在基于让DDL事务和DML事务并行回放的优化方法改造过后的MySQL集群中,主从同步延迟因DDL操作而加重的情况得到了明显的改善。

关键词：数据库集群主从同步并行复制

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

网上报名系统中数据库高可用性的研究与应用

网上报名系统中数据库高可用性的研究与应用

作者：谭石强广东工业大学

学位级别：硕士

随着互联网技术的不断发展,数据库承载着绝大多数门户网站、电子政务、电子商务及银行和交易所等重要部门的运作,已经成为各个国家国民经济体系的命脉。伴随着用户访问量的不断膨胀,传统的单机数据库系统已经难以满足现代人高效查询的要... 详细信息

随着互联网技术的不断发展,数据库承载着绝大多数门户网站、电子政务、电子商务及银行和交易所等重要部门的运作,已经成为各个国家国民经济体系的命脉。伴随着用户访问量的不断膨胀,传统的单机数据库系统已经难以满足现代人高效查询的要求,因此对于数据库的高可用性的研究迫在眉睫。本文在广泛调研和查阅大量文献的基础上,对广东高考网上报名系统进行了研究并总结了提高数据库可用性的技术,提出了使用数据库集群的方案解决其高可用性问题,改进了系统运行过程中的不足。本文实现的是基于数据库网关(也称数据库中间件)的数据库集群系统。系统使用三个守候线程分别用于处理客户端的请求、管理认证服务器和真实数据库服务器的基本信息和状态以及完成对服务器负载的获取和记录。在接受前台客户端请求后先进行本地数据库认证,根据前台请求内容不同转发到不同的真实数据库服务器上,并等待服务器的返回结果,最后将真实数据库服务器的返回结果返回给前台客户端。本系统选择了典型的开源系统Linux和MySQL做为试验的开发和运行平台,并用C语言实现整个系统,而且通过了MySQL的sql-bench测试工具进行了相关操作的较全面的测试,经过测试表明基于数据库网关的数据库集群系统有着很好的数据可用性、高效性和可移植性,并计划在“高考网上报名系统”、“广州王府井电子商务系统”等项目中进行推广。本论文对数据库高可用性的研究提出了一些自己的见解并在实际应用中得到了实现,这将对数据库高可用性在现实系统中应用产生深远的影响。由于各方面原因本研究在数据库的专用性、服务器的有效监测以及与备份服务器的心跳问题上还没得到很好的解决,以期抛砖引玉或留待以后解决。

关键词：集群数据库集群数据库网关高可用性

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

主题搜索引擎网络爬虫搜索策略的研究与实现

主题搜索引擎网络爬虫搜索策略的研究与实现

作者：夏亮北京化工大学

学位级别：硕士

主题网络爬虫是主题搜索引擎后端获取数据的自动化代码程序,主题搜索引擎前端查询到的数据事先由主题网络爬虫在互联网上抓取,存储在本地。然后对网页进行数据抽取,建立索引。所以主题爬虫对于一个主题搜索引擎来说,起着支撑的作用。本... 详细信息

主题网络爬虫是主题搜索引擎后端获取数据的自动化代码程序,主题搜索引擎前端查询到的数据事先由主题网络爬虫在互联网上抓取,存储在本地。然后对网页进行数据抽取,建立索引。所以主题爬虫对于一个主题搜索引擎来说,起着支撑的作用。本文提出链接文本相关度算法与主题信息值遗传恢复的算法相结合的主题优先抓取算法来指引爬虫抓取方向,并使用postgresql数据库集群技术存储数据。主题优先抓取算法根据网络页面结构的特点,通过页面之间的主题传递来预测页面主题相关性,解决了主题爬虫通道堵塞,抓取遗漏的问题。首先根据锚文本传递一个相关性信息值,如果锚文本给出的信息是相关,相关阀值就直接传递;如果是不相关,就乘以遗传基因比例之后传递。传递的过程中如果遇到相关的网页就恢复链接的相关性信息值到初始值。相关性信息值将互联网网页以主题的不同分割在不同的通道内,所有与主题相关的网页都在最大通道内,各个通道交错相连,爬虫按通道的大小顺序抓取。爬虫要抓取的网页信息量庞大,单台主机不能满足这些信息的存储。本文在资源库以及链接地址库都采用postgresql数据库集群技术,扩大后台存储容量。并且在各个数据库点中使用pgbouncer连接池技术,减少数据库连接次数,争取时间。在链接地址库中采用缓存技术减少数据库操作次数,减少消耗时间,提高爬虫工作速度。最后通过实验测试,分析数据,验证了基于主题优先抓取技术的有效性及postgresql数据库集群技术的爬虫系统的可行性。

关键词：网络爬虫搜索引擎 postgresql 数据库集群主题相关

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

警用信息智能分析系统的研发与应用

警用信息智能分析系统的研发与应用

作者：卢达华北电力大学

学位级别：硕士

情报信息工作是公安机关维护国家安全和社会稳定的重要基础，同时也是打击违法犯罪进而维护治安稳定的根本优势。想要从海量警用信息中发现线索，有效打击犯罪，必须要对各类情报信息进行深入分析和广泛对比，进而仔细筛选和逐一甄别，... 详细信息

情报信息工作是公安机关维护国家安全和社会稳定的重要基础，同时也是打击违法犯罪进而维护治安稳定的根本优势。想要从海量警用信息中发现线索，有效打击犯罪，必须要对各类情报信息进行深入分析和广泛对比，进而仔细筛选和逐一甄别，充分利用各种警用情报信息，最终将各种分散的消息线索转化为有预警效用和实战功能的情报信息。本课题以商业智能（Business Intelligence，简写为BI）为基础，采用数据仓库与数据挖掘技术，集成各警用信息子系统为一个先进的整体系统，以适应公安机关对情报信息的需求。本文从现代警务模式对信息的需求和信息化建设进度入手，研究了商业智能系统的相关技术。通过对现代警务的信息需求进行分析，确定了警用智能系统的需求;在介绍系统总体功能和架构设计的基础上，重点介绍了信息综合数据库集群的设计，基础数据仓库模型的设计，数据的获取;设计实现了重点人员管控和重大事件预警系统，详细介绍了其中的序列分析模块。通过项目的实施，解决了很多数据需求增多变细与数据来源复杂多样之间的矛盾，警用信息智能分析系统在现实警务处理中起了重要的作用，是公安系统信息化建设中重要的组成部分。

关键词：警用信息智能分析商业智能数据仓库数据库集群

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于高速数据的分配存储策略研究

基于高速数据的分配存储策略研究

作者：郑奇英武汉邮电科学研究院

学位级别：硕士

在信息化的今天,随着计算机技术和数据库技术的发展,信息技术越来越广泛的被应用到各行各业中,人们普遍利用计算机技术来处理各项业务,加上应用需求的大量增加等因素会造成网络流量的爆发式增长。目前,大型DBMS在海量数据的联机处理等... 详细信息

在信息化的今天,随着计算机技术和数据库技术的发展,信息技术越来越广泛的被应用到各行各业中,人们普遍利用计算机技术来处理各项业务,加上应用需求的大量增加等因素会造成网络流量的爆发式增长。目前,大型DBMS在海量数据的联机处理等商业应用已经成为制约数据库系统运行效率甚至整个信息系统性能的提高的瓶颈,传统的采用提高单一数据库服务器的硬件配置和优化数据库系统参数的做法也只能在一定程度上有限的提高系统性能。在考虑保护现有投资,实现成本以及满足性能需求的基础上,基于多机并行处理的数据库集群作为一种高性价比并行/分布式计算资源成为人们研究的热点,它所具有的高性能,高可用性以及高可扩展性等优点,被广泛的应用于海量数据的处理和存储,高性能计算,电子商务,web服务等领域。围绕提高数据库集群系统的并行性能讨论,主要从数据库集群系统结构,中间件的结构与设计,负载均衡和业务应用对数据存储需求等角度研究了数据分配存储的一些关键技术。为了将集群技术应用于数据库系统以实现高并行处理性能和大规模的数据库集群系统,在非共享存储数据库集群基础上研究了一种运用中间件技术和RAID技术的具有高并行处理能力综合解决方案。这种方案对用户提供单一系统映像,使数据库集群中各单数据库系统节点既保持了良好的自治性又能相互协作以达到高并行处理性能,并且能对不同业务需求的OLAP和OLTP数据的存储处理,提高了数据库集群系统的整体性能,解决了大型DBMS的性能瓶颈获得提高资源利用率和高性能并行处理能力的有效手段是运用负载均衡技术,采用反馈机制,负载均衡器周期性收集影响集群中同构或异构节点失衡因素,CPU利用率,内存和网络带宽等资源在不同负载下的综合利用率来衡量节点的加权负载状态,并且在根据节点性能和运行状态设置相应阈值。影响数据库集群系统性能的另一个重要因素是数据分布平衡,现存的一些数据划分方法没有考虑异构节点计算能力的差异,将关系和数据均匀的分布到各个处理节点,严重影响了数据库集群系统性能的发挥,针对系统负载中发生的数据倾斜,根据负载访问特点采用数据迁移算法将热点数据迁移到较轻负载节点,不仅避免了数据倾斜的影响,提高了系统的吞吐率,保持了集群系统的动态负载平衡。最后,通过实验分析和验证集群存储系统的并行处理性能和指标,评估是否达到预期效果。

关键词：数据库集群负载均衡中间件 RAID技术数据存储

基于Amoeba的数据库负载均衡中间件的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Amoeba的数据库负载均衡中间件的设计与实现

作者：王万华中科技大学

学位级别：硕士

基于Amoeba开源中间件开发出了一种适用于高并发、大数据量等业务场景的数据库负载均衡中间件。对用户透明,相对于业务系统和数据库系统独立。中间件将用户请求经过过滤解析、连接限制等处理之后,利用负载均衡算法和读写分离设计获取处... 详细信息

基于Amoeba开源中间件开发出了一种适用于高并发、大数据量等业务场景的数据库负载均衡中间件。对用户透明,相对于业务系统和数据库系统独立。中间件将用户请求经过过滤解析、连接限制等处理之后,利用负载均衡算法和读写分离设计获取处理该请求的目标数据库服务器,最后将用户请求的处理结果整合返回给用户。为了更好的应用数据库集群系统的缓存机制,在此中间件中引入了一致性哈希算法。根据物理节点的数量配置适当数量的虚拟节点,经过哈希计算后形成哈希环。根据哈希环的首位相连的特性,在哈希环上按顺时针方向查找第一个可用的节点,可以大幅减少集群在添加或删除节点时给缓存系统带来的影响。为了使哈希算法的结果更加均匀,在一致性哈希算法中应用了目前稳定、性能等各方面均表现优秀的MurmurHash算法。读写分离技术能够将写入数据、读取数据两种性质不同的数据请求分发到对应的数据库中,又可以根据业务场景的实际情况来配置写数据库与读数据库的比例关系,进一步提高了数据库集群的数据处理能力。应用MySQL的复制机制来实现主从同步,解决读写分离造成的主从数据不一致的情况。而连接限制功能是为了让尝试连接此中间件的用户在连续密码错误的情景下而受到连接限制。由实验结果分析可知,此数据库负载均衡中间件实现了负载均衡、读写分离、连接限制等功能,且利用MySQL的复制机制实现了主从同步,满足了业务需求,解决了数据库数据处理的性能瓶颈。

关键词：数据库集群负载均衡读写分离一致性哈希算法