检索结果-南通市图书馆

作者：闻雄北京邮电大学

学位级别：硕士

随着计算机、自动化和网络技术的发展,水站远程监控系统的规模越来越大,这造成设备管理困难,设备驱动程序多样化,系统耦合度高等问题。同时,水站业务需求越来越复杂,包含了多样性数据接口、权限控制、生产信息管理、历史数据和实时数据... 详细信息

随着计算机、自动化和网络技术的发展,水站远程监控系统的规模越来越大,这造成设备管理困难,设备驱动程序多样化,系统耦合度高等问题。同时,水站业务需求越来越复杂,包含了多样性数据接口、权限控制、生产信息管理、历史数据和实时数据查询等功能。这些使得传统的SCADA系统无法满足综合监控和复杂业务处理的需求。本文研究并设计了水站综合远程监控系统,该系统规范了现场设备与数据采集系统之间的通信方式,采用JMS进行即时消息传输,提供基于Web统一数据查询和管理等服务,并利用zookeeper实现各个子系统的会话信息共享。本文主要工作包括：1)提出了一种基于OPC规范的远程监控系统方案。OPC规范降低了设备驱动逻辑层与应用层之间耦合度,这使软件开发者不用考虑具体设备驱动的工作机制,将主要精力集中在应用逻辑上。本文实现了基于JAVA的实时数据采集的OPC客户端,完成了与采集服务器的实时数据获取。2)设计了一套实时监控与报警处理系统,定义了报警的生命周期,将报警分为五个阶段：报警定级,报警忽略,报警压缩,报警发布,报警转发和处理。并在此基础上实现了报警定级规则、报警忽略规则、报警压缩规则、报警转发规则的动态添加和更新。3)提出了基于JMS的即时消息通信解决方案,规定了自定义报头格式,并应用到水站综合远程监控系统。4)本文实现了基于SSH的WEB应用程序,对历史数据,实时数据,报警信息进行在线查询。对系统进行了严格的权限管理,并实现了人员组织结构管理。另外,对WEB,管理信息系统等异构系统进行了分布式会话管理,实现了登陆信息,权限信息,监控状态信息的数据共享。

关键词： SCADA WEB OPC JMS zookeeper

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多控制器的SDN研究

基于多控制器的SDN研究

作者：郭东东青海师范大学

学位级别：硕士

随着SDN网络规模的扩展,单一结构集中控制的控制器(如NOX)处理能力受限,扩展较难,遇到了性能提升的瓶颈。目前网络中可采用扩展单一集中式控制器的方式有两种:第一是通过提升控制器处理网络业务能力自身的方式,第二是使用分布式多控制... 详细信息

随着SDN网络规模的扩展,单一结构集中控制的控制器(如NOX)处理能力受限,扩展较难,遇到了性能提升的瓶颈。目前网络中可采用扩展单一集中式控制器的方式有两种:第一是通过提升控制器处理网络业务能力自身的方式,第二是使用分布式多控制器的方式来提升整体控制层面的处理能力。基于上述,本文通过对当前两种常见的架构模型的分析,设计了zookeeper+RYU的多控制器模型,并且该模型实现了多控制器的集群化管理,在控制平面之上提供更为抽象的用户接口。控制器失效应付,避免单一控制器造成的单点失效问题,提高网络的可靠性;控制平面的全网拓扑获取,保持网络状态的一致性。本文根据该数据流的发送方MAC地址和目的端口作为其匹配的参数,初始分配算法在流表生命周期内将来自同一MAC地址的同一数据流交由同一台负载均衡服务器处理,有效地减少了丢包率。基于MAC地址而不是基于IP地址的匹配规则,有利于NAT用户在使用过程中进行状态保持,增加了算法的识别粒度,进一步提高了算法的效率。在此基础上提出了NAT地址转换(三层转发)与MAC地址转换(二层转发)相结合的流量负载均衡方案,其中,负载均衡算法的静态分配部分通过概率分布原理实现了流量按权分配的方案;动态调整算法能够针对过载服务器的负载进行平摊,通过动态伸缩区间原理充分利用了每台负载均衡服务器的资源,将当前负载逐级平摊并产生连锁反馈,使负载真正达到平衡状态并不断进行调节,有效地使负载均衡服务器集群保持在正常工作状态。

关键词：软件定义网络 zookeeper 多控制器静态调节算法动态调节算法

基于微服务架构的宽带缴费服务系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于微服务架构的宽带缴费服务系统的设计与实现

作者：李新北京交通大学

学位级别：硕士

随着互联网科技的飞速发展,越来越多的生活服务从单一的线下处理逐渐转移到了线上。随着网上用户流量越来越大、客户需求不断增多,各种传统的软件服务架构也开始面临软件体积臃肿、维护困难等问题。于是微服务架构以其松散耦合的形式,... 详细信息

随着互联网科技的飞速发展,越来越多的生活服务从单一的线下处理逐渐转移到了线上。随着网上用户流量越来越大、客户需求不断增多,各种传统的软件服务架构也开始面临软件体积臃肿、维护困难等问题。于是微服务架构以其松散耦合的形式,各个服务有较高的自主性、专用性、敏捷性和扩展性特点脱颖而出。本文将通过微服务架构为用户构建一个提供宽带缴费服务的系统。本宽带缴费服务系统分为前端给用户提供的页面和后台服务端,本论文主要阐述核心服务端。服务端处理数量庞大的订单信息,用户信息,支付信息等。生成订单和用户支付逻辑复杂,在项目开发过程中遵循微服务架构的设计理念对接口进行合理设计,对业务进行解耦或者组合。系统采用面向服务的微服务架构,与传统的单体架构不同的是,微服务架构将大型的单个的应用拆分为多个子系统,子系统可以独立部署,系统的灵活性、扩展性和可维护性高。系统采用Dubbo分布式服务治理框架,Zoo Keeper分布式应用程序搭建微服务架构,使用Spring Boot框架实现业务代码,My SQL数据库进行数据存储,使用My Batis进行数据查询,使用Redis作为分布式缓存。项目开发遵循软件开发规范流程,本人参与了从需求分析、概要设计、详细设计到系统测试的全部过程。并且在项目上线后参与项目维护工作,对运营工作进行支撑,并收集需求进行功能扩展。目前,宽带缴费服务系统已上线为用户提供便捷的宽带定制服务,同时为运营人员提供易操作的管理后台。系统运行流畅并有较高的用户流量和资金流量,为运营商和公司带来收益并且为公司节约大量运营成本。

关键词：微服务 Dubbo zookeeper Spring Boot Redis

基于Dubbo和数据挖掘的高校信息门户系统的研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Dubbo和数据挖掘的高校信息门户系统的研究与实现

作者：吴泉金东北石油大学

学位级别：硕士

当今社会,信息技术已经深入到我们生活、工作、学习的方方面面,更为重要的是,信息技术改变了我们学习的方式,拓宽了我们的知识面。本文以高校信息化平台建设为背景,对基于数据挖掘和分布服务架构下应用系统整合、数据整合与应用系统开... 详细信息

当今社会,信息技术已经深入到我们生活、工作、学习的方方面面,更为重要的是,信息技术改变了我们学习的方式,拓宽了我们的知识面。本文以高校信息化平台建设为背景,对基于数据挖掘和分布服务架构下应用系统整合、数据整合与应用系统开发进行深入的研究,设计、实现了基于Dubbo的分布式架构和Apriori算法的数据挖掘技术,开发了基于分布式服务理念的高校信息门户,实现了校内门户统一认证平台,实现了单点认证及跨系统权限认证,解决了数据孤岛问题,并通过数据挖掘技术充分发挥数据价值。通过对目前主流服务架构进行对比分析,利用分布式服务架构对信息系统进行改造,制定实施计划与步骤。对单体应用按照业务、人员、数据等维度进行更细粒度的拆分,每个服务功能唯一,单独作为一个系统,独立部署,维护自己的数据,服务间通过接口通信,分工协作,共同支撑起整个应用系统。高校信息化发展,教学管理各类系统中存储了大量的数据,记录了学生学习、生活的方方面面。利用数据挖掘技术对这些数据进行智能化处理,发现规律和隐含的模式,形成数据收集、处理、分析、发现的算法与服务。帮助学校及时了解教学效果,改进教学方式,合理规划教学资源,利用网络教学平台使学生学习内容更加个性化。我们以Weka数据分析工具为平台,以教学管理各类系统收集的数据为基础,对学生数据进行梳理及分析,实现学生选课的个性化优选推荐。采用Docker容器技术进行系统部署,利用现有服务器硬件和存储资源,尽可能减少资金投入,使其最大程度发挥作用。分别部署了Nginx集群、zookeeper集群、微服务集群、Redis集群、My SQL主从数据库。经过测试,系统满足高并发、高性能、高可用的设计目标,并投入正式应用,取得很好的应用效果。

关键词：数据挖掘分布式架构 Dubbo zookeeper 信息门户

基于SolrCloud平台的分布式全文检索系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于SolrCloud平台的分布式全文检索系统的设计与实现

作者：王媛冬山东师范大学

学位级别：硕士

随着大数据时代的到来，海量数据不断涌入人们的日常生活、学习和工作中，如何存储和管理这些飞速增长的数据？如何从已有的这些海量数据中将对自己有用的信息准确高效地提取？面对这些日益严峻的挑战和经济突飞猛进地发展，各类政府机... 详细信息

随着大数据时代的到来，海量数据不断涌入人们的日常生活、学习和工作中，如何存储和管理这些飞速增长的数据？如何从已有的这些海量数据中将对自己有用的信息准确高效地提取？面对这些日益严峻的挑战和经济突飞猛进地发展，各类政府机构也对业务信息化有了越来越高的需求，专项网络信息平台的建立已经成为当务之急。从最初的政务信息化到今天，政府机构已经积累了大量的结构化数据和非结构化数据，对于审计厅来说，各种报表和法律法规文档等全文数据更是数不胜数，这些数据都需要记录在案，当进行审计业务和审计法律法规重新修订等工作时，工作人员不得不大量翻阅这些历史文件。这种情况下仅仅利用原有的数据库查询功能，或者人工查阅实体文本资料将会严重影响工作效率，由此我们想到可以利用全文检索技术来满足政府机构的以上需求。通过对审计厅资料库内的各种数据进行全文索引，工作人员在需要某项信息时，可以检索到各种类型的数据。由于审计工作都是分季度进行的，所以在某个时段工作人员需要集中进行操作。综合以上分析，我们决定构建一个分布式的全文检索系统来满足审计厅的需求。本文利用基于Solr和zookeeper的分布式搜索方案，搭建Solr服务器集群，构成SolrCloud平台，在SolrCloud上创建、存储和管理大型资料库文档和数据库信息的索引，以此为基础，构建一个分布式的全文检索系统。用户可登陆系统，普通用户可以对企业内部大量文档进行检索、预览和下载等操作，除此之外，管理员还能上传、存储和管理这些文档，从而达到机构内部资料共享的目的。文中首先探讨了全文检索和分布式搜索引擎的发展背景和研究现状，详细介绍了SolrCloud的架构和特点，以及全文检索的机理。接下来我们根据审计厅的具体要求，对分布式全文检索系统在四个层面上进行了需求分析，并对系统进行了开发环境设计，总体设计和详细设计，详细设计中给出了SolrCloud服务器集群、分布式索引、分布式检索的设计方案，随后介绍了以上设计方案的具体实现方法，并对索引的创建和检索响应进行了性能测试。文章最后对本文所做的全部工作进行了简单的总结，并且提出了可进一步研究的内容。

关键词：分布式全文检索倒排索引 SolrCloud zookeeper

基于Storm的设备日志流数据实时处理系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Storm的设备日志流数据实时处理系统的设计与实现

作者：薛允臻南京大学

学位级别：硕士

随着物联网技术的兴起,工业企业中机器和传感器等设备每时每刻都在产生海量的设备日志数据。这些数据具有实时性强且没有止境的特点。工业企业需要深入挖掘这些设备日志流数据中的潜在价值,来提高企业效益。当前工业企业中采用是基于Had... 详细信息

随着物联网技术的兴起,工业企业中机器和传感器等设备每时每刻都在产生海量的设备日志数据。这些数据具有实时性强且没有止境的特点。工业企业需要深入挖掘这些设备日志流数据中的潜在价值,来提高企业效益。当前工业企业中采用是基于Hadoop的设备日志数据处理系统,这类系统从数据库中直接获取静态的日志数据,并对数据进行离线处理。系统虽然吞吐量高,但由于响应时间没有保障,只适合对海量静态日志数据做批处理,无法满足处理设备日志流数据的实时性需求。流数据计算框架Storm的出现,让实时处理设备日志流数据成为可能,但Storm采用单个控制节点来负责整个集群任务分配、代码分发和监控等工作,当控制节点宕机之后,提交给集群的拓扑任务便无法执行,集群系统存在单节点失效性问题。本文针对目前设备日志数据处理系统中存在的实时性问题和单节点失效性问题,设计并实现了基于Storm的设备日志流数据实时处理系统。首先,针对实时性问题,系统采用Storm作为日志流数据处理的框架,省去批处理的数据收集时间和作业调度时间,让系统的响应时间缩短。同时系统在对日志流数据处理时,增加滑动时间窗口,只对时间窗内的日志流数据进行处理,保证了处理数据的实时性。其次,针对单点失效问题,系统采用主-从多个控制节的优化集群,在保证了集群多个从控制节点与当前主控制节点信息同步的基础上,利用zookeeper集群的协调机制,在主控制节点宕机后,从控制节点利用竞选方式产生新的主控制节点,保证即使集群中主控制节点发生故障,其中一个从控制节点也会接管继续运行拓扑任务。本系统以可视化的方式将实时处理后的结果展示给工业企业的车间人员,旨在让车间人员通过使用本系统完成对车间设备运行状态的实时跟踪与监控,帮助工业企业智慧化管理车间的机器设备,进而提高企业生产效率,节约生产成本。

关键词：流式计算大数据 Storm Kafka zookeeper HBase

基于分布式架构的智能车辆管理系统设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于分布式架构的智能车辆管理系统设计与实现

作者：雷健浙江大学

学位级别：硕士

随着“互联网汽车”以及“快的打车”软件的兴起,一种新的车辆租赁模式也在形成过程中。人们可以通过互联网直接使用车辆租赁服务,汽车租赁公司也可以通过互联网来实现车辆的管理。浙江大学ESE (Embedded System Engineering)工程中心,... 详细信息

随着“互联网汽车”以及“快的打车”软件的兴起,一种新的车辆租赁模式也在形成过程中。人们可以通过互联网直接使用车辆租赁服务,汽车租赁公司也可以通过互联网来实现车辆的管理。浙江大学ESE (Embedded System Engineering)工程中心,结合自身的汽车嵌入式和互联网软件的研发经验,研发了一款纯电动智能低速电动车和一套智能汽车管理系统。本文在第一版汽车管理系统的基础上,总结和分析了现有车辆管理系统的不足和缺陷,设计和实现了一套基于分布式架构的智能车辆管理系统。本文设计和实现了一个基于分布式架构的车辆管理系统,这个系统包含了HTTP负载均衡服务器、UDP负载均衡服务器、HTTP服务器、UDP服务器、zookeeper注册中心、数据库系统。重点改进和设计了以下模块：1)HTTP负载均衡服务器将所有的HTTP请求根据硬件性能权重轮转的方法分发给各个HTTP服务器。UDP负载均衡服务器保持与车辆的网络连接,将车辆发送的信息通过独特的负载均衡方案转发给UDP服务器,将UDP服务器发送过来的信息转发给车辆控制器。2) HTTP月服务器与客户端之间使用WebSocket连接以提供车辆租赁服务,并采用状态机模型维护与客户端的连接。3) UDP服务器取消定时器和定时任务,借助zookeeper文件系统和RabbitMQ,实现和UDP负载均衡服务器之间的通信。4) HTTP服务器和UDP服务器之间透明地通过基于RabbitMQ的RPC调用实现,实现UDP服务器和HTTP服务器的动态扩展。在有限的软硬件条件下,本文搭建了一个分布式智能车辆管理系统原型,设计和实现了一套基于JMeter的测试方案。

关键词：智能车辆管理系统分布式 zookeeper RabbitMQ

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

Storm集群的高可用性关键技术研究

Storm集群的高可用性关键技术研究

作者：马庆祥西安邮电大学

学位级别：硕士

近年来,诸多大数据环境下的应用呈现数据多源并发、数据聚合、在线实时处理的特征。原本承载着海量数据处理任务的Hadoop MapReduce计算框架,在实时数据处理方面,存在响应时间和及时性方面的诸多限制。这促进了实时数据处理相关技术的... 详细信息

近年来,诸多大数据环境下的应用呈现数据多源并发、数据聚合、在线实时处理的特征。原本承载着海量数据处理任务的Hadoop MapReduce计算框架,在实时数据处理方面,存在响应时间和及时性方面的诸多限制。这促进了实时数据处理相关技术的迅速发展,实时计算成为了目前大数据领域的研究热点。Storm作为应用于实时数据处理领域的大数据处理工具,可以简单可靠地处理大量数据流,具有广泛的应用场景,国内外很多企业都在研究和构建基于Storm的实时计算系统。但是早期的Storm集群中,Nimbus节点只有一个,存在分布式系统中的单点故障问题,降低了集群的可用性,很难保证对外提供持续不间断的服务。而且在现如今的实际生产环境中,集群版本和业务类型复杂多样,Storm自身又缺少完整的监控运维系统,如果不能及时发现异常情况,将给企业和用户造成难以预计的损失。如何避免损失,实现Storm集群的高可用性,成为企业不得不面临的一个重要问题。本文首先研究了实时计算系统Storm,详细分析了Storm的工作原理、作业提交处理流程以及各个节点的工作机制。针对Nimbus的单点故障问题,进一步分析了分布式协调系统zookeeper,对其体系结构、数据模型、ZAB协议以及典型的应用场景进行了深入的研究。在此基础上,分析探讨一种基于zookeeper的实现单个Storm集群自动故障切换的高可用性解决方案,并从领导选举与故障转移、Topology代码共享存储、客户端与Nimbus通信等方面进行了详细的阐述。结合当前企业的多集群工作环境,提出一种基于zookeeper的多集群Storm高可用性解决方案,集群间提供冗余机制,当一个集群整体故障时可以快速把拓扑迁移到其他集群。通过制定计划任务和实现实时报警服务完善监控运维模块,实时监控集群状况和拓扑运行状态,保证集群的高效稳定。最后,通过搭建实验环境对高可用性解决方案进行测试,验证了该方案的可行性和有效性。实验结果表明,该方案能够及时发现定位问题并完成故障恢复工作,提高了Storm集群的可用性。

关键词： Storm zookeeper 高可用性单点故障集群监控

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于对象的分布式协调服务研究与实现

基于对象的分布式协调服务研究与实现

作者：朱一聪浙江大学

学位级别：硕士

许多大规模的分布式系统都依赖于协调服务,分布式协调服务往往需要复制数据到不同的机器上来容错以满足活性需求,同时维护数据副本之间的一致性来保证安全性。在不可靠的分布式环境下,安全性和活性无法同时完全满足。Paxos和其它类似的... 详细信息

许多大规模的分布式系统都依赖于协调服务,分布式协调服务往往需要复制数据到不同的机器上来容错以满足活性需求,同时维护数据副本之间的一致性来保证安全性。在不可靠的分布式环境下,安全性和活性无法同时完全满足。Paxos和其它类似的一致性协议如Viewstamp Replicaiton(VR),ZAB,Raft是目前最好的可以用于维持数据副本之间一致性的算法。谷歌的基于Paxos协议实现的分布式协调服务系统Chubby和雅虎的基于ZAB协议实现zookeeper在保证安全性的同时,也达到了非常高程度的活性。本文实现了一个完整的分布式协调服务系统Sabber,Sabber采用基于用户自定义对象的方式提供了容错的协调服务,利用基于Raft协议的复制状态机来维护对象状态在不同副本之间的一致性。客户端通过远程方法调用(RPC)访问复制状态机所维护的对象,Sabber向客户端提供了线性一致性语义。基于对象的接口相比于zookeeper的基于文件系统的接口,避免了分割控制流和数据流,也使得用户可以更加容易,自然的实现自定义的协调服务。Sabber支持多种类型的方法调用,使得用户可以灵活的实现各类协调服务,同时客户端能够如同进入本地对象一样进入远程对象。本文提出了一些优化技术来使得Raft协议在实际的系统中更好的运转,包括支持多份日志文件,二分追赶策略等。本文也实现了作为一个完整的系统所需要一系列模块,包括动态配置更新,快照和日志回收,客户端交互。实验测试表明Sabber提供了安全性保证,在读写性能上与zookeeper相接近,对于具体的协调服务例如分布式队列,分布式计数器,则比zookeeper具有更高的吞吐量。

关键词：分布式协调服务活性安全性 Paxos zookeeper

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式任务调度系统的设计与实现

分布式任务调度系统的设计与实现

作者：刘明华南理工大学

学位级别：硕士

随着大数据时代的到来,如何通过技术手段挖掘隐藏在大数据下的深层次关系,并将其应用于业务场景,成为企业重点关注的问题。定时任务调度恰恰是业务应用和数据处理工作中不可或缺的一部分。随着任务处理数据量的快速增长,传统调度方式导... 详细信息

随着大数据时代的到来,如何通过技术手段挖掘隐藏在大数据下的深层次关系,并将其应用于业务场景,成为企业重点关注的问题。定时任务调度恰恰是业务应用和数据处理工作中不可或缺的一部分。随着任务处理数据量的快速增长,传统调度方式导致消耗大量资源的运算逻辑耦合于业务工程代码,非常不利于升级、监控和管理,还极有可能因为繁重的任务影响系统服务的正常响应。起初,部署单台服务器就能满足定时任务需求,但是随着任务数量的不断增长,单机模式会对机器负载产生巨大的压力,无法保证正常地触发运行任务。针对上述问题,本文设计开发出一款符合企业需求的任务调度系统。该系统支持任务分片、分片动态路由、多种任务类型和任务统一配置管理等功能。系统采用分布式架构,解决单体架构遇到的性能瓶颈问题。主要由调度器、执行器和Web控制台三个模块构成,它们的主要职责分别是根据配置的路由策略进行调度计算、执行和停止具体任务、界面化管理任务和集群资源。三个模块通过zookeeper进行协调,利用Watcher监听机制相互通知。为了让系统中所有执行节点负载均衡、合理地利用节点资源,本系统引入负载均衡调度策略。该策略会综合任务预设负载值和执行器当前负载,计算出保证集群资源平衡的分片调度结果。在功能性需求开发的过程中,也重点关注了系统非功能性需求,例如系统的性能要求、稳定性和扩展性等。最后,对系统的功能和性能进行测试。测试结果表明分布式任务调度系统中各模块功能开发完成并符合预期,性能也满足企业内部各业务系统的要求,并且针对不同测试场景的性能对比,提出任务部署的相关建议。

关键词：任务调度分布式 zookeeper