检索结果-南通市图书馆

国铁通用物资采购平台高并发访问关键技术研究

在线全文

学校读者我要写书评

暂无评论

铁路计算机应用 2023年第1期32卷 25-29页

作者：杨钊王婷董立华中国铁道科学研究院集团有限公司电子计算技术研究所北京100081 北京经纬信息技术有限公司北京100081

国铁通用物资采购平台(简称:国铁商城)面向中国国家铁路集团有限公司及所属单位基层机构,用户量大且易集中在特定时间段访问,并发采购量大,随着业务不断扩展,高并发访问压力越来越大。文章分析国铁商城的高并发需求,详细阐述微服务架构... 详细信息

国铁通用物资采购平台(简称:国铁商城)面向中国国家铁路集团有限公司及所属单位基层机构,用户量大且易集中在特定时间段访问,并发采购量大,随着业务不断扩展,高并发访问压力越来越大。文章分析国铁商城的高并发需求,详细阐述微服务架构、多级缓存、Kubernetes、对象存储等关键技术,介绍解决高并发访问的技术思路,为提升国铁商城性能,改善用户体验提供技术支持。

关键词：高并发访问微服务架构多级缓存 Kubernetes 负载均衡

在线全文

学校读者我要写书评

暂无评论

高并发访问时页面显示策略的研究

高并发访问时页面显示策略的研究

作者：容康华中科技大学

学位级别：硕士

随着互联网的发展,用户上网门槛的迅速降低,进而让网站的页面并发数的上升。而在目前各类网站都十分强调用户体验的大背景下,如何能保证在页面并发数上升时让网站系统运行稳定、迅速就成了一个亟待解决的问题。通过在网站后台应用服务... 详细信息

随着互联网的发展,用户上网门槛的迅速降低,进而让网站的页面并发数的上升。而在目前各类网站都十分强调用户体验的大背景下,如何能保证在页面并发数上升时让网站系统运行稳定、迅速就成了一个亟待解决的问题。通过在网站后台应用服务中进行运行监控的方式,发现在实际生产环境中,页面的未响应原因主要是应用服务器在请求数据服务器的数据时响应时间超时导致数据无法正常获取。针对该问题,本文提出了两种解决思路:使用分布式缓存系统,将页面静态化处理。使用分布式缓存系统的即在数据服务器和应用服务器之间架设缓存服务器,应用服务器在从数据服务器请求数据前首先尝试从缓存服务器中获取数据,而缓存服务器中的数据则是应用服务器在每次从数据服务器直接获取后将获取的数据写入的。通过此方式给数据服务器加一个“扩展”,让其分流部分应用服务器的请求,从而降低数据服务器的压力以提高系统整体的运行性能。页面静态化则是让应用服务器在用户请求到来前预先将用户可能请求的高频页面进行组装。当用户请求真正到来时,应用服务器将已经组装好的页面作为相应结果返还给用户,让每一次的用户请求不在需要临时进行页面的数据获取与组装工作,从而将数据服务器从用户请求中进行隔离,进而降低高频访问时数据服务器的运行压力。本文对不使用任何额外处理的页面、使用缓存加速的页面、静态化后的页面分别进行访问压力测试。通过不同测试机对上述三类页面的测试结果对比分析发现,使用缓存方式的页面在页面响应效率和系统稳定性上都明显优于不使用任何额外处理的页面;而静态化处理后的页面的响应效率较之缓存加速的页面还高数倍,但静态化本身会占用额外的存储资源。结合两种方式的特点,全面使用缓存系统,对于高频页面使用静态化,可以让网站在额外成本最少的情况下达到较为优质的页面响应效率。

关键词：高并发访问内存缓存静态化异步通讯请求

基于负载均衡和服务流控的高并发访问机制的研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于负载均衡和服务流控的高并发访问机制的研究

作者：张金鹏南昌大学

学位级别：硕士

随着互联网的普及与高速发展,软件应用对并发量和服务质量的要求越来越高,推动着互联网的架构不断演变。迅速增长的用户规模,日益复杂的业务系统,导致网络的并发访问流量爆发式增长。单一的服务器架构受限于硬件和网络带宽等,难以应对... 详细信息

随着互联网的普及与高速发展,软件应用对并发量和服务质量的要求越来越高,推动着互联网的架构不断演变。迅速增长的用户规模,日益复杂的业务系统,导致网络的并发访问流量爆发式增长。单一的服务器架构受限于硬件和网络带宽等,难以应对海量的用户访问,集群和负载均衡技术应运而生,它们能够提供更强大的任务处理性能和容错能力。其中,微服务架构以其优秀的组织结构和开发性能得到了广泛关注,可以通过将复杂系统拆分成多个独立服务的架构,降低系统耦合度,并可与集群技术结合,实现流量的分布式处理。然而,当用户访问流量总量过大时,无论采用何种负载均衡技术,分配给集群中各个服务器的流量仍然会超过机器的最大处理能力,尤其针对突发流量,就需要应用流量控制技术予以解决。为此,本文将从集群的负载均衡和微服务的流量控制两个方面开展研究工作,提出了一种优化的动态负载均衡模型和一种基于sr TCM算法的多级动态服务流控模型,并设计和验证了其实现方案,本文的主要研究内容如下。首先,基于请求任务的处理时间作为性能评价参数,构建一种基于蚁群算法的负载均衡基本模型。其次,对基本模型进行了综合优化,提出了一个优化的动态负载均衡模型,其主要优化工作:对标准蚁群算法的算法规则的综合优化;周期性采集微服务节点负载信息参数的数据,对蚁群算法的路径搜索方式进行优化;引入信息素迭代因子,根据请求响应时间对信息素更新方式进行优化。第三,基于Open Resty平台设计了优化的动态负载均衡模型实现方案。研究微服务架构下流控技术相关的理论,提出了一种基于srTCM算法的多级动态服务流控模型,能够根据请求的类型和机器的运行状态,对进入服务节点内部的任务进行动态调控和差异化处理,并设计了基于Gateway网关的动态流控模型实现方案。通过性能对比实验,验证了本文研究成果的性能,证明其优于常用的负载均衡和限流方案。

关键词：高并发访问负载均衡流量控制蚁群算法 trTCM算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于排队理论的容器云弹性伸缩策略研究

电脑编程技巧与维护 2023年第1期 88-90页

作者：耿伟周起如眭小红谷国栋赵瑜深圳市赛为智能有限公司合肥230094

弹性伸缩技术是灾害应急云计算中心的关键技术之一,基于合理的伸缩策略调整服务单元数量,有效解决高并发场景下应用的稳定性和性能等问题。Kubernetes作为目前主流的容器云管理平台,内置的HPA弹性伸缩策略,可能存在着资源供应过度和供... 详细信息

弹性伸缩技术是灾害应急云计算中心的关键技术之一,基于合理的伸缩策略调整服务单元数量,有效解决高并发场景下应用的稳定性和性能等问题。Kubernetes作为目前主流的容器云管理平台,内置的HPA弹性伸缩策略,可能存在着资源供应过度和供应不足等问题。针对这一问题,提出了一种基于Kubernetes的容器云弹性伸缩策略ESBQT,利用排队理论构建满足平均请求响应时间最小约束条件下的Pod服务单元数供给优化模型。实验测试表明,ESBQT策略面临大流量、高并发请求时,资源供给更加合理,有效保证了应用的性能和稳定性。

关键词：容器云 Kubernetes技术弹性伸缩请求响应时间排队理论高并发访问灾害应急

在线全文

学校读者我要写书评

暂无评论

分布式卫星资源高效共享平台研究

计算机工程与应用 2014年第5期50卷 121-125,174页

作者：鲁克文艾中良刘忠麟中国电子科技集团公司第十五研究所北京100083

针对当前海量卫星资源难以高效共享的问题,采用分布式架构实现卫星资源的整合。各卫星数据中心依据本领域的知识本体构建目录服务,之后系统进行整合为虚拟全局目录供各个数据中心共享,为用户快速查找所需资源提供支持;设计了分层的系统... 详细信息

针对当前海量卫星资源难以高效共享的问题,采用分布式架构实现卫星资源的整合。各卫星数据中心依据本领域的知识本体构建目录服务,之后系统进行整合为虚拟全局目录供各个数据中心共享,为用户快速查找所需资源提供支持;设计了分层的系统架构,包括负载均衡层、前端缓存层、应用服务层、数据库缓存层和数据库应用层,通过在应用服务层简单添加服务器就可以使系统性能线性增长,很好地解决了高并发访问的问题。仿真实验结果表明,系统能够实现不同数据中心的资源共享,高并发访问性能良好。

关键词：高并发访问数据共享分布式系统卫星资源

MiniQQ项目的数据存储模块的设计与实现

在线全文

学校读者我要写书评

暂无评论

MiniQQ项目的数据存储模块的设计与实现

作者：陆鹏超哈尔滨工业大学

学位级别：硕士

当今的互联网应用呈现出海量数据存储、随机访问和数据库查询频度非常高，而数据更新的频度相对较低的特点。人们对互联网应用的并发性能也提出了更高的要求。面对这些挑战，传统的数据库服务器已经不能满足当前互联网的需求。因此，人... 详细信息

当今的互联网应用呈现出海量数据存储、随机访问和数据库查询频度非常高，而数据更新的频度相对较低的特点。人们对互联网应用的并发性能也提出了更高的要求。面对这些挑战，传统的数据库服务器已经不能满足当前互联网的需求。因此，人们开始考虑使用何种技术与架构来解决这些问题，由此带来了一些新的技术问题：海量数据存储、负载均衡、数据库复制、读写分离、透明访问等。作为一个大型的互联网应用公司，为了给用户提供更好的优质体验，在日常开发中必须解决这些问题，并进行长期的优化。因此公司提出了这样一个mini项目来对此进行研究，为日后的工作与深入研究打下基础。本文首先对整个项目的整体需求进行了系统分析，明确了本课题在实现基本功能的基础上还应解决的核心问题，如海量数据存储、高并发访问、数据一致性、容灾备份等。本文对国内外现状进行研究之后，结合公司的成型技术，在MiniQQ项目的存储模块设计中，设计并实践了一套解决方案，实现了整个系统的基本功能需求，实现了对海量数据存储的支持，能够支持一定量级的高并发访问，确保了用户数据的一致性与容灾。最后通过功能与性能测试证明了该解决方案的可行性与正确性。本文主要围绕这套解决方案的设计与实现进行分析描述，主要包含了整体架构的设计，相关技术的介绍，数据分片技术在海量数据存储中的应用，复制技术、负载均衡、读写分离在高并发访问和数据一致性上的应用，内存数据库在数据存储模块中的使用。

关键词：海量数据存储高并发访问负载均衡数据分片复制技术

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式架构下的电商平台的设计与实现

分布式架构下的电商平台的设计与实现

作者：杨振生吉林大学

学位级别：硕士

近几年互联网的热潮带动着人们生活方式的转型,催生着互联网应用的创业浪潮。结合传统企业的转型,利用互联网带来的流量优势和便捷高效的特性,衍生出诸多新型的商业模式创新,例如移动支付,共享经济,在线社交,电子商务,在线购物,互联网... 详细信息

近几年互联网的热潮带动着人们生活方式的转型,催生着互联网应用的创业浪潮。结合传统企业的转型,利用互联网带来的流量优势和便捷高效的特性,衍生出诸多新型的商业模式创新,例如移动支付,共享经济,在线社交,电子商务,在线购物,互联网金融等。其中在线购物作为电子商务的子应用领域已经融入人们生活方式,从经济规模来看如今已占到国内零售总额的22.7%,无疑已经成为社会经济发展不可或缺的重要构成因素,因此对于电商平台的建设和关键技术的研究具有重要的实践意义和应用价值。在此背景下基于互联网公司主流前后端分离开发思想,利用当前主流开发框架,本系统实现了一套用户在线购物的电商平台网站。区别于传统的电商平台开发,本系统遵循软件工程思想中规范化的开发流程,按照项目从需求分析,技术选型,数据库设计,系统设计到最终功能实现,在完善业务功能的同时着重从技术架构的层面对传统电商网站开发中的单体应用架构进行优化升级,通过借助Nginx负载均衡并利用分布式集群的方式提高平台由于高并发访问带来的性能瓶颈。在单体应用和分布式应用对比方面,项目采用Redis分布式缓存,解决传统单体服务应用在分布式集群下session会话管理的问题,结合Docker技术实现PXC架构下的数据库集群方案。并采用最新的Spring Schedule技术实现分布式集群下定时关闭超时订单的任务。由于集群状态下分布式任务调度涉及到资源竞争的问题,因此本项目设计实现一套分布式锁的方案,结合Redis缓存解决集群中锁资源竞争的难题,在避免系统产生死锁情况的发生的同时,有效的完善了系统在多节点同时执行任务调度方面造成的系统开销,节省系统资源。同时由于本系统采用分布式集群的架构方案进行部署,所以系统在高可用方面得到增强,在可维护性和可扩展性等方面也都具有显著的特点。本项目在结合当前主流开发技术和实际需求的情况下,分析了购物商城平台系统在当今生活当中的重要性,完成了一套购物商城平台的设计实现。项目利用分布式技术选型对传统开发方式进行改进,在架构方面进行升级,提高了系统的高可用性和响应性能。其中利用主流分布式缓存技术构建分布式缓存服务器解决集群状态下由于多节点造成的系统关键问题以及通过结合Redis缓存设计一套集群状态下对分布式任务调度造成的锁资源竞争问题,防止系统死锁的同时解决任务调度问题的方案,无论是在核心业务功能实现的逻辑方面还是分布式系统架构设计方面的开发方案对于中小型企业在电子商务网站建设开发方面都有一定的参考和借鉴价值。以及本项目采用的Docker容器化技术搭建的PXC集群DB实现数据负载和设计的Redis分布式集群无论是对于目前的会话管理、分布式锁资源竞争管理,还是对于以后扩展升级的缓存系统和异步消息队列的实现,都可以作为一定的参考实现。结合本项目的规范化开发流程和完善的业务功能实现,在经过接口测试、功能测试和压力测试之后,目前本系统已经正常运行。

关键词：电商平台负载均衡分布式架构高并发访问分布式缓存分布式锁

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

海量存储系统数据节点的设计与实现

海量存储系统数据节点的设计与实现

作者：胡鹏上海交通大学

学位级别：硕士

人类已经迈入了信息量以几何级数增长的时代,对海量数据的管理与存储的需求不断增长,并推动着存储系统向并行化、集群化方向快速发展。海量存储的核心是分布式文件系统,它也成为最近几年中发展最快的信息技术领域。BlueOcean是本人所在... 详细信息

人类已经迈入了信息量以几何级数增长的时代,对海量数据的管理与存储的需求不断增长,并推动着存储系统向并行化、集群化方向快速发展。海量存储的核心是分布式文件系统,它也成为最近几年中发展最快的信息技术领域。BlueOcean是本人所在的课题小组研发的一款面向对象的用于海量存储的分布式文件系统。BlueOcean系统采用了元数据和数据分开存储的方式,BlueOcean集群中有一个元数据节点专门负责存放集群的元数据信息,多个数据节点以面向对象的方式存放和管理用户数据;为了保证数据存储的可靠性和集群的高可用性,BlueOcean系统采用了多副本策略和备用元数据节点的策略。本文详细描述了BlueOcean系统数据节点的设计与实现。分析了海量存储系统中数据节点的设计需求与实现中需要解决的关键技术问题,提出了相应解决方法。本文的主要工作包括:1)对现有的分布式文件系统进行了深入的研究和分析;2)分析了BlueOcean系统的总体架构,及其内部各节点的交互过程;3)分析了用于海量存储的分布式文件系统数据节点的设计与实现过程中会遇到的主要问题,并针对这些问题,提出了相应的可行的解决方案;4)具体设计并实现了BlueOcean系统数据节点程序,并对其进行了测试与分析。测试结果表明,本文设计的BlueOcean的数据节点很好的实现了它的基本功能,并对多个客户端的高并发访问提供了高效的支持,论文的成果对其它分布式文件系统的设计具有较好的借鉴价值。

关键词：海量存储数据节点设计高并发访问一致性有效性

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式文件系统元数据存取技术研究

分布式文件系统元数据存取技术研究

作者：谢莉祥重庆交通大学

学位级别：硕士

伴随着互联网应用的飞速发展及人们消费观念的不断转变,互联网应用已经渗透到人们生活的方方面面,这带给互联网企业的不仅仅是用户量和利益的暴增,还带来了文件高并发访问和大量小文件需要存储等问题,分布式文件系统为解决这些问题提供... 详细信息

伴随着互联网应用的飞速发展及人们消费观念的不断转变,互联网应用已经渗透到人们生活的方方面面,这带给互联网企业的不仅仅是用户量和利益的暴增,还带来了文件高并发访问和大量小文件需要存储等问题,分布式文件系统为解决这些问题提供了很好的平台。当前主流的分布式文件系统大多采用集中式元数据存储结构并且主要针对大文件存储进行设计。但是目前很多大型网站都需要存储大量图片文件,而这些图片文件大多小于1MB,主流分布式文件系统在存储小文件时存储和检索效率并不高。并且大型网站的资源文件并发访问量很高,集中式结构的中心服务器已很难支撑高并发的资源请求。主流分布式文件系统在大型网站应用中存在两方面不足:(1)存储小文件时存储与检索效率不高;(2)集中式结构很难支撑高并发访问。而针对小文件存储优化的研究主要集中在两个方向:对元数据存储优化和对数据文件存储优化。由于高并发问题与元数据存储结构相关,因此本文主要从元数据存储优化方向进行研究。针对以上问题本文的主要研究内容如下:(1)提出了将有序哈希表用于存储子目录。由于分布式文件系统中子目录数动辄上万,检索速度较慢,因此文中提出构建复合数据结构有序哈希表来解决该问题。通过实验证明有序哈希表比动态数组检索速度提高99.93%。(2)提出了分布式目录树结构。通过分布式目录树构建的目录系统能够将目录分散存储在不同的服务器中,并且所有数据在逻辑上保持树形结构。考虑到小文件存储占用太多元数据服务器内存,并且存储数量受到元数据服务器的内存限制,而通过将元数据分布保存到不同服务器中,则使得元数据存储容量可以通过添加元数据服务器的方式线性增加,以便能够存储更多小文件。通过实验比较分布式目录树存储空间比HDFS多使用了16.4%,而检索速度比HDFS提升了73.21%。(3)提出了将基于REST风格的HTTP协议作为分布式文件系统的服务提供方式,使用HTTP协议后浏览器能够直接与所有服务器进行交互。并且通过实验证明使用HTTP协议比RPC协议能更好地利用浏览器端缓存,有效减少文件请求次数。文中通过对分布式目录树的元数据创建多个副本并保存到不同服务器中的方式,不仅提高了系统的可靠性也使得浏览器通过访问副本服务器,减少了对原数据服务器的请求次数,降低了服务器的负载。通过实验证明使用HTTP协议后部分命令的请求次数下降了35.5%。

关键词：小文件存储高并发访问有序哈希表 HTTP 分布式目录树