检索结果-南通市图书馆

基于进化多任务优化的多目标容器部署算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于进化多任务优化的多目标容器部署算法研究

作者：杨萍西安电子科技大学

学位级别：硕士

容器化技术具有支持快速部署Web应用程序和提高云数据中心资源利用率等潜力,因此它被广泛应用到微服务架构中。尽管现有的容器化技术已经得到了很好的发展,然而,随着用户对应用需求的不断增长,导致云数据中心对计算资源的需求也不断增... 详细信息

容器化技术具有支持快速部署Web应用程序和提高云数据中心资源利用率等潜力,因此它被广泛应用到微服务架构中。尽管现有的容器化技术已经得到了很好的发展,然而,随着用户对应用需求的不断增长,导致云数据中心对计算资源的需求也不断增长。因此,如何有效地解决应用程序的快速部署和提高云数据中心的资源利用率,从而减少物理机的使用数量则成为亟待解决的问题。容器部署是一个NP难组合优化问题。进化算法作为一种成熟的具有广泛适用性的全局优化方法,在解决容器部署问题上前景广阔,但现有的方法既没有关注大规模多目标容器部署(Multi-objective Container Placement,MOCP)优化问题,也没有考虑优化任务之间潜在的相关关系。因此,本文针对云数据中心不同的多目标容器部署优化问题,提出了几种新的基于进化多任务优化的方法。本文具体完成了以下的工作内容:1.针对云数据中心处理用户对同一个应用程序的并发请求的MOCP问题,结合改进的多因子进化算法(Multi-factorial Evolutionary Algorithm,MFEA),提出了MOCP-MFEA算法。该算法首次将多个用户的并发应用程序请求建模为一个四目标的多任务问题,并提出了两种编解码方法来促进任务间遗传信息的迁移进而加速算法收敛。同时,该算法还提出了局部搜索策略来处理算法的不可行解和提高集群的资源利用率。在不同应用数量和异构集群规模下对该算法进行测试。实验结果表明,所提出的算法可以显著缩短优化时间,并且在异构集群环境中表现出良好的弹性,从而为MOCP问题提供一种有竞争力的解决方案。2.针对云数据中心不同应用程序并发请求的MOCP问题,提出了一种多任务多种群(Multi-task Multi-population,MTMP)方法,记为MOCP-MTMP。提出的MOCPMTMP算法旨在提高集群的资源利用率,减少每台活动物理机上的资源浪费,并在满足资源约束和高可用性约束的情况下最大限度地减少活动物理机的数量。算法首先对应用程序进行分组,将每个分组视为一个优化任务,再利用多种群方法挖掘多个任务之间的潜在协同作用促进多个优化任务向最优解进行收敛。在异构集群环境中的两个不同测试模型上,所提出的算法被应用于具有不同应用程序规模的各种MOCP问题。实验结果表明,所提出的算法能够为不同应用程序的MOCP问题提供高效的部署方案。3.针对云数据中心不同应用程序的在线MOCP问题,提出了一种多任务遗传规划(Multi-task Genetic Programming,MTGP)方法,即MOCP-MTGP。由于在线容器部署需要实时响应,大多数当前的资源分配技术依赖于基于规则的方法,而未考虑资源请求类型和物理机类型等综合信息,使得集群中的资源未得到有效利用。因此,本文提出了一个新的在线MOCP问题模型,该模型首次考虑按照资源请求类型选择合适的分配规则。提出的MOCP-MTGP算法能从历史工作负载模式和不同异构集群状态中自动生成多组分配规则。综合实验表明,该算法能在满足资源约束和高可用性约束的前提下提高集群的资源利用率。

关键词：多目标优化容器部署微服务资源利用率进化多任务优化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Docker的容器技术的研究与应用

基于Docker的容器技术的研究与应用

作者：余孝银华北电力大学(北京)

学位级别：硕士

现阶段运维安全审计系统使用虚拟机技术搭建,在一定程度上降低了系统的运维成本。然而,由于网络环境的复杂性以及服务器之间的差异性等因素导致系统安装部署过程极其繁杂,后期大量运维工作、组件间的高耦合性和升级困难等问题都影响着... 详细信息

现阶段运维安全审计系统使用虚拟机技术搭建,在一定程度上降低了系统的运维成本。然而,由于网络环境的复杂性以及服务器之间的差异性等因素导致系统安装部署过程极其繁杂,后期大量运维工作、组件间的高耦合性和升级困难等问题都影响着系统在生产环境中使用的成本和效率。Docker容器技术的出现不仅让系统开发和部署变得更加简单和高效,而且提高了应用程序的可移植性和可伸缩性。因此,需要利用Docker容器技术简化运维安全审计系统部署并降低运维成本,及时为运维安全审计系统的用户提供安全且可靠的新功能。本文研究了 Docker容器技术、容器编排技术、负载均衡和高可用技术,对国网下属某信通公司运维安全审计系统的实际情况进行了系统分析,指出了在现场工作量快速增加的情况下,运维安全审计系统目前的集群部署方式所暴露出来的问题,通过分析Docker容器化部署的优势,本文提出将Docker容器技术应用到运维安全审计系统,给出了基于Docker技术的运维安全审计系统总体架构,并按照系统功能划分了四个模块:一是Web服务模块,主要提出了基于Redis的Session会话存储的设计方案并实现,针对Nginx自身负载均衡策略的缺陷提出并设计了基于Nginx的动态负载均衡策略,实现了 Web服务的高可用访问;二是代理服务模块,主要设计了基于ClusterIP服务暴露方案来实现代理服务在容器集群内部暴露,并基于HPA提出了自定义指标的弹性伸缩策略来实现代理服务根据节点负载情况进行弹性伸缩;三是数据存储模块,设计了高可用数据存储集群来实现运维安全审计系统的MySQL数据、Redis内存数据和磁盘数据的可用性、可靠性和一致性;四是集群管理模块,针对Etcd存储节点在实际生产环境易发生故障的问题,设计并实现了 Etcd存储管理模块,有效提高了 Etcd集群的可用性,并设计了 Kubernetes集群控制节点高可用架构,保证了 Kubernetes集群的可用性和稳定性,确保运维安全审计系统能够始终可靠地运行。最后根据各个模块的设计方案完成了相应功能的开发,在搭建Kubernetes集群的基础上实现了基于Docker技术的运维安全审计系统的部署,并针对系统功能和性能完成了测试并验证。结果证明将Docker容器技术应用到运维安全审计系统的可实施性和有效性,对于提升运维安全审计系统的可用性、降低系统部署成本以及提高运维效率具有重要意义。

关键词： Docker技术运维安全审计系统高可用容器部署

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多样性的微服务韧性部署机制

计算机应用研究 2022年第3期39卷 845-850,856页

作者：余航许博王秀磊陆军工程大学指挥控制工程学院南京210007

针对微服务架构软件系统的共享漏洞问题,面向微服务下的部署工作进行了研究,提出了一种面向韧性抗毁的多样性微服务动态部署策略,能够利用多样性部署特点,根据资源约束情况部署多样化的微服务组件,兼顾集中式部署与负载均衡的优势,有效... 详细信息

针对微服务架构软件系统的共享漏洞问题,面向微服务下的部署工作进行了研究,提出了一种面向韧性抗毁的多样性微服务动态部署策略,能够利用多样性部署特点,根据资源约束情况部署多样化的微服务组件,兼顾集中式部署与负载均衡的优势,有效缓解了同构性带来的问题,增强了软件系统的韧性能力。在此基础上实现了一种最小负载部署算法(Load-Min),并通过实验和六种算法进行了比较,实验结果显示Load-Min部署算法相较其他经典算法,在资源利用效能、系统安全性等方面均有较大的提升。

关键词：微服务多样性软件系统韧性容器部署服务组合

基于Ceph分布式存储的容器镜像放置及缓存策略

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于Ceph分布式存储的容器镜像放置及缓存策略

作者：付正重庆邮电大学

学位级别：硕士

随着云计算技术的发展,容器云的部署场景越来越广,其种类和需求也变得越来越多,随之而来的是容器镜像的体积也在不断增大,容器的部署效率受到了负面影响。在容器云平台中,容器部署效率与服务质量很大程度上影响着用户体验,因此,如何高... 详细信息

随着云计算技术的发展,容器云的部署场景越来越广,其种类和需求也变得越来越多,随之而来的是容器镜像的体积也在不断增大,容器的部署效率受到了负面影响。在容器云平台中,容器部署效率与服务质量很大程度上影响着用户体验,因此,如何高效、低时延地快速部署容器,成为当今研究的热门话题。容器部署分为两个阶段,一个是拉取容器镜像,另一个是启动镜像。相关研究表明,76%～92%的容器部署时间消耗在了镜像拉取。Docker作为容器云引擎的典型代表,得到了广泛的应用和部署,为此,论文深入研究了Docker原生容器部署策略,针对Ceph分布式存储的镜像拉取效率的提升进行优化。具体研究工作如下:1.研究了基于Ceph原子镜像属性权重的放置策略。针对Docker原生策略不能根据镜像自身特性、使用频率等属性进行合理的资源分配,导致资源利用率低,镜像拉取时延较长的问题,提出了基于Ceph原子镜像属性权重的放置策略。该策略通过建立原子镜像属性权重模型和Ceph资源模型,优化节点放置策略,保证了使用频繁、复用率高的原子镜像拥有较充足资源。原生策略和论文优化策略进行实验对比的结果表明,基于Ceph原子镜像属性权重的放置策略,在服务端资源充足与紧缺的不同情况下,均能够提高服务端资源利用率,降低镜像拉取时延,从而加快容器部署效率。2.Ceph文件读写过程中,服务端磁盘I/O带宽不足,极易成为镜像拉取时的瓶颈。针对该问题,提出了基于原子镜像关联性的缓存策略,该策略通过对下载的原子镜像进行关联性分析,结合原子镜像在缓存中的成本代价进行缓存替换。并在服务端磁盘带宽处于不同负载的情况下,将论文提出的缓存策略与原子镜像放置策略进行对比实验,结果表明,提出的缓存策略可以有效减少客户端对服务端的磁盘I/O带宽需求,降低镜像拉取时延。研究工作表明,基于Ceph原子镜像属性权重的放置策略和基于原子镜像关联性的缓存策略,能够提高服务端资源利用率,有效降低容器镜像部署时延。

关键词： Docker Ceph 原子镜像属性权重容器部署关联性缓存

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于非易失内存的容器加速系统

基于非易失内存的容器加速系统

作者：唐奇志华中科技大学

学位级别：硕士

近年来云计算技术得到了飞速的发展,容器技术在其中扮演着重要的角色。然而在无服务器计算等场景下,容器部署和冷启动仍然是一个性能瓶颈。每当函数被调用时,容器就会启动,并且在处理完请求后会立即销毁。在无服务计算平台中,通常会使... 详细信息

近年来云计算技术得到了飞速的发展,容器技术在其中扮演着重要的角色。然而在无服务器计算等场景下,容器部署和冷启动仍然是一个性能瓶颈。每当函数被调用时,容器就会启动,并且在处理完请求后会立即销毁。在无服务计算平台中,通常会使用高级语言,比如Python和JavaScript,高级语言需要更复杂的运行时,导致其启动速度比同等的C程序慢十几倍。这些技术使容器冷启动更加频繁和耗时。新兴的非易失内存因其优良的读写特性为提高容器性能提供了一个新的机会。为了加快容器部署和冷启动,对Docker Hub上下载超过100万次的134个镜像做了深度的分析并获得两点发现:1.镜像存储是容器部署过慢的原因之一;2.容器冷启动只需要一部分镜像文件。基于非易失内存的容器加速系统N-Docker的核心设计思想是基于这两点发现。在容器部署阶段,N-Docker能发现存储过慢的镜像层,并将其存储到非易失内存。在容器冷启动阶段,N-Docker通过跟踪容器冷启动过程,抓取容器冷启动所必需的热镜像文件,并将其存储到非易失内存,并将冷镜像文件写回硬盘。实验结果表明,相比于原生的Docker,N-Docker容器部署加快了1.21倍,容器冷启动加快了2.96倍。相比于将镜像全部存储在非易失内存的NVM-Docker,NDocker获得了一样的性能,但是非易失内存的使用量只是NVM-Docker的11.8%。

关键词：容器容器部署容器冷启动 Docker 镜像非易失内存

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于索引结构的容器镜像系统的设计与实现

基于索引结构的容器镜像系统的设计与实现

作者：卞盛伟华中科技大学

学位级别：硕士

容器虚拟化技术因为其轻量的特点,已经在云中被广泛使用。Docker是目前最受欢迎的容器框架,原因是它可以将应用及其依赖打包成一个独立的容器镜像。通过容器镜像,用户可以方便地存储、部署容器。当前Docker采取了层级结构构建镜像,使得... 详细信息

容器虚拟化技术因为其轻量的特点,已经在云中被广泛使用。Docker是目前最受欢迎的容器框架,原因是它可以将应用及其依赖打包成一个独立的容器镜像。通过容器镜像,用户可以方便地存储、部署容器。当前Docker采取了层级结构构建镜像,使得容器在存储和部署时相同的层只会被存储和拉取一次。然而,当前层级结构下的镜像会在镜像中引入冗余数据和不必要数据,造成容器存储和部署的低效。调研Docker Hub上使用率前50的镜像后,总结层级镜像格式存在的问题:1)层级粒度去重无法去除不同层之间的冗余数据;2)部署容器时,容器需要预先下载完整的镜像,但是容器运行只需要其中很小一部分的数据。因此,亟需一种能够提供细粒度去重和预先启动容器而后按需获取数据的镜像格式。基于索引结构的容器镜像系统(Gear系统)能够同时去除层级镜像中的冗余数据并且避免了在部署容器时下载不必要的数据。Gear系统使用索引结构代替传统镜像的层次结构来构建镜像。索引结构的基本思想是分离容器文件系统的元数据和数据。具体地,在索引结构中,容器的文件系统不再被拆分为多个层,而是被拆分为两部分:文件系统的元数据(Gear索引)和以独立文件的形式保存的数据(Gear文件)。一个镜像对应一个Gear索引和一系列Gear文件。通过Gear索引,所有属于该镜像的Gear文件都可以被索引到。在保存索引结构的镜像时,体积很小的Gear索引保存在单层的层级镜像中,利用Docker框架方便的存储和分发,而Gear文件则通过内容哈希实现文件级别的去重。当部署容器时,容器在只下载很小的Gear索引后就可以启动,Gear系统根据容器运行时的需要下载Gear文件。对Gear系统的测试结果表明,Gear系统相比Docker能够减少54%的存储开销,并且在高带宽下提升1.49倍容器部署速度,在低带宽下提升4.71倍容器部署速度。

关键词：容器镜像格式容器存储容器部署

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于边缘计算的杆塔施工安全及灾害风险评估

基于边缘计算的杆塔施工安全及灾害风险评估

作者：张群长沙理工大学

学位级别：硕士

近年来,随着我国国民经济飞速发展和现代化建设步伐的不断加快,社会的生产生活对电力的需求也随之增加,对电力系统的稳定电力供应提出了更高的要求。为了匹配负荷端电力需求电力系统先后进行了智能电网建设、特高压直流线路等电网基建... 详细信息

近年来,随着我国国民经济飞速发展和现代化建设步伐的不断加快,社会的生产生活对电力的需求也随之增加,对电力系统的稳定电力供应提出了更高的要求。为了匹配负荷端电力需求电力系统先后进行了智能电网建设、特高压直流线路等电网基建设施建设项目,电力设施建设现场（特别是高电压等级的输电线路建设项目）较多位于地形复杂、地势陡峭的野外环境,施工条件相对其它类型项目更恶劣,并且输电线路施工过程存在作业人员的协同作业导致作业现场难以实现安全有效的施工管理,这些因素导致了目前电力基建安全事故发生的频率逐年攀升。另外,随着全球气候不断变暖导致目前极端气象灾害下频繁发生,暴雨、持续性强降雨等为常见的气象灾害,受持续性强降雨影响这些地区由于其地势以山丘、陡坡等地形且土壤结构疏松而经常发生山体滑坡、泥石流等自然灾害,架设在山丘、陡坡等不同地势之上的高电压等级输电线路等暴露型电力设备容易受到自然灾害破坏而导致设备故障,对当地人们的生活极大的影响的同时也对该区域的暴露型电网设备基建设施造成巨大破坏和电力稳定供应的挑战。由于输电杆塔现场地处偏远、不集中、交通不便等造成现场施工数据信息不能即时获取,现场施工作业团队不能提前获取现场风险信息,远程监控管理人员不能及时了解现场安全事故信息,这对施工现场的安全运维造成重大的阻碍。因此,本文针对杆塔施工现场建立了基于端-边-云施工安全在线诊断架构,首先分析输电杆塔施工现场采集设备以及安全器具的通讯组网需求,考虑现场采集设备的自组网和网络拓扑特性多变等特点,提出了基于Zigbee技术的现场自组网方案,在施工现场部署Zigbee传输网络实现设备施工现场数据实测实量自动上传,分析了施工现场通讯数据传输方法和基于无线Zigbee的现场通讯网络的拓扑结构。通过分析边缘计算架构的特点与优势,针对输电杆塔施工现场的数据传输特点与数据服务响应特性,分析了杆塔施工现场安全端-边-云诊断架构中边缘层的功能需求,考虑到施工现场评估的实时性要求,通过将数据计算容器下沉到靠近数据源边缘层网络而提升现场数据计算响应速率。然后对面向输电杆塔施工现场的远程云平台功能进行了介绍。为实现对现场施工安全评估的快速响应和应对现场业务需求不断更替的,提出建立面向施工现场不同业务边缘平台,通过边缘容器与云平台之间的交互和协同进一步提高边缘业务处理效率。针对施工现场源数据质量较差问题,提出了基于Bloom滤波器的自适应数据边缘处理方法对现场源数据集进行边缘分类,为杆塔施工现场安全评估分析提供良好的现场作业人员安全数据等现场安全评估相关的数据集,将非现场施工数据、设备RFID、设备维护等其它数据分类出来直接上传至平台保存。对边缘计算平台架构分析主要包括底层硬件层和应用服务层,底层硬件层包含应对施工现场组网和通讯的简单的数据通信设备、网络设备;应用服务层主要由业务容器组成,容器引擎抽象出物理层的计算存储资源,实现容器之间的共享资源的弹性服务。通过在现场部署的边缘计算平台收集到现场作业特征参数集后,分别对施工现场的环境参数、作业人员安全参数等安全特征参数处理,建立了包含杆塔倾斜率、风荷载等特征参数的现场施工安全风险评估体系。综合考虑现场特征参数对安全风险结果影响程度提出风险程度因子和风险严重度函数,建立了杆塔施工现场安全评估模型。通过对降雨诱发滑坡灾害影响因素分析,综合考虑区域当日降雨量、累计降雨量等外部因子对降雨诱发滑坡灾害进行风险预测。考虑降雨下滑坡体对输电杆塔所造成的不同影响分析,建立了考虑杆塔倾斜度和杆塔挠曲度的输电杆塔故障风险评估模型。基于上述降雨下滑坡灾害风险概率和杆塔受迫故障风险概率联合影响建立降雨下输电杆塔故障风险评估模型。最后,针对提出的杆塔故障风险模型进行仿真分析,验证提出的模型的效用性和准确性。

关键词：边缘计算杆塔现场自组网杆塔施工现场安全评估输电杆塔灾害风险容器部署

基于Docker的OpenStack云平台自动化部署方案的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Docker的OpenStack云平台自动化部署方案的设计与实现

作者：秦菁武汉邮电科学研究院

学位级别：硕士

在OpenStack云平台自动安装部署过程中,由于网络复杂性、服务器差异性、云平台的复杂性等等因素导致安装部署过程繁杂化。即使云平台安装成功后,大量的后期运维工作、组件间的高耦合性和升级困难等问题都影响着云平台在生产环境中使用... 详细信息

在OpenStack云平台自动安装部署过程中,由于网络复杂性、服务器差异性、云平台的复杂性等等因素导致安装部署过程繁杂化。即使云平台安装成功后,大量的后期运维工作、组件间的高耦合性和升级困难等问题都影响着云平台在生产环境中使用的成本和效率。随着5G时代的到来,各大运营商纷纷开始大量投入到云DC的建设,边缘计算已成为炙手可热的明星。然而边缘计算需要大量的、精简的、便捷的、定制化的云平台进行支持,传统的部署方式无法满足其需求。社区已存在的容器化部署方案也只是处于开发阶段,并不能成功安装部署一套可用的多节点多角色云平台系统。本文在充分研究了多种不同方式的云平台自动安装和部署后,选择容器化方案对OpenStack云平台进行自动化部署。本文设计并实现了一个完整的容器化安装部署云平台的系统,通过将ansible,docker,Helm,Kubernetes,kolla等技术相结合的方式实现该系统。系统实现主要分为三个模块:一是物理资源管理模块的设计与实现,由于容器化部署可能涉及大量的服务器,复杂的网络环境和手动配置安装的模式增加了云平台的不可靠性,通过设计该模块达到优化配置和自动化批量设置网络的目的。二是Kubernetes集群管理模块的设计与实现。该模块包含Kubernetes自动化安装和本地仓库管理的功能。通过实现自定义组件的方式完成Kubernetes在生产环境下的所需的离线化、高可用的性能。三是OpenStack管理模块的设计与实现。该模块将自定义的kolla镜像与云平台安装相结合,使得安装后的云平台完全自定制化。并且通过将OpenStack各个组件封装在其相应的Charts中的方式来完成OpenStack组件的解耦,使得其可以通过简单的操作即可完成安装卸载OpenStack。本系统可以将自定制的OpenStack组件通过容器的方式批量自动化安装部署成功一套企业自定义的云平台系统,经测试可以方便的对云平台进行管理操作,达到了容器化部署云平台的目的。

关键词：自动部署云平台容器部署制作镜像

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

微服务架构的水库调度系统设计与实现

微服务架构的水库调度系统设计与实现

作者：黎然华中科技大学

学位级别：硕士

2020疫情期间展现了互联网远程线上办公的威力,其背后都是软件系统后端先进成熟的架构带来的服务器高效持续的工作。软件系统后端架构的发展经历了从单机、三层分层、SOA,再到现在的微服务,目前正在使用的水库调度系统基本是以采用服务... 详细信息

2020疫情期间展现了互联网远程线上办公的威力,其背后都是软件系统后端先进成熟的架构带来的服务器高效持续的工作。软件系统后端架构的发展经历了从单机、三层分层、SOA,再到现在的微服务,目前正在使用的水库调度系统基本是以采用服务总线的SOA架构实现,众多文献论文设计分析的各种水调系统大多是三层分层单体架构。如今先进且最热门的微服务架构在众多领域进行着研究,特别是在互联网软件系统中得到了广泛的应用,针对水调系统架构现状,为吸取互联网架构应用的经验,本文现以一种技术储备和应用的目的来设计实现微服务架构的通用水库调度系统。首先分析微服务架构相关技术,从单体到微服务的发展,现有水调系统现状,微服务架构实现所采用的框架技术,数据库技术,微服务部署等;再对微服务架构的运用进行需求分析;第三对水调系统微服务架构进行设计分析,包括微服务架构技术的整体拓扑设计,基础数据、洪水预报、发电调度、防洪调度等业务功能设计,缓存数据库设计等;最后对水调系统采用Spring Cloud进行微服务架构的搭建,包括各个业务功能微服务个体应用的服务发现,微服务个体应用接口实现,业务功能主要流程实现,缓存与持久数据库搭配实现,微服务应用Docker容器部署等。

关键词：水库调度系统微服务 Spring Cloud 容器部署