检索结果-南通市图书馆

Exploring serverless computing for stream analytic

在线全文

学校读者我要写书评

暂无评论

High Technology Letters 2020年第1期26卷 17-24页

作者： Cheng Yingchao Hao Zhifeng Cai Ruichu School of Computer Science and Technology Guangdong University of TechnologyGuangzhou 510006P.R.China School of Mathematics and Big Data Foshan UniversityFoshan 528000P.R.China Department of Statistics Texas A&M UniversityCollege Station 77840USA

This work proposes ARS(FaaS) serverless framework scheduling and provisioning resources for streaming applications autonomously, which ensures real-time response on unpredictable and fluctuating streaming data. A HPC cloud platform is used as a de facto platform, on which serverless computing for stream analytic is explored. This work enables application developers to build and run steaming applications without worrying about servers, which means that the developers are able to focus on application features instead of scheduling and provisioning resources of the infrastructure. The serverless computing framework, ARS(FaaS), provides function-as-a-service to make the developers write code in discrete event-driven functions. ARS(FaaS) is capable of running and scaling the developer's code automatically, according to the throughput of streaming events. The major contribution of this serverless framework is effective and efficient autonomous resource scheduling for real-time streaming analytic, which enables the developers to build applications faster with autonomous resource scheduling. ARS(FaaS) framework is appropriate for real-time and stream analytic on event-driven data with spiky and variable compute requirements.

关键词： serverless steam processing HPC cloud auto-scaling function-as-a-service(FaaS)

A Designated Query Protocol for serverless Mobile RFID Systems with Reader and Tag Privacy

在线全文

学校读者我要写书评

暂无评论

Tsinghua Science and Technology 2012年第5期17卷 521-536页

作者： Jiwhan Lim Sangjin Kim Heekuck Oh Donghyun Kim Information & Communications Examination Bureau Korean Intellectual Property Office School of Computer Science & Engineering Korea University of Technology & Education Department of Computer Science and Engineering Hanyang University Department of Mathematics & Computer Science North Carolina Central University

Recently, a new type of Radio Frequency IDentification （RFID） system with mobile readers is introduced. In such a system, it is more desirable for mobile readers to identify tags without a back-end server, and thus it is frequently referred as a serverless mobile RFID system. In this paper, we formalize a serverless mobile RFID system model and propose a new encryption-based system that preserves the privacy of both tags and readers in the model. In addition, we define a new adversary model for the system model and show the security of the proposed system. Throughout comparisons between ours and the other alternatives, we show that our proposed system provides a stronger reader privacy and robustness against a reader forgery attack than the competitors.

关键词： Radio Frequency IDentification (RFID) serverless designated query protocol reader privacyencryption-based

Cloudless-Training:基于serverless的高效跨地域分布式ML训练框架

在线全文

学校读者我要写书评

暂无评论

高技术通讯 2024年第3期34卷 219-232页

作者：谭文婷吕存驰史骁赵晓芳中国科学院计算技术研究所北京100190 中国科学院大学北京100049 中科南京信息高铁研究院南京211135 中科苏州智能计算技术研究院苏州215028

跨地域分布式机器学习(ML)训练能够联合多区域的云资源协作训练,可满足许多新兴ML场景(比如大型模型训练、联邦学习)的训练需求。但其训练效率仍受2方面挑战的制约。首先,多区域云资源缺乏有效的弹性调度,这会影响训练的资源利用率和性... 详细信息

跨地域分布式机器学习(ML)训练能够联合多区域的云资源协作训练,可满足许多新兴ML场景(比如大型模型训练、联邦学习)的训练需求。但其训练效率仍受2方面挑战的制约。首先,多区域云资源缺乏有效的弹性调度,这会影响训练的资源利用率和性能;其次,模型跨地域同步需要在广域网(WAN)上高频通信,受WAN的低带宽和高波动的影响,会产生巨大通信开销。本文提出Cloudless-Training,从3个方面实现高效的跨地域分布式ML训练。首先,它基于serverless计算模式实现,使用控制层和训练执行层的2层架构,支持多云区域的弹性调度和通信。其次,它提供一种弹性调度策略,根据可用云资源的异构性和训练数据集的分布自适应地部署训练工作流。最后,它提供了2种高效的跨云同步策略,包括基于梯度累积的异步随机梯度下降(ASGD-GA)和跨云参数服务器(PS)间的模型平均(MA)。Cloudless-Training是基于OpenFaaS实现的,并被部署在腾讯云上评估,实验结果表明Cloudless-Training可显著地提高跨地域分布式ML训练的资源利用率(训练成本降低了9.2%~24.0%)和同步效率(训练速度最多比基线快1.7倍),并能保证模型的收敛精度。

关键词：跨地域分布式机器学习(ML)训练跨云ML训练分布式训练框架 serverless 跨云模型同步

在线全文

学校读者我要写书评

暂无评论

serverless架构调度策略研究

Serverless架构调度策略研究

作者：樊大勇北京工业大学

学位级别：硕士

serverless架构作为一种新型的云计算范式,是对云计算模型的进一步简化,代表着云计算领域的又一次变革。serverless架构与传统云计算范式有着本质的区别。在serverless架构中,计算和存储相互解耦,彼此独立扩展和运行。同时将被执行的代... 详细信息

serverless架构作为一种新型的云计算范式,是对云计算模型的进一步简化,代表着云计算领域的又一次变革。serverless架构与传统云计算范式有着本质的区别。在serverless架构中,计算和存储相互解耦,彼此独立扩展和运行。同时将被执行的代码作为运行的对象,用户不需要关心代码运行所需要的底层资源,统一交由底层的平台处理。这种方式极大的提高了开发人员的生产效率并且降低了运维成本。Knative是一个基于Kubernetes平台的构建的serverless框架,用来构建、部署和管理serverless应用程序。Knative框架提供的应用托管服务可以很大程度上降低直接操作Kubernetes集群的复杂度和风险,提升应用的迭代和服务交付的效率。Knative框架完成serverless架构应用程序调度主要分为两个阶段。第一阶段中Knative Pod Autoscaler（KPA）模块根据实时任务请求数计算出需要启动的Pod数量。第二阶段中Kubernetes集群根据KPA模块计算出来的Pod数量完成最终的任务调度。目前Knative框架对于serverless应用程序的调度流程已经非常完善,但是其中仍然存在需要改进优化的地方,本文主要从以下两方面进行优化:（1）本文基于二次指数平滑法对过去的访问请求进行处理,优化KPA模块中计算Pod数量的算法,并基于优化后的算法重新构建KPA模块。通过对照实验证明,优化后的KPA模块计算出来的Pod数量与理想Pod数量之间的平均绝对误差和均方误差都有明显的减少。（2）针对Kubernetes默认调度器中存在的冗余计算问题,本文重新设计Kubernetes调度流程,将具有相同优先级和资源需求和限制的Pod构建成一个Pod组,以Pod组作为一个基本调度单元进行统一调度。每一个Pod组调度过程中,组内Pod可以充分利用组中第一个Pod调度过程中产生的计算,减少不必要的冗余计算,降低计算资源的浪费。通过实验表明,基于优化设计方案重新构建的Kubernetes调度器有效的减少了调度过程中的冗余计算,提高了Pod调度的效率。本文通过对以上两个方面来优化Knative框架调度流程中存在的问题,进一步提高框架任务调度的效率。

关键词： Kubernetes serverless Knative 调度策略

基于serverless架构的防爆设备管理云平台研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Serverless架构的防爆设备管理云平台研究

作者：孔令劼河北工业大学

学位级别：硕士

随着计算机行业的高速发展,防爆设备的信息化管理已经成为石化企业落实安全生产的重要环节。为满足企业在防爆设备管理方面的自动化和智能化需求,在已有的研究中,构建了基于集中式架构和虚拟机的云平台用于分散于沿海转钻井平台的防爆... 详细信息

随着计算机行业的高速发展,防爆设备的信息化管理已经成为石化企业落实安全生产的重要环节。为满足企业在防爆设备管理方面的自动化和智能化需求,在已有的研究中,构建了基于集中式架构和虚拟机的云平台用于分散于沿海转钻井平台的防爆设备管理,但其存在两点问题:第一,各区域巡检具有周期性特点,但受限于虚拟机的重量级、启动慢的特点,云平台难以利用这种特点快速调整规模。第二,巡检区域主要分布在华北和华南的沿海地区,地理跨度较大,而WEB服务器部署在一个数据中心,导致客户端与云平台通信的网络延迟较高。本文针对上述不足,设计了基于请求率时序分析的容器动态管理机制。在此基础上,实现了集中式云平台的serverless重构。具体工作如下:第一,利用巡检数据上传的周期性特点,借助容器的轻量性和快速部署特性,提出了一种基于服务特征的容器动态管理机制。所提机制通过请求率预测实现容器数量的动态调整。第二,以容器作为基础设施层,基于serverless架构重新构建了防爆设备管理云平台。对云平台架构进行了总体设计,将功能模块解耦为细粒度的服务形式,实现功能模块的跨区域部署。第三,针对serverless重构过程中的关键环节进行了详细设计,包括会话状态管理、统一用户认证和数据处理流程。在会话状态管理方面,使用共享Session实现分布式会话;在统一用户认证方面,使用单点登录机制;在数据处理方面,使用Memcache缓存和Rabbit MQ消息队列实现异步数据传输,降低I/O时间和网络延迟。

关键词：防爆设备云平台容器 serverless

基于Knative的serverless云计算平台的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Knative的Serverless云计算平台的设计与实现

作者：李子鹏贵州大学

学位级别：硕士

serverless计算作为云服务的一种崭新范式,自提出之初就受到工业界和学术界的广泛关注。serverless有着两大优势,一是细粒度的按需加载按量付费,二是完全免运维,这就要求serverless云计算平台拥有资源高度自治能力,如资源的自动伸缩等... 详细信息

serverless计算作为云服务的一种崭新范式,自提出之初就受到工业界和学术界的广泛关注。serverless有着两大优势,一是细粒度的按需加载按量付费,二是完全免运维,这就要求serverless云计算平台拥有资源高度自治能力,如资源的自动伸缩等。良好的自动伸缩策略可以提高平台吞吐量、降低服务响应时间。同时,由于serverless函数实例缩容至0的技术特性,其所引发的函数冷启动问题也是平台需考虑优化的一个固有性能问题。因此,为实现一个serverless云计算平台并提升平台整体服务质量水平,本文主要完成了以下工作:(1)基于开源框架Knative设计并实现了一套管理云函数生命周期全流程的serverless云计算平台,包括平台总体技术架构与功能模块结构的设计与开发。同时,本文根据serverless任务负载特征及相关研究,构建了一套包含5种任务类别共26个云函数的负载基准任务集Function Bench,为后续策略研究做准备。(2)为提高serverless云计算平台服务质量,本文设计实现了一种基于深度强化学习算法PPO的serverless平台自动伸缩策略PS-Scale。该策略将serverless场景下的自动伸缩问题建模为马尔科夫决策过程,将集群资源状态、负载资源消耗、函数动态配置视为连续空间进行控制,引入PPO算法来学习寻找当前解空间下的最佳自动伸缩配置,构建了一种负载自适应的serverless平台自动伸缩策略。在基于Knative搭建的实验平台上进行真实集群环境下的并发实验,结果表明与现有自动伸缩策略相比,PS-Scale在平台平均吞吐量和响应延迟指标上均有一定提升。(3)为缓解serverless场景下的函数冷启动问题,本文设计实现了一种基于函数关联集的云函数冷启动优化策略FS-Warm。首先,本文基于Azure Function trace公开数据集结合现有先进调度策略自适应混合直方图策略(HHP)进行数据分析,发现原策略的关键缺陷。而后以分析结论指导策略的改进,基于FP-Growth算法生成一种粒度介于函数与应用之间的函数关联集参与调度,在充分利用云函数间关联关系减少冷启动的前提下尽可能节省内存资源。最后,在真实数据集上进行仿真实验表明,FS-Warm在函数冷启动率的降低和内存资源消耗的平衡上可取得更好的效果。

关键词： serverless Knative 自动伸缩 PPO 函数冷启动

基于serverless架构的AI实验平台的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Serverless架构的AI实验平台的设计与实现

作者：李泽慧西南交通大学

学位级别：硕士

2019年底新型冠状肺炎疫情在全球爆发,影响全球经济发展的同时也冲击着传统的教育模式。新型冠状病毒疫情防控期间,为响应教育部“停课不停教,停课不停学”的号召,各大高校纷纷开展线上教学。在线理论教学开展顺利,但工科类实验教学却... 详细信息

2019年底新型冠状肺炎疫情在全球爆发,影响全球经济发展的同时也冲击着传统的教育模式。新型冠状病毒疫情防控期间,为响应教育部“停课不停教,停课不停学”的号召,各大高校纷纷开展线上教学。在线理论教学开展顺利,但工科类实验教学却遇到了困难。因此,本文基于大量资料分析现有AI实验教学中的重点、难点,着眼于AI实验平台现实需求,设计并实现基于serverless架构的AI实验平台,也为今后各类工科实验教学的线上开展提供一种参考方案。针对实验环境搭建复杂、实验数据量大以及算法实现难度高等AI实验教学中的现实问题,本文提出基于serverless架构提供AI实验服务。serverless架构是一项新技术,所以目前市场上各类serverless解决方案的实现方式都不同,没有统一的标准、没有广泛的应用案例使得serverless技术难以推进。本文通过分析比较多个serverless解决方案,最终决定:通过整合容器构建、工作负载管理、事件触发这三者来完成本平台serverless架构设计,同时也为serverless技术的落地提供一个可参考案例。本文采用Docker构建实验容器、Kubernetes框架完成平台工作负载管理、指定单击事件为触发事件,完成serverless架构的搭建。并对AI实验平台做以下设计:将平台实验分为机器学习、自然语言处理、计算机视觉三类,针对三类实验分别制作Docker image为平台实验容器提供镜像;每类镜像中集成scikit-learn库以及交互式数据分析软件Jupyter notebook,完成海量人工智能基础算法与公用数据集的迁移;将平台管理模块与AI实验设计模块解耦,平台管理员只负责平台资源管理,简化平台管理员的工作;将AI实验设计权限下放给实验教学管理员,实验教学管理员可以随时随地根据自己的教学进度新增AI实验,提高平台的可扩展性;学生用户可以利用scikit-learn库里的海量算法与数据集完成实验,提高平台的易用性;平台基于serverless架构实现实验容器的动态扩缩容,提高平台的多用户并发能力。

关键词： serverless Docker Kubernetes AI实验容器编排动态扩缩容

云原生系统serverless的性能评估与优化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

云原生系统Serverless的性能评估与优化

作者：林彦颖中国科学院大学(中国科学院深圳先进技术研究院)

学位级别：硕士

云原生依托容器化封装、原生应用模块化、资源精细化管控等特性,为云计算提供了云上闭环的“开发-部署-运行”范式,经过长期的发展和迭代已经成为了云计算领域的事实标准。而原生为云设计的无服务器计算(serverless)继承并发展了云原生... 详细信息

云原生依托容器化封装、原生应用模块化、资源精细化管控等特性,为云计算提供了云上闭环的“开发-部署-运行”范式,经过长期的发展和迭代已经成为了云计算领域的事实标准。而原生为云设计的无服务器计算(serverless)继承并发展了云原生优势,从根本上将云计算架构从虚拟机和容器即服务转变为函数即服务。serverless提升了云原生平台的效率和灵活性,解决了云资源利用率低、云服务架构复杂等问题,有望成为云原生平台新的标准性设计理念。相比于长时间运行的微服务和离线任务处理等常见云上负载,serverless系统的函数存在“短生命周期”和“实例无状态”等新应用特性,现阶段的云原生的基础设施和应用管控措施仍无法满足其低延迟响应的需求。许多研究工作针对当前云系统架构与serverless系统的负载特性不匹配问题,探索了轻量级函数运行时、基于新硬件的高速数据中心等研究,有效地提升了serverless系统的函数响应性能。然而,现有的研究工作在针对复杂敏感的serverless负载性能表征和突发性场景下的平台性能优化等方面仍有不足。本文以云原生系统中代表性开源serverless系统以及公有云负载为研究对象,旨在研究并解决现有粗粒度资源管理策略在处理复杂敏感负载的效果不佳问题,探索适合云原生应用特征的新型资源管理与任务调度方法。本文的主要工作如下:(1)设计了针对云原生serverless系统的突发性负载的跨层性能感知基准套件-BBserverless,实现了对云原生负载的精准评估。本文通过研究云原生serverless系统的函数及其代表性负载,从复杂性、敏感性与资源干扰等方面对其进行精准画像,提取了serverless系统的应用性能特点以及其在资源管理和调度策略上的重要特征。同时,在此基础上设计了具备端到端、操作系统、硬件级别的多层感知能力的性能基准测试套件。最后利用BBserverless对3个代表性平台的多层次性能指标进行综合分析,在此基础上观察到7个平台设计中存在的性能瓶颈,并分析了性能瓶颈的原因。(2)提出了基于位置感知的serverless系统函数调度算法,解决时间局部性组件性能不足问题,优化了平台性能。本文在基准套件所表征出的性能特性基础上,针对serverless系统的函数调度和优化策略进行研究,提出结合位置、亲和性感知和贝叶斯近似估计的综合调度策略。特别的,针对serverless系统的“函数短生命周期”、“轻量化”和“函数动态交互”等特性所带来的性能问题,提出了基于局部性原理的性能优化方法。实验结果表明,所提出的方法有效地提升了serverless负载的端到端性能。

关键词： serverless 云原生负载表征性能优化

基于Knative的serverless平台函数管理模块的设计和实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Knative的Serverless平台函数管理模块的设计和实现

作者：曹经伟南京大学

学位级别：硕士

serverless是指开发者在开发和部署应用时无需关注基础设施,只需要关注业务逻辑的开发。目前主流的云服务提供商基本都有自己的serverless产品,但是公有云服务提供商的serverless产品通常具有平台绑定、服务形态缺乏标准化的缺点,导致... 详细信息

serverless是指开发者在开发和部署应用时无需关注基础设施,只需要关注业务逻辑的开发。目前主流的云服务提供商基本都有自己的serverless产品,但是公有云服务提供商的serverless产品通常具有平台绑定、服务形态缺乏标准化的缺点,导致使用不同云服务提供商的serverless服务编写的应用难以在不同平台间迁移。Google开源的Knative旨在解决serverless产品缺乏标准化的问题,提供了一组中间件组件用于构建以源代码为中心的、基于容器的应用程序并支持在多种环境运行,为标准化serverless平台的开发提供了便利。本文基于Knative开发了一个serverless平台产品,为开发者提供了函数的构建、发布和事件触发等函数管理服务,提升了开发效率和降低了运维成本。在技术选型方面,采用微服务架构,主要以Java语言进行开发,微服务使用容器化方式发布,服务治理使用服务网格框架Istio。函数的构建功能主要使用Docker来实现,在事件触发模块使用了Active MQ来进行应用解耦和流量削锋。在内容结构方面,首先介绍了serverless平台项目的背景和意义,随后对本文涉及的相关技术进行了概述,如Knative、Docker、Kubernetes、Istio和Active MQ等。然后对serverless平台进行了需求分析和概要设计,介绍了平台的主要功能和架构。接着在需求分析和概要设计的基础上,选取构建、发布、事件触发三个函数管理模块进行了详细设计和实现,并进行了系统测试。最后基于serverless平台项目的情况对全文进行了总结和展望。目前serverless平台已经在企业内部投入使用,支持部分算法模型和前端应用开发,有效提升了开发部署效率,降低了运维成本。

关键词： serverless Knative 微服务容器 Kubernetes