检索结果-南通市图书馆

面向用户需求的空天地一体化车载网络任务分配策略

在线全文

学校读者我要写书评

暂无评论

系统工程与电子技术 2022年第5期44卷 1717-1727页

作者：谭诗翰金凤林顿聪颖陆军工程大学指挥控制工程学院江苏南京210007

为了提高空天地一体化车载网络(space-air-ground integrated vehicular networks,SAGVN)内用户的网络服务质量体验,解决不同网络间相互协同的问题,提出了面向用户需求的SAGVN任务分配策略。基于用户信号强度、时延、网络费用和带宽需求... 详细信息

为了提高空天地一体化车载网络(space-air-ground integrated vehicular networks,SAGVN)内用户的网络服务质量体验,解决不同网络间相互协同的问题,提出了面向用户需求的SAGVN任务分配策略。基于用户信号强度、时延、网络费用和带宽需求,利用效用函数理论和层次分析法(analytic hierarchy process,AHP),构建用户需求和满意度描述框架。将网络任务分配过程抽象为半马尔可夫决策过程(semi Markov decision process,SMDP),根据用户需求和网络状态,利用价值迭代算法获得整体用户满意度最大的网络任务分配策略,利用Q-learning算法得到近似最优策略。实验表明,相较于传统策略,所提策略整体用户满意度提高超过30%;在网络拥塞的环境下,可以有效降低对网络服务需求迫切用户服务请求的拒绝率。

关键词：空天地一体化车载网络无线网络管理半马尔可夫决策过程用户需求 Q-learning算法

在线全文

学校读者我要写书评

暂无评论

深度分层强化学习研究与发展

软件学报 2023年第2期34卷 733-760页

作者：黄志刚刘全张立华曹家庆朱斐苏州大学计算机科学与技术学院江苏苏州215006 江苏省计算机信息处理技术重点实验室(苏州大学) 江苏苏州215006 符号计算与知识工程教育部重点实验室(吉林大学) 吉林长春130012 软件新技术与产业化协同创新中心(南京) 江苏南京210093

深度分层强化学习是深度强化学习领域的一个重要研究方向,它重点关注经典深度强化学习难以解决的稀疏奖励、顺序决策和弱迁移能力等问题.其核心思想在于:根据分层思想构建具有多层结构的强化学习策略,运用时序抽象表达方法组合时间细粒... 详细信息

深度分层强化学习是深度强化学习领域的一个重要研究方向,它重点关注经典深度强化学习难以解决的稀疏奖励、顺序决策和弱迁移能力等问题.其核心思想在于:根据分层思想构建具有多层结构的强化学习策略,运用时序抽象表达方法组合时间细粒度的下层动作,学习时间粗粒度的、有语义的上层动作,将复杂问题分解为数个简单问题进行求解.近年来,随着研究的深入,深度分层强化学习方法已经取得了实质性的突破,且被应用于视觉导航、自然语言处理、推荐系统和视频描述生成等生活领域.首先介绍了分层强化学习的理论基础;然后描述了深度分层强化学习的核心技术,包括分层抽象技术和常用实验环境;详细分析了基于技能的深度分层强化学习框架和基于子目标的深度分层强化学习框架,对比了各类算法的研究现状和发展趋势;接下来介绍了深度分层强化学习在多个现实生活领域中的应用;最后,对深度分层强化学习进行了展望和总结.

关键词：人工智能强化学习深度强化学习半马尔可夫决策过程深度分层强化学习

基于SMDP模型的车路协同任务智能卸载算法

在线全文

学校读者我要写书评

暂无评论

北京邮电大学学报 2023年第2期46卷 15-21页

作者：李晓辉苏家楠吕思婷张鹏西安电子科技大学通信工程学院西安710071 西安电子科技大学广州研究院广州510555

在车路协同系统中,车辆的高机动性会使边缘节点难以控制计算时延。对此,提出了基于半马尔可夫过程的任务卸载策略,定义了道路服务节点的优先级队列、状态空间、行为空间、系统收益和转移概率,用于构建任务等待队列模型。通过在服务节点... 详细信息

在车路协同系统中,车辆的高机动性会使边缘节点难以控制计算时延。对此,提出了基于半马尔可夫过程的任务卸载策略,定义了道路服务节点的优先级队列、状态空间、行为空间、系统收益和转移概率,用于构建任务等待队列模型。通过在服务节点覆盖范围内增加车载任务的完成率提高了整个系统的收益。此外,使用贝尔曼方程进行迭代,使系统的状态空间达到最优。仿真实验结果表明,所提的任务卸载策略可有效提高车路协同系统的整体收益。

关键词：边缘计算车路协同任务卸载半马尔可夫决策过程

基于半Markov决策过程的手机节能策略研究

在线全文

学校读者我要写书评

暂无评论

基于半Markov决策过程的手机节能策略研究

作者：张梦夕哈尔滨工业大学

学位级别：硕士

诸如智能手机、平板电脑等智能移动设备已成为人们日常生活中的必需品。随着智能手机上配备更多的硬件模块,开发者使用它们开发出各类软件,以最大限度提升用户使用体验。高能耗是此类软件所要考虑的重要因素。然而,当前电池密度的增长... 详细信息

诸如智能手机、平板电脑等智能移动设备已成为人们日常生活中的必需品。随着智能手机上配备更多的硬件模块,开发者使用它们开发出各类软件,以最大限度提升用户使用体验。高能耗是此类软件所要考虑的重要因素。然而,当前电池密度的增长相对缓慢,电池技术无法满足移动设备的重度使用。为了解决这个问题,已有许多能耗管理技术被用来设计能量高效的移动系统。当前电源管理方案主要存在的问题包括过分重视单个子系统而忽视全局优化,占用大量计算资源,云技术泄漏用户隐私的风险等。由于电量是移动设备的一种极度稀缺资源,电源能耗管理已成为移动设备系统中必不可少的组成部分。针对当前电源管理方案的不足,本文提出了一种基于半Markov决策过程的动态电源管理方案。该方案基于半Markov决策过程建模,同时考虑了用户体验和设备能耗,与Boe方案相比需要更少的状态和计算时间。为完善模型,通过设备Power monitor监测华为G610-T00智能手机的使用状态并记录不同模块的功耗,设计Android控制软件以调节GPS更新速率和LCD屏幕亮度,根据开源软件Power Tutor二次开发以记录用户使用数据。此外本文给出了两种在线算法,Q学习和策略梯度估计算法,并分析了仿真结果。为了比较所得策略,制定了多种评估准则,以此验证节能算法的有效性。本文通过仿真验证了所建模型的可行性和节能算法的有效性。仿真结果显示本方案的最优策略与常用策略相比能延长53%的使用时长,增加51%的总用户体验。所给出的策略梯度估计算法能在不使用云端技术条件下更新策略,计算量小,不依赖于模型参数,同时用户可自由设置策略更新时间,便于实现。本文所提出的动态电源管理方案对现实手机节能有积极的指导意义。

关键词：动态电源管理半马尔可夫决策过程能量高效 Android系统

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

半Markov决策过程强化学习算法研究

半Markov决策过程强化学习算法研究

作者：杨家源哈尔滨工业大学

学位级别：硕士

强化学习作为机器学习领域中的一种主要算法,在智能决策和行为认知等领域有着重要作用,也是解决随机序贯决策问题的有效方法。虽然强化学习算法在基础理论研究和应用等方面取得了显著的成果,但大部分研究将系统所处环境都建模为Markov... 详细信息

强化学习作为机器学习领域中的一种主要算法,在智能决策和行为认知等领域有着重要作用,也是解决随机序贯决策问题的有效方法。虽然强化学习算法在基础理论研究和应用等方面取得了显著的成果,但大部分研究将系统所处环境都建模为Markov决策过程,而在实际应用中存在着大量系统,其环境难于用Markov决策过程精确描述,用半Markov决策过程代替Markov决策过程为系统所处环境建模可以有效克服上述缺点。由于半Markov决策过程为描绘时间因素提供了有效模型,半马氏强化学习算法在无人驾驶,工业控制、金融分析等领域有着广阔的研究前景和应用需求。针对当前Markov决策过程强化学习算法的不足,给出了一种将马氏强化学习算法拓展到半Markov决策过程的统一分析框架。该框架在平均报酬准则下通过性能灵敏度分析方法推导出连续时间型和离散时间型贝尔曼最优性方程,利用贝尔曼最优性方程的迭代形式得出半马氏强化学习算法状态动作对Q-值的更新公式。MATLAB仿真实验证明了本文拓展出的半马氏无模型强化学习算法的收敛性,进而验证了分析框架的有效性与实用性。此外结合增量值迭代算法和随机最短路值迭代算法,本文得出了两种新型的半马氏强化学习算法,并在此基础上引入二分法,得到基于二分法的半马氏强化学习算法。本文给出的统一分析框架可以使半马氏强化学习算法的拓展变的简单直观,对半Markov决策过程强化学习算法的研究也具有积极的指导作用。通过半马氏过程仿真实验,本文验证了半马氏强化学习算法的收敛性和寻找最优策略的有效性。仿真结果显示本课题所得出算法的收敛速度相比其它半马氏无模型强化学习算法至少有成倍的提升,其中增量值迭代强化学习算法的收敛速度最快。在无人车仿真实验中,使用增量值迭代强化学习算法和随机最短路值迭代强化学习算法得出的策略进行无人驾驶,无人车发生事故的次数为零次。无人车公路驾驶问题应用实例证明了理论的有效性和算法的实用性,通过该研究拓展了半Markov决策过程强化学习算法的适用范围。

关键词：半马尔可夫决策过程平均报酬准则性能灵敏度强化学习算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

雾计算中任务迁移技术研究

雾计算中任务迁移技术研究

作者：王卿轶华东师范大学

学位级别：硕士

近十年来,物联网技术的迅猛发展使得物联网设备的数量大幅增加,物联网设备所收集和传输的数据具有高度冗余性和实时性,因此需要进行快速的处理。雾计算作为新一代的分布式计算,离终端用户更近,能够降低数据传输时延,保证实时处理数据,... 详细信息

近十年来,物联网技术的迅猛发展使得物联网设备的数量大幅增加,物联网设备所收集和传输的数据具有高度冗余性和实时性,因此需要进行快速的处理。雾计算作为新一代的分布式计算,离终端用户更近,能够降低数据传输时延,保证实时处理数据,提高服务质量。任务迁移是终端设备与雾节点或云服务器之间的主要服务交付方式,旨在解决终端设备自身计算能力和存储空间不足,以及处理计算密集型任务时所需的大量时间等问题。将任务从终端设备迁移至雾节点或云服务器,会产生相应的成本,因此需要制定有效的迁移策略,以最大程度地提高移动终端的收益。当前关于任务迁移技术的研究,主要考虑的是静态的雾计算网络。然而在实际应用中,由于终端设备具有移动性,会导致雾计算网络不断变化。本文主要研究雾计算中的任务迁移技术,考虑到雾节点的动态变化,如何高效的利用这些雾节点,使终端设备获得的收益更大。本文的主要研究工作如下:1.在雾计算环境下,为了在雾层中更好地实现任务迁移,本文提出了一个基于半马尔可夫决策过程的任务迁移策略,该策略综合考虑了计算时延、传输时延、可用资源数以及雾节点的动态变化和任务的多样性特征。具体而言,本文通过构建半马尔可夫决策模型,利用基于贝尔曼方程的迭代算法,得出了最佳的决策方案,使终端设备获得的收益进一步提高。2.针对带有截止期限的任务,当雾节点中的任务数量较多时,仅仅在雾节点之间进行任务迁移已不能满足任务的截止期限要求。因此,在基于云雾的协作机制的基础上,本文引入了三种成本,并将任务迁移决策问题转化为带有任务完成期限限制的成本最小化问题。具体来说,本文提出了一个带有任务完成期限的任务迁移策略,使用服务权重的概念,逐一优化具有不同完成期限的任务,最终使任务迁移成本进一步降低。3.分别对上述两种算法进行仿真实验,将上述1中的算法与一种经典的算法对比,基于仿真结果的证明,该算法能够实现系统长期收益的最大化。在将上述2中描述的算法与其他任务迁移算法以及采用本地处理或完全卸载策略相比,该算法可以更好地控制总成本,并在满足任务截止期的条件下实现整体网络成本与效益的最优化。

关键词：雾计算任务迁移半马尔可夫决策过程截止期限制服务权重

基于半马尔可夫的动态平台技术安全效能评估及防御决策

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于半马尔可夫的动态平台技术安全效能评估及防御决策

作者：张一品北京交通大学

学位级别：硕士

随着计算机网络系统越来越庞大复杂,漏洞的数量日益增多,与此同时,针对网络系统的攻击手段也更为先进,网络系统作为防御者为抵御安全威胁与攻击者展开激烈对抗。在网络攻防局势中,防御者长久地处于信息和成本不对称的被动防御境地,为扭... 详细信息

随着计算机网络系统越来越庞大复杂,漏洞的数量日益增多,与此同时,针对网络系统的攻击手段也更为先进,网络系统作为防御者为抵御安全威胁与攻击者展开激烈对抗。在网络攻防局势中,防御者长久地处于信息和成本不对称的被动防御境地,为扭转这一局面,移动目标防御作为一种主动防御机制应运而生。移动目标防御通过将动态化、随机化、多样化机制引入网络系统,不断改变攻击面,提高攻击成功的难度,从而提升系统的安全性。在移动目标防御的安全效能评估和防御决策两个研究领域,已有大量研究成果,但现有的安全效能评估模型无法对攻击时间服从一般分布的场景进行量化分析;且已有的防御决策方法不能在量化时间依赖的累积收益的同时允许防御者在随机时间内做出防御决策。本文针对动态平台技术这一平台层面的移动目标防御技术,在攻击和应用服务迁移时间服从一般分布的场景下,构建动态平台技术安全效能评估模型并设计系统运行效益、安全性和成本协同优化的迁移防御策略。本文的主要成果如下:(1)构建基于半马尔可夫过程的动态平台技术安全效能评估模型针对部署动态平台技术的系统,首先,将其可能遭受的多阶段攻击建模为网络杀伤链,然后定义动态平台技术的随机迁移策略,构建动态平台技术的安全效能评估模型,准确刻画攻击者持续的多阶段攻击、防御者的动态平台技术及平台上运行的应用服务三者之间的交互行为;其次,推导应用服务安全性及安全风险的公式,通过攻击成功的概率以及攻击与应用服务在一个平台中共存的概率来度量系统的安全性;最后,利用数值分析实验研究平台数目、迁移速率和攻击强度对动态平台技术安全效能的影响。(2)提出一种系统运行效益、安全性和成本协同优化的迁移防御策略本文结合动态平台技术与基于检测的被动防御机制,赋予防御者依据检测到的异常行为进行防御决策的能力。引入异构平台不同的安全等级和运行效率来量化攻击所造成的安全损失和与时间相关的运行效益,同时结合应用服务的迁移成本和维持平台运行的损耗,将以上四项收益定义为收益函数;提出一种基于半马尔可夫决策过程的防御决策方法,利用值迭代算法求解系统运行效益、安全性和成本协同优化的迁移防御策略;通过实验证明基于半马尔可夫决策的迁移策略的有效性,并研究平台数目、迁移时间和迁移成本对系统收益和迁移决策的影响。

关键词：移动目标防御动态平台技术半马尔可夫过程半马尔可夫决策过程

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于需求驱动的CSPS系统多目标优化控制

系统工程理论与实践 2020年第4期40卷 1069-1079页

作者：谭琦胡知强唐昊戴飞合肥工业大学电气与自动化工程学院合肥230009

本文以最小化顾客流失率和最小化成品库平均在库数量为优化目标,研究基于需求驱动的传送带给料加工站(CSPS)系统的多目标优化问题.给出了前视距离控制和库存控制两种控制方式,并建立基于需求驱动的CSPS系统多目标优化模型.通过半马尔可... 详细信息

本文以最小化顾客流失率和最小化成品库平均在库数量为优化目标,研究基于需求驱动的传送带给料加工站(CSPS)系统的多目标优化问题.给出了前视距离控制和库存控制两种控制方式,并建立基于需求驱动的CSPS系统多目标优化模型.通过半马尔可夫决策过程长期平均性能公式计算目标值,然后使用NSGAⅡ和SPEA2两种多目标优化算法求解问题的最优策略集合.实验结果表明,加入库存控制方式可以在保证顾客需求的同时有效降低成品库平均在库数量.此外,针对模型特点,给出二进制-实数编码和连续化实数编码两种编码方式.通过验证,连续化实数编码可以有效提高算法的收敛性能及获得的非支配解集的质量.

关键词：需求驱动传送带给料加工站多目标优化半马尔可夫决策过程

在线全文

学校读者我要写书评

暂无评论

铁路客运票额预售控制决策模型研究

铁道学报 2018年第1期40卷 17-23页

作者：刘帆洨彭其渊梁宏斌杨奎西南交通大学交通运输与物流学院四川成都610031 西南交通大学综合交通运输智能化国家地方联合工程实验室四川成都610031

客票发售是列车能力利用的具体表现,票额出售即为能力占用,预售期购票需求的变化直接影响着列车能力的占用过程。本文在已知基于列车沿途停靠站的票额分配计划下,以客流需求预测值和最低票额保护值为约束。考虑预售期购票趋势与不同OD... 详细信息

客票发售是列车能力利用的具体表现,票额出售即为能力占用,预售期购票需求的变化直接影响着列车能力的占用过程。本文在已知基于列车沿途停靠站的票额分配计划下,以客流需求预测值和最低票额保护值为约束。考虑预售期购票趋势与不同OD旅客的平均购票强度等因素,利用半马尔可夫决策过程来描述票额预售过程,提出单次决策期望收益模型,并以此推广至列车全程及整个预售期,最终构建以最大期望票价收益为目标的单列车票额预售控制决策模型。通过算例对模型进行了验证,结果表明本文提出的方法在考虑旅客需求的同时,可改善列车能力利用,提高列车客座率与收益。

关键词：铁路客运票额预售控制决策半马尔可夫决策过程最大期望票价收益