检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于马尔可夫博弈的竞争云平台定价策略研究

基于马尔可夫博弈的竞争云平台定价策略研究

作者：王瑾雯武汉理工大学

学位级别：硕士

随着互联网的发展,云计算技术日益成熟,其蕴含的巨大商业前景吸引了越来越多的企业进入云计算市场提供云服务,从而形成多云平台共存的竞争市场。在这个市场中,多个云平台互相竞争吸引用户,并通过收取费用来获得收益。在竞争环境下,云平... 详细信息

随着互联网的发展,云计算技术日益成熟,其蕴含的巨大商业前景吸引了越来越多的企业进入云计算市场提供云服务,从而形成多云平台共存的竞争市场。在这个市场中,多个云平台互相竞争吸引用户,并通过收取费用来获得收益。在竞争环境下,云平台需要合理的定价策略来最大化收益。通过查阅大量文献,目前相关研究中没有考虑到激烈竞争环境下存在多个主动定价的云平台,且将其定价问题构建为重复博弈的情况。基于此,本文对竞争环境下云平台定价策略进行分析。在云计算市场中,多个云平台互相竞争,其定价策略互相影响,从而会周期性地不断更新最优定价,因此竞争云平台定价问题是一个复杂的马尔可夫博弈问题,本论文将基于两种多智能体强化学习算法—Nash Q-learning和Minimax-Q来解决此问题。本文主要研究工作如下:(1)首先根据云平台激烈竞争的特点,给出博弈的基本设定,包括云用户选择行为的推导、云平台成本的设定和云平台期望收益的计算方法。(2)在马尔可夫博弈的框架下,从直观上将多个云平台在每个周期的竞争定价过程看作一般和博弈,结合均衡策略,使用Nash Q-learning算法分析了竞争云平台的均衡定价策略。由于Nash Q-learning算法存在多个纳什均衡选择的问题,而相关文献并没有给出具体且有效的选择方法,因此,本文首先根据期望收益和Fictitious Play(FP)算法提出了四种纳什均衡选择方式,并根据这四种方式训练得到了四种不同的均衡定价策略。然后通过这四种均衡策略的相互对比,以及与云计算市场两种实际情景下的定价策略的比较,发现由FP算法得到的两种均衡策略具有相对更好的表现。(3)由于云平台激烈竞争的特性,因此在马尔可夫博弈的框架下,基于市场中只存在两个主动定价的云平台这一设定,从零和博弈的角度,使用MinimaxQ算法分析了竞争云平台的定价策略。首先使用Minimax-Q算法和联合Qlearning算法训练云平台得到了四种不同的定价策略。然后在云计算市场的三种实际情景下,将这四种策略与其它定价策略进行了对比分析,发现由MinimaxQ算法得到的两种Minimax策略在每种情景下都占有主导地位且表现稳定。最后将两种Minimax策略与由Nash Q-learning算法得到的四种均衡定价策略进行了对比,发现Minimax-Q算法在本文云平台激烈竞争的设定下具有更突出的表现。此外,实验发现由Minimax-Q算法和联合Q-learning算法得到的四种定价策略选择低价格的概率较低。实验结果证明了价格战的方式并不利于提高长期收益,而且充分验证了Minimax-Q算法更适合于研究本文激烈竞争设定下的云平台定价策略,为实际环境中竞争云平台定价策略的优化提供了指导。

关键词：竞争云平台定价策略马尔可夫博弈 Nash Q-learning Minimax-Q

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于马尔可夫博弈的WSN功率控制研究

计算机技术与发展 2017年第4期27卷 188-191,195页

作者：刘芳马争先广西财经学院实验教学中心广西南宁530003 格力电器股份有限公司广东珠海519070

无线传感器网络中的节点能量有限、工作环境复杂,易导致节点能量消耗不均,节点耗能不均将极大地缩短网络生命周期。针对无线传感器网络中节点能量有限和耗能不均问题,建立了一种基于马尔可夫博弈的功率控制模型。该模型引用分簇结构,确... 详细信息

无线传感器网络中的节点能量有限、工作环境复杂,易导致节点能量消耗不均,节点耗能不均将极大地缩短网络生命周期。针对无线传感器网络中节点能量有限和耗能不均问题,建立了一种基于马尔可夫博弈的功率控制模型。该模型引用分簇结构,确定研究对象为簇头节点;引入多信道技术,不同信道使用不同概率调节各自簇头节点的发射功率来降低节点之间的相互干扰,进行节点功率优化;通过迭代方式进行功率和概率补偿,求解功率控制模型中的纳什均衡,使节点发射功率达到最优,达到整个网络节点能量的均衡消耗,延长网络生命周期。仿真结果表明,该模型在网络节点能量消耗的均匀程度、加强节点之间的合作、减少节点间信道竞争和延长网络生命周期上都有显著效果。

关键词：马尔可夫博弈功率控制纳什均衡无线传感器网络

在线全文

学校读者我要写书评

暂无评论

基于深度强化学习的办公流程任务分配优化

北京航空航天大学学报 2024年第2期50卷 487-498页

作者：廖晨阳于劲松乐祥立北京航空航天大学自动化科学与电气工程学院北京100191 北京航空航天大学高等理工学院北京100191

在办公平台中存在异构流程任务大量并行的情况,不仅需要任务执行者具有较强的能力,也对协同调度系统的性能提出了要求。采用强化学习(RL)算法,结合协作配合度、松弛度等定量分析,并基于马尔可夫博弈理论提出多智能体博弈模型,实现以总... 详细信息

在办公平台中存在异构流程任务大量并行的情况,不仅需要任务执行者具有较强的能力,也对协同调度系统的性能提出了要求。采用强化学习(RL)算法,结合协作配合度、松弛度等定量分析,并基于马尔可夫博弈理论提出多智能体博弈模型,实现以总体流程配合度和最大完工时间为优化目标的优化调度系统,提高了总体执行效率。以真实的业务系统流程作为实验场景,在相同的优化目标下,对比D3QN等3种深度强化学习(DRL)算法和基于蚁群的元启发式算法,验证了所提方法的有效性。

关键词：工作流任务调度马尔可夫博弈深度强化学习协作度

基于时空依赖关系多智能体强化学习的多路口交通信号协同控制方法

在线全文

学校读者我要写书评

暂无评论

中国科学院大学学报（中英文） 2024年第3期41卷 398-410页

作者：王兆瑞岩延张宝贤中国科学院大学人工智能学院北京100049

面对日益严重的交通拥堵现象,智能交通信号控制已成为提升城市道路网络性能必不可少的手段。提出一种基于时空依赖关系多智能体强化学习算法的多路口交通信号控制方法STLight(spatiotemporal traffic light control)。通过基于注意力机... 详细信息

面对日益严重的交通拥堵现象,智能交通信号控制已成为提升城市道路网络性能必不可少的手段。提出一种基于时空依赖关系多智能体强化学习算法的多路口交通信号控制方法STLight(spatiotemporal traffic light control)。通过基于注意力机制的时空依赖模块STDM(spatiotemporal dependent module),STLight可将初始交通观测数据提取为时空特征,以有效捕获各交叉路口间的时空依赖关系。此外,基于所提取的时空特征,STLight在基于集中训练分散执行框架的多智能体强化学习算法基础之上进一步为各个智能体引入全局时空信息,从而进一步提升多智能体之间的协作能力。实验结果表明,STLight在提升城市道路网络的性能方面具有显著的优势,有助于缓解当前大规模城市道路网络的交通拥堵问题。

关键词：多智能体强化学习多路口交通信号控制注意力机制马尔可夫博弈时空依赖

基于多智能体强化学习的大规模无人机集群对抗

在线全文

学校读者我要写书评

暂无评论

系统仿真学报 2021年第8期33卷 1739-1753页

作者：王泊涵吴婷钰李文浩黄达金博杨峰周爱民王祥丰国防科技大学系统工程学院华东师范大学计算机科学与技术学院上海自主智能无人系统科学中心可信人工智能研究所中国人民解放军军事科学院

攻击成本低、体系生存率高且具备细粒度灵活作战能力的无人机集群作战未来将成为重要的战争形态。高效而适应性地对无人机集群进行细粒度任务规划,对提高集群作战效能具有重要意义。多智能体强化学习在解决群体序列决策任务时存在维度... 详细信息

攻击成本低、体系生存率高且具备细粒度灵活作战能力的无人机集群作战未来将成为重要的战争形态。高效而适应性地对无人机集群进行细粒度任务规划,对提高集群作战效能具有重要意义。多智能体强化学习在解决群体序列决策任务时存在维度灾难及组合爆炸,多适用于小规模场景。将对抗环境中的无人机集群任务规划问题建模为马尔可夫博弈问题,基于平均场理论将大规模无人机间复杂交互过程建模为单机与集群平均影响间的交互,建立大规模集群对抗仿真环境,提出基于平均场的多智能体强化学习算法用于求解集群任务规划问题,其高效性和灵活性得到充分验证。

关键词：无人机集群细粒度任务规划多智能体强化学习马尔可夫博弈动态对抗平均场

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

面向移动目标防御的策略选取与评估方法研究

面向移动目标防御的策略选取与评估方法研究

作者：白松浩战略支援部队信息工程大学

学位级别：硕士

随着互联网的蓬勃发展,网络攻击手段日新月异,传统网络的地址、拓扑和服务等关键属性是静态的、确定的,无法有效应对层出不穷的新型网络攻击。绝大多数攻击利用传统网络的静态性,通过扫描来收集潜在目标的信息,以识别网络环境中的未知... 详细信息

随着互联网的蓬勃发展,网络攻击手段日新月异,传统网络的地址、拓扑和服务等关键属性是静态的、确定的,无法有效应对层出不穷的新型网络攻击。绝大多数攻击利用传统网络的静态性,通过扫描来收集潜在目标的信息,以识别网络环境中的未知漏洞。移动目标防御（Moving Target Defense,MTD）作为一种可以改变“网络攻防不对称局面”的革命性网络主动防御技术,通过增加目标系统配置的随机性和多样性,可以增加攻击者的攻击难度和成本,从而降低系统漏洞暴露给攻击者的时间和机会,增加系统的弹性。随着MTD技术的迅速发展,各国学者提出各种各样的MTD策略,部署在各类型网络中以保障网络信息系统的安全。然而,MTD策略选取与评估方法面临以下主要问题:（1）典型的MTD策略在执行跳变操作时大多不考虑网络拓扑的差异性,难以提高拓扑防画像能力;（2）主流的博弈理论大多是离散时间多阶段博弈,难以准确刻画MTD连续实时的博弈过程;（3）静态防御策略评估方法难以适用于时空多维度动态变化的MTD策略。针对上述问题,本文针对MTD策略设计、策略选取以及策略安全评估进行了相应研究。本文针对典型的MTD策略在执行跳变操作时大多不考虑网络拓扑的差异性,难以提高拓扑防画像能力这一问题,提出一种虚假网络拓扑动态构建方法;针对当前主流的离散时间多阶段博弈难以应对此类攻防场景下的MTD策略选取问题,提出一种基于微分博弈的MTD策略选取方法微分博弈的MTD策略选取方法;针对当前主流的静态防御方法评估技术无法适应动态的、随机的攻防对抗,也难以适用于MTD系统安全评估问题,提出一种基于马尔可夫博弈的MTD安全评估方法。具体研究内容如下:1、利用软件定义网络的数据与控制相分离的思想,考虑网络拓扑结构的非相似性,提出一种虚假网络拓扑动态构建方法。首先,对网络中每个主机节点进行CVSS漏洞评估,得出每种操作系统类型主机的安全性;其次,根据SDN流表中各节点之间的可达性和跳变前后节点在拓扑中的位置变化,得出跳变前后非相似性较高的异构网络拓扑;最后,选择安全性较高,非相似性较高的网络拓扑进行跳变。实验结果表明:所提技术能使扫描攻击命中活动IP的概率降低50%,恶意主机扫描出一半真实主机之前被识别并隔离的概率为95%。2、利用微分博弈的连续性、动态性、实时性,提出了一种基于微分博弈的MTD策略选取方法。首先,建立微分博弈攻防双方收益函数和目标收益函数,并引入折扣因子刻画微分博弈随时间收益衰减问题;其次,分析微分博弈均衡并通过求解微分方程得出博弈均衡最优网络拓扑跳变策略。实验结果表明:通过本模型得出的最有网络拓扑跳变策略——动态频率跳变会随着攻击者扫描频率的变化而变化,在实验选取的博弈时间内,固定高频跳变比动态频率跳变成本高出41%,收益却仅比动态频率跳变高出16%,而且随着博弈时间的延续,动态频率跳变收益将会高于固定高频跳变收益。3、利用马尔可夫博弈的多阶段状态转换特征,提出一种基于马尔可夫博弈的MTD安全评估方法。首先,构建安全评估模型,刻画攻防策略导致目标系统多阶段状态转移情况;其次,描述攻防博弈双方对抗过程,客观完整地展示了博弈系统状态及其转移概率;然后,将攻击者针对网络系统的攻击描述为12条马尔可夫攻击链,对系统动态收益进行刻画,验证模型的可行性。实验结果表明:在每个阶段系统状态下,防御者选取MTD策略进行防御可以获取最优的防御效果,并且防御者可以自适应选取防御策略使攻击者执行防御者收益最高的马尔可夫攻击链,证明了MTD策略的有效性。

关键词：网络空间安全移动目标防御虚假网络拓扑微分博弈马尔可夫博弈

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于强化学习的认知抗干扰技术研究

基于强化学习的认知抗干扰技术研究

作者：梁宇轩西安电子科技大学

学位级别：硕士

由于全球媒体设备的爆炸式增长,频谱资源变得越来越稀缺,而认知无线电技术（CR）的出现极大的缓解了这一问题。CR通过对外界环境感知的方式动态的在不同频谱上进行数据传输。这种感知外界环境的方法可以在战时环境中被用来抵抗敌方干扰... 详细信息

由于全球媒体设备的爆炸式增长,频谱资源变得越来越稀缺,而认知无线电技术（CR）的出现极大的缓解了这一问题。CR通过对外界环境感知的方式动态的在不同频谱上进行数据传输。这种感知外界环境的方法可以在战时环境中被用来抵抗敌方干扰。CR的关键技术包括感知技术以及频谱接入技术。感知技术使CR具有实时感知外界环境的能力,而频谱接入技术则使CR拥有了智慧的大脑,可以通过分析外界频谱环境来决定用户选择进行数据传输的信道。由于战时环境的特殊性,无法获得敌方的干扰模式,因此可以利用强化学习（RL）技术,通过用户与外界环境的不断交互来学习干扰的活动状态,利用频谱状态预测与感知结果相结合的方式来达到抗干扰的目的。本文的主要工作可以简要概括为以下两个部分。首先,针对基于单节点的感知抗干扰问题,本文深入研究了使用较为广泛的强化学习Q-learning算法,然后针对减少信道跳转、提升抗干扰性能的目的重新设置了奖励函数,并对感知阶段与传输阶段都进行强化学习。为了增加算法的学习速度,采用了将感知结果与强化学习算法相结合的方式提出了一种基于单节点的感知抗干扰算法。该算法通过改善奖励函数,减少用户在不同信道间的跳转从而减少不必要的能量消耗,是经济且环保的。除此之外,此算法还减少了用户被干扰的概率,提高了系统性能。在增加系统抗干扰性能的基础上,双阶段的强化学习方式增加了用户的数据传输时间,这对于时间如金的对抗环境来说有着重要的意义。本文通过仿真实验验证了系统在抗干扰能力以及增加数据传输时间能力方面的性能。同时通过将不同的感知错误率应用到系统中的方法,验证了算法性能具有一定的鲁棒性。其次,针对在多智能体存在环境下,如果采用独立强化学习方式会产生用户间的干扰的问题,本文提出了基于多智能体强化学习（MARL）的稀疏学习算法。这种算法在多智能体存在的环境下,以协作的方式考虑整体系统的抗干扰性能,将邻居所选动作对自身的影响考虑在内,通过稀疏的学习的方式使抗干扰性能得到整体提升。最后利用仿真验证了该算法与独立学习算法以及基于感知算法相比的性能优越性,同时也考虑了在不同感知错误率存在的情况下对系统性能的影响。

关键词：认知无线电强化学习抗干扰多智能体强化学习马尔可夫博弈

基于随机模型的网络安全风险量化评估方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于随机模型的网络安全风险量化评估方法研究

作者：张树伟解放军信息工程大学

学位级别：硕士

随着计算机和网络技术的快速发展,网络安全问题日益突出。对网络系统进行安全风险评估,是一种获取并掌握网络信息系统目前及未来安全状态的重要手段,对降低或者消除各种攻击给网络带来的损失具有重要的现实意义。基于规则或扫描工具的... 详细信息

随着计算机和网络技术的快速发展,网络安全问题日益突出。对网络系统进行安全风险评估,是一种获取并掌握网络信息系统目前及未来安全状态的重要手段,对降低或者消除各种攻击给网络带来的损失具有重要的现实意义。基于规则或扫描工具的评估方法具有一定的局限性,一般只能对网络进行局部的评估,或者只能检验网络系统是否存在已知的弱点,而要对网络系统进行全面的风险评估并且发现一些新的潜在的漏洞或渗透变迁造成的网络风险,就需要依靠基于模型的评估方法。目前,现有的基于模型的网络安全风险量化评估方法普遍存在忽视网络节点关联性,计算效率低,无法适用于大规模网络的评估,无法区分不同重要程度资产风险的差异性等问题。针对上述不足,本文从三个方面展开研究工作:研究了可刻画网络中每个节点风险状态的基于隐马尔可夫模型的评估方法;改进了可以重点突出网络攻防博弈中人为因素对网络安全状况影响的基于博弈理论的量化评估方法;综合上述方法优势,提出了一种优化的基于马尔可夫博弈模型的网络安全风险评估方法。完成的具体工作如下:1.提出了节点相关的实时网络安全风险量化评估方法。在基于隐马尔可夫模型对网络安全风险的量化评估过程中,通过引入网络节点关联性,解决了已有网络安全风险量化评估方法中普遍忽视节点关联性的问题;考虑了主机的相对重要性,以此刻画不同重要程度的主机对网络风险贡献的差异性。仿真实验表明该方法更加契合网络实际情况,提高了评估的准确性。2.改进了基于博弈模型的网络风险量化评估方法。网络风险存在的根本原因与人的利益驱动有很大的关系,考虑到网络攻防博弈中人为因素对网络风险的影响,采用两人零和博弈模型描述网络攻防博弈过程,通过细化模型中的攻防策略,以较低的复杂度更为准确地计算博弈双方的收益;此外,对博弈双方的获利与代价指标进行了具体的分析与量化,为计算网络风险值提供参考依据;在网络风险计算过程中,通过对不同节点进行区分,突出了不同重要性节点的风险大小对网络安全状况影响的差异性。3.优化了基于马尔可夫博弈理论的风险评估方法。首先,将攻击威胁和漏洞信息分别进行归类处理,减小了状态空间,使得模型输入规模大大降低,提高了对大规模网络进行评估的效率;其次,依据攻击与漏洞严重程度的量化值给出了网络风险状况的量化评估,刻画更加直观且贴近风险产生根源;另外,考虑到资产之间风险状况的相互影响,增加了相邻节点对目标节点造成的潜在损失的计算部分,提高了评估的准确性。

关键词：网络安全风险评估节点关联性随机模型马尔可夫博弈

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向移动目标防御系统的安全评估技术研究

面向移动目标防御系统的安全评估技术研究

作者：张莹上海交通大学

学位级别：硕士

现有网络信息系统的确定性、相似性、静止性及漏洞的持续性导致防御者处于被动、劣势的地位。为实施积极主动的网络防御,近年来由美国提出“改变游戏规则”的革命性技术之一的移动目标防御应运而生。随着MTD技术在信息系统安全体系的不... 详细信息

现有网络信息系统的确定性、相似性、静止性及漏洞的持续性导致防御者处于被动、劣势的地位。为实施积极主动的网络防御,近年来由美国提出“改变游戏规则”的革命性技术之一的移动目标防御应运而生。随着MTD技术在信息系统安全体系的不断应用,如何针对实施MTD机制的信息系统进行安全评估成为信息安全领域研究的一个新方向。目前,主流网络系统安全评估与分析方法,多数针对静态信息系统建模后再进行分析评估。在MTD系统里,网络与系统的结构层面常常实施动态化、虚拟化和随机化等机制,原来系统各要素之间的一部分静态性和确定性已经不复存在。这使得既有的主流网络安全评估技术难以处理MTD系统中存在的动态、主动的攻防博弈,无法有效解决MTD系统的安全评估问题。本文首先对网络信息系统防御的新技术移动目标防御进行了概念描述、机理阐释和技术介绍,并对国内外移动目标防御系统安全评估方法最新研究进展进行了调研、归纳、分析和总结。然后研究梳理了博弈论、马尔可夫过程及马尔可夫博弈等相关基础知识。接着从博弈论的角度出发,把网络空间中攻防对抗刻画为攻防双方之间的博弈;结合邬江兴院士提出的拟态安全防御系统架构,根据网络空间拟态防御系统攻防对抗的动态特性,将其描述为马尔可夫非合作完全信息动态博弈,建立了一种基于马尔可夫博弈理论的拟态防御系统安全评估模型。最后,结合拟态防御主机系统的用例对上述模型进行验证和效用分析。

关键词：移动目标防御拟态防御马尔可夫博弈安全评估