检索结果-南通市图书馆

一种车载服务的快速深度Q学习网络边云迁移策略

在线全文

学校读者我要写书评

暂无评论

电子与信息学报 2020年第1期42卷 58-64页

作者：彭军王成龙蒋富顾欣牟玥玥刘伟荣中南大学计算机学院长沙410083 中南大学自动化学院长沙410083

智能网联交通系统中车载用户的高速移动,不可避免地造成了数据在边缘服务器之间频繁迁移,产生了额外的通信回传时延,对边缘服务器的实时计算服务带来了巨大的挑战。为此,该文提出一种基于车辆运动轨迹的快速深度Q学习网络(DqN-TP)边云... 详细信息

智能网联交通系统中车载用户的高速移动,不可避免地造成了数据在边缘服务器之间频繁迁移,产生了额外的通信回传时延,对边缘服务器的实时计算服务带来了巨大的挑战。为此,该文提出一种基于车辆运动轨迹的快速深度Q学习网络(DqN-TP)边云迁移策略,实现数据迁移的离线评估和在线决策。车载决策神经网络实时获取接入的边缘服务器网络状态和通信回传时延,根据车辆的运动轨迹进行虚拟机或任务迁移的决策,同时将实时的决策信息和获取的边缘服务器网络状态信息发送到云端的经验回放池中;评估神经网络在云端读取经验回放池中的相关信息进行网络参数的优化训练,定时更新车载决策神经网络的权值,实现在线决策的优化。最后仿真验证了所提算法与虚拟机迁移算法和任务迁移算法相比能有效地降低时延。

关键词：智能网联交通系统虚拟机迁移强化学习深度Q学习网络

基于攻击图和深度Q学习网络的自动化安全分析与渗透测试模型

在线全文

学校读者我要写书评

暂无评论

网络与信息安全学报 2023年第6期9卷 166-175页

作者：樊成胡国庆丁涛杰张展华中国人民解放军31681部队甘肃天水741000

随着网络技术的快速发展和广泛应用,网络安全问题日益突出,渗透测试成为评估和提升网络安全性的重要手段。然而,传统的人工渗透测试方法效率较低,且易受到人为错误和测试人员技能水平的影响,造成测试结果不确定性大、评估效果不理想等... 详细信息

随着网络技术的快速发展和广泛应用,网络安全问题日益突出,渗透测试成为评估和提升网络安全性的重要手段。然而,传统的人工渗透测试方法效率较低,且易受到人为错误和测试人员技能水平的影响,造成测试结果不确定性大、评估效果不理想等问题。针对以上人工渗透测试中存在的问题,提出了基于攻击图和深度Q学习网络(DqN,deepq-learningnetwork)的自动化安全分析与渗透测试(ASAPT,autonomous security analysis and penetration testing)模型。该模型由训练数据构建和模型训练两部分构成。在训练数据构建阶段,采用攻击图对目标网络进行威胁建模,将网络中存在的漏洞和攻击者可能的攻击路径转化为节点、边,随后结合CVSS(commonvulnerabilityscoringsystem)漏洞信息库构建对应的“状态-动作”转移矩阵,用以描述攻击者在不同状态下的攻击行为和转移概率,并全面反映攻击者的攻击能力和网络的安全状况。为进一步降低计算复杂度,创新性地使用深度优先搜索算法对转移矩阵进行简化,查找并保留所有能达到最终目标的攻击路径,以便于后续模型训练。在模型训练阶段,使用基于DqN的深度强化学习算法对渗透测试中的最优攻击路径进行确定,该算法通过不断与环境交互、更新q值函数,从而逐步优化攻击路径选择。仿真结果表明,ASAPT模型在最优路径寻找方面准确率可达84%,收敛速度快,并且在面对大规模网络环境时,相较于传统q学习具有更好的适应性,能够为实际的渗透测试提供指导。

关键词：自动化渗透测试强化学习攻击图深度Q学习网络

在线全文

学校读者我要写书评

暂无评论

基于DqN变动力智能决策的轨迹规划

兵工学报 2024年

作者：梅泽伟李天任朱佳琳邵星灵丁天雲刘俊中北大学电气与控制工程学院中国运载火箭技术研究院研究发展中心中北大学仪器科学与动态测试教育部重点实验室中北大学仪器与电子学院

针对航天飞行器气动力不足难以维持应急侧向操纵确保安全避开障碍物的问题，提出了一种基于深度Q学习网络（Deep q-learning Network， DqN）变动力智能决策的轨迹规划方法。根据变动力航天飞行器运动学方程，设计了基于航程误差的纵向... 详细信息

针对航天飞行器气动力不足难以维持应急侧向操纵确保安全避开障碍物的问题，提出了一种基于深度Q学习网络（Deep q-learning Network， DqN）变动力智能决策的轨迹规划方法。根据变动力航天飞行器运动学方程，设计了基于航程误差的纵向制导律和考虑避开障碍物的横侧向制导律，用于实时校正倾侧角的幅值和符号，保证终端制导精度和绕飞安全性。从变动力智能决策层面出发，将航天飞行器动力档位调节问题转化为马尔可夫决策过程，以攻角、马赫数以及航天飞行器与障碍物的相对距离为状态空间，以航天飞行器动力档位为动作空间，设计考虑碰撞概率和终端约束偏差的奖励函数，构建DqN网络对智能体进行训练，以得到最佳动力档位。仿真结果表明：所提算法可以赋能航天飞行器在满足终端约束条件下提升运动过程的横向避障能力。

关键词：航天飞行器深度Q学习网络变动力智能决策轨迹规划

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

考虑多粒度反馈的多轮对话强化学习推荐算法

计算机应用 2023年第1期43卷 15-21页

作者：姚华勇叶东毅陈昭炯福州大学计算机与大数据学院福州350108

多轮对话推荐系统(CRS)以交互的方式获取用户的实时信息,相较于基于协同过滤等的传统推荐方法能够取得更好的推荐效果。然而现有的CRS存在用户偏好捕获不够准确、对话轮数要求过多以及推荐时机不恰当等问题。针对这些问题,提出一种基于... 详细信息

多轮对话推荐系统(CRS)以交互的方式获取用户的实时信息,相较于基于协同过滤等的传统推荐方法能够取得更好的推荐效果。然而现有的CRS存在用户偏好捕获不够准确、对话轮数要求过多以及推荐时机不恰当等问题。针对这些问题,提出一种基于深度强化学习且考虑用户多粒度反馈信息的对话推荐算法。不同于现有的CRS,所提算法在每轮对话中同时考虑用户对商品本身以及更细粒度的商品属性的反馈,然后根据收集的多粒度反馈对用户、商品和商品属性特征进行在线更新,并借助深度Q学习网络(DqN)算法分析每轮对话后的环境状态,从而帮助系统作出较为恰当合理的决策动作,使它能够在比较少的对话轮次的情况下分析用户购买商品的原因,更全面地挖掘用户的实时偏好。与对话路径推理(SCPR)算法相比,在Last. fm真实数据集上,算法的15轮推荐成功率提升了46.5%,15轮推荐轮次上缩短了0.314轮;在Yelp真实数据集上,算法保持了相同水平的推荐成功率,但在15轮推荐轮次上缩短了0.51轮。

关键词：多轮对话推荐系统反馈信息深度Q学习网络偏好挖掘多粒度

基于深度强化学习的激励型需求响应决策优化模型

在线全文

学校读者我要写书评

暂无评论

电力系统自动化 2021年第14期45卷 97-103页

作者：徐弘升陆继翔杨志宏李昀陆进军黄华南瑞集团有限公司(国网电力科学研究院有限公司) 江苏省南京市211106 智能电网保护与运行控制国家重点实验室江苏省南京市211106

随着中国电力市场化改革的推进,售电侧市场逐步开放,售电商可以聚合大量的分散负荷参与电力市场环境下的需求响应。文中提出以售电商和用户综合收益最大化为目标的基于深度强化学习的激励型需求响应建模和求解方法。首先,建立售电商和... 详细信息

随着中国电力市场化改革的推进,售电侧市场逐步开放,售电商可以聚合大量的分散负荷参与电力市场环境下的需求响应。文中提出以售电商和用户综合收益最大化为目标的基于深度强化学习的激励型需求响应建模和求解方法。首先,建立售电商和用户的需求响应模型,通过引入时间-价格弹性,改进现有的用户响应模型,考虑用户对相邻时段补贴价格差的反应。然后,基于马尔可夫决策过程框架构建补贴价格决策优化模型,并设计基于深度Q学习网络的求解算法。最后,以1个售电商和3个不同类型的用户为例进行仿真计算,通过分析算法收敛性和对比不同模型及参数下的优化结果,验证了改进模型的合理性和生成策略的有效性,并分析了激励型需求响应对售电商以及用户的影响。

关键词：激励型需求响应价格弹性系数深度强化学习深度Q学习网络

在线全文

学校读者我要写书评

暂无评论

基于深度强化学习的V2V资源分配研究

基于深度强化学习的V2V资源分配研究

作者：杨成诚南京林业大学

学位级别：硕士

近年来,随着新能源汽车的不断普及与发展,加上原有的汽油车数量,汽车总量不断攀升,这给交通出行和人身安全带来了巨大的挑战。为了解决这类安全问题,车联网应运而生,随着车联网的技术不断完善,蜂窝车联网(Cellular Vehicle-to-Everythin... 详细信息

近年来,随着新能源汽车的不断普及与发展,加上原有的汽油车数量,汽车总量不断攀升,这给交通出行和人身安全带来了巨大的挑战。为了解决这类安全问题,车联网应运而生,随着车联网的技术不断完善,蜂窝车联网(Cellular Vehicle-to-Everything,C-V2X)成为主流。其中车辆对车辆(Vehicle-to-Vehicle,V2V)通信是车联网中最重要的一环,V2V主要是基于设备到设备(Device-to-Device,D2D)技术进行直接通信。V2V通信的数量是庞大的,如果单独设定频段会造成频谱资源紧张,为了节约现有的频谱资源,本文考虑V2V通信复用蜂窝网络当中的上行链路进行通信,在车联网环境中蜂窝用户等价于车辆到基础设施(Vehicle-to-Infrastructure,V2I)。因此,需要资源分配来让V2V链路选择复用的V2I链路的子带,选择合适的发射功率,满足V2I通信和V2V通信的要求。由于车辆的移动性,集中式的资源分配很难保证通信要求,本文基于深度强化学习设计了分布式的资源分配算法,每个车辆都是一个智能体(Agent),根据环境来选择奖励最大化的子带与传输功率。假设所有的V2I链路都是预先分配好的,V2V通信的场景考虑了城市街区与高速公路。在城市街区场景下,首先对资源分配问题建模,结合车辆行驶方向进行分组,划分为四个独立的资源池,再使用基于深度Q学习网络(Deep q-Network,DqN)算法对V2V通信进行资源分配。对于DqN算法的经验回放设定了一种加权回放机制,设计了四层全连接神经网络结构,使用Adam算法对网络优化。经过DqN算法训练后,每个V2V车辆都是独立的智能体,通过与环境进行交互,智能体会选择最大化V2I速率和满足V2V通信要求的动作。仿真分析不同车辆总数和不同车速下,使用不同算法的结果,DqN算法比对了q-learnning算法与随机分配算法。结果表明,即使在车辆总数最大和车速最高的情况下,运用DqN算法能够更好地保证V2I链路的速率和V2V链路的速率,减轻V2V链路复用V2I链路所带来的干扰。在高速公路场景下,由于车辆在高速上的移动速度较快,环境随时都在变化,导致V2V通信会频繁切换,这给V2V通信提出了更高的要求。同样的,V2I链路是预先分配好的,基于车辆行驶方向进行分组,划分为两个独立的资源池。但是,V2V的通信的动作应该被认为是连续性动作,所以本文使用演员-评论家(Actor-Critic)框架,基于深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法对V2V通信进行资源分配。分别设计了Actor和Critic网络的结构,给出了参数设置,在策略网络中加入了高斯噪声。在仿真中,比较了DDPG算法与DqN算法的收敛过程。比对了不同车速和不同车辆总数下的结果,随着车辆速度的增加,会导致车辆通信数据包的丢失,比对了在不同有效负载下,V2V通信成功传递的交付率。结果表明,即使车速达到了120km/h的情况下,DDPG算法依然能够最大化V2I链路的总速率,同时保证V2V链路的传输可靠性要求,传输负载的能力也比其他算法高出很多。

关键词：蜂窝车联网 V2V资源分配深度强化学习深度Q学习网络深度确定性策略梯度

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度强化学习的交通信号灯配时方法研究

基于深度强化学习的交通信号灯配时方法研究

作者：吴元明河南工业大学

学位级别：硕士

汽车数量不断增长导致的交通拥堵是目前智慧交通研究领域需要解决的一个严峻问题。十字路口是各方向车辆的聚集处,合理分配交通信号灯的配时方案是影响交通状况的一个重要因素。因此,我们需要交通信号灯能够学会与交通环境互动得到合理... 详细信息

汽车数量不断增长导致的交通拥堵是目前智慧交通研究领域需要解决的一个严峻问题。十字路口是各方向车辆的聚集处,合理分配交通信号灯的配时方案是影响交通状况的一个重要因素。因此,我们需要交通信号灯能够学会与交通环境互动得到合理的配时方案,根据十字路口的实时车流量调整信号灯的配时方案可大大降低车辆的等待时间、延误时间和排队数量。深度强化学习因其具有强大的感知能力和决策能力而成为解决交通信号灯配时问题的有效方法。然而,由于外部环境扰动、内部参数波动、模型结构缺陷和策略机制不同等原因,导致深度强化学习模型存在参数不确定、敛散性和探索能力较差等问题,限制了其在交通信号灯配时系统的进一步发展。基于此,本文的主要工作内容及具体研究成果如下:(1)针对深度Q学习网络(Deep q-learning Network,DqN)应用于单路口交通环境中存在的参数不确定性问题,提出了一种DqN与扩展卡尔曼滤波(Extended Kalman Filter,EKF)相结合(DqN-EKF)的单路口交通信号灯配时方法。该方法以估计网络的不确定性参数值作为状态变量,包含不确定性参数的目标网络值作为观测变量,结合过程噪声、包含不确定性参数的估计网络值和系统观测噪声构造EKF系统方程,通过EKF的迭代更新求解,得到DqN模型中真实参数的最优估计值,从而解决DqN在单路口交通环境中配时策略不佳的问题,提升配时系统的性能。实验结果表明,该方法适用于不同的交通场景和不同的交通流,并能够解决DqN模型中的参数不确定性问题,从而优化配时策略得到最优配时方案以缓解交通拥堵。(2)针对多数深度强化学习应用于多路口交通环境中存在的敛散性和探索能力较差等问题,提出一种基于柔性动作-评判(Soft Actor-Critic,SAC)的多路口交通信号灯配时方法。SAC是在传统强化学习的目标函数中增加一个衡量策略随机性的熵值项,并最大化累计期望奖励和熵值项以提高模型的探索能力,使系统模型能够学习多个最优配时方案,避免反复选择同一配时方案而陷入局部最优或无法收敛。同时放弃低奖励值策略,减少数据存储量,降低采样的复杂度,进而加快训练速度,使SAC能够适用于高度动态的交通环境。通过对比实验结果表明,该方法可以有效地解决多数深度强化学习算法探索能力不足和敛散性较差的问题,增强了系统的稳定性,并有效提高车辆的通行效率。

关键词：交通信号灯配时方法深度强化学习深度Q学习网络扩展卡尔曼滤波柔性动作-评判

环境感知信息辅助的认知雷达波形参数智能选择

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

信号处理 2021年第2期37卷 186-198页

作者：王鹏峥李杨张宁哈尔滨工业大学电子工程技术研究所黑龙江哈尔滨150001 对海探测与信息处理工业和信息化部重点实验室黑龙江哈尔滨150001

现代雷达往往需要在复杂多变的电磁环境中完成多种任务。如何提升雷达的智能化水平,使其能够适应环境变化和任务需求,已成为近年来备受关注的研究课题。本文针对杂波环境下机动目标检测与跟踪的性能优化问题,提出了一种基于环境感知的... 详细信息

现代雷达往往需要在复杂多变的电磁环境中完成多种任务。如何提升雷达的智能化水平,使其能够适应环境变化和任务需求,已成为近年来备受关注的研究课题。本文针对杂波环境下机动目标检测与跟踪的性能优化问题,提出了一种基于环境感知的雷达波形参数智能调度算法。基于最大信噪比准则和最小均方误差准则设计了奖励函数,并利用q学习与深度Q学习网络进行了训练,通过雷达与环境的交互,充分利用环境中多帧杂波信息,可有效避免由于模糊导致的杂波遮蔽问题,提升目标信噪比和跟踪精度。机载雷达仿真实验结果表明,在杂波环境下对机动目标检测和跟踪过程中,本文提出的环境感知信息辅助的波形智能选择方案可获得比传统启发式算法更高的处理效率和更大的性能改善。

关键词：杂波环境感知认知雷达机载雷达机动目标跟踪目标检测 q学习深度Q学习网络

环境感知信息辅助的认知雷达波形参数智能选择

在线全文

学校读者我要写书评

暂无评论

信号处理 2021年

作者：李杨王鹏峥张宁哈尔滨工业大学电子工程技术研究所对海探测与信息处理工业和信息化部重点实验室

现代雷达往往需要在复杂多变的电磁环境中完成多种任务。如何提升雷达的智能化水平，使其能够适应环境变化和任务需求，已成为近年来备受关注的研究课题。本文针对杂波环境下机动目标检测与跟踪的性能优化问题，提出了一种基于环境感知... 详细信息

现代雷达往往需要在复杂多变的电磁环境中完成多种任务。如何提升雷达的智能化水平，使其能够适应环境变化和任务需求，已成为近年来备受关注的研究课题。本文针对杂波环境下机动目标检测与跟踪的性能优化问题，提出了一种基于环境感知的雷达波形参数智能调度算法。基于最大信噪比准则和最小均方误差准则设计了奖励函数，并利用q学习与深度Q学习网络进行了训练，通过雷达与环境的交互，充分利用环境中多帧杂波信息，可有效避免由于模糊导致的杂波遮蔽问题，提升目标信噪比和跟踪精度。机载雷达仿真实验结果表明，在杂波环境下对机动目标检测和跟踪过程中，本文提出的环境感知信息辅助的波形智能选择方案可获得比传统启发式算法更高的处理效率和更大的性能改善。

关键词：杂波环境感知认知雷达机载雷达机动目标跟踪目标检测 q学习深度Q学习网络