检索结果-南通市图书馆

同方期刊数据库

多智能体深度强化学习驱动的跨园区能源交互优化调度

在线全文

学校读者我要写书评

暂无评论

电力建设 2024年第5期45卷 59-70页

作者：李扬马文捷卜凡金杨震王彬韩猛东北电力大学电气工程学院吉林省吉林市132012 国网淄博供电公司山东省淄博市255022 国网北京市电力公司北京市100032 国网济宁供电公司山东省济宁市272000

为协调多园区综合能源系统各个园区之间的能量交互,多能源子系统之间的能源转换,实现综合能源系统整体优化调度,提出一种利用多智能体深度强化学习算法学习不同园区的负荷特征,并在此基础上进行决策的综合调度模型。该模型将多园区综合... 详细信息

为协调多园区综合能源系统各个园区之间的能量交互,多能源子系统之间的能源转换,实现综合能源系统整体优化调度,提出一种利用多智能体深度强化学习算法学习不同园区的负荷特征,并在此基础上进行决策的综合调度模型。该模型将多园区综合能源系统的调度问题转化为马尔科夫决策过程,并利用深度强化学习算法进行求解,避免了对多园区、多能源子系统之间复杂的能量耦合关系进行建模。仿真结果表明,所提方法可以很好地捕捉到不同园区的负荷特性,并利用其中的互补特性协调不同园区之间进行合理的能量交互,可以实现弃风率由16.3%降低至0,并可以使总运行成本降低5445.6元,具有良好的经济效益和环保效益。

关键词：多智能体深度强化学习综合能源系统优化调度可再生能源消纳负荷特征学习多园区能量交互

基于多智能体深度强化学习的多船协同避碰策略

在线全文

学校读者我要写书评

暂无评论

计算机集成制造系统 2024年第6期30卷 1972-1988页

作者：黄仁贤罗亮武汉理工大学高性能舰船技术教育部重点实验室湖北武汉430064 武汉理工大学船海与能源动力工程学院湖北武汉430064 武汉理工大学三亚科教创新园海南三亚572019

为了提高多船会遇时智能避碰策略的协同性、安全性、实用性和节能性,在中心化训练去中心化执行框架下,结合优先经验回放机制提出一种多智能体Softmax深层双确定性策略梯度PER-MASD3算法,用于解决多船协同避碰问题,该算法不仅解决了双延... 详细信息

为了提高多船会遇时智能避碰策略的协同性、安全性、实用性和节能性,在中心化训练去中心化执行框架下,结合优先经验回放机制提出一种多智能体Softmax深层双确定性策略梯度PER-MASD3算法,用于解决多船协同避碰问题,该算法不仅解决了双延迟确定策略梯度(TD3)算法存在的值估计偏差问题,还在模型训练过程中引入熵正则项,以促进探索和控制随机控制策略,采用自适应噪声对不同阶段的任务进行有效探索,进一步提升了算法的学习效果和稳定性。通过实验验证,所提算法在解决多船协同避碰问题上具有较好的决策效果、更快的收敛速度和更稳定的性能。

关键词：多智能体深度强化学习协同避碰中心化训练去中心化执行优先经验回放多智能体Softmax深层双确定性策略梯度

基于多智能体深度强化学习的高速公路可变限速协同控制方法

在线全文

学校读者我要写书评

暂无评论

同济大学学报（自然科学版） 2024年第7期52卷 1089-1098页

作者：余荣杰徐灵章锐辞同济大学道路与交通工程教育部重点实验室上海201804 浙江杭绍甬高速公路有限公司浙江杭州310000

面向高速公路多路段可变限速协同控制需求,针对高维参数空间高效训练寻优难题,提出了应用多智能体深度确定性策略梯度(MADDPG)算法的高速公路可变限速协同控制方法。区别于既有研究的单个智能体深度确定性策略梯度(DDPG)算法,MADDPG将... 详细信息

面向高速公路多路段可变限速协同控制需求,针对高维参数空间高效训练寻优难题,提出了应用多智能体深度确定性策略梯度(MADDPG)算法的高速公路可变限速协同控制方法。区别于既有研究的单个智能体深度确定性策略梯度(DDPG)算法,MADDPG将每个管控单元抽象为具备Actor-Critic强化学习架构的智能体,在算法训练过程中共享各智能体的状态、动作信息,使得各智能体具备推测其余智能体控制策略的能力,进而实现多路段协同控制。基于开源仿真软件SUMO,在高速公路典型拥堵场景对提出的控制方法开展管控效果验证。实验结果表明,提出的MADDPG算法降低了拥堵持续时间和路段运行速度标准差,分别减少69.23%、47.96%,可显著提高交通效率与安全。对比单智能体DDPG算法,MADDPG可节约50%的训练时间并提高7.44%的累计回报值,多智能体算法可提升协同控制策略的优化效率。进一步,为验证智能体间共享信息的必要性,将MADDPG与独立多智能体DDPG(IDDPG)算法进行对比:相较于IDDPG,MADDPG可使拥堵持续时间、速度标准差均值的改善提升11.65%、19.00%。

关键词：交通工程可变限速协同控制多智能体深度强化学习交通拥堵高速公路交通效率交通安全

基于优势函数分解多智能体深度强化学习的电力系统暂态稳定预防控制方法

在线全文

学校读者我要写书评

暂无评论

电网技术 2024年

作者：牛哲文冀岳李柏堉党志芳武宇翔韩肖清电力系统运行与控制山西省重点实验室(太原理工大学)

传统暂态稳定预防控制方法求解复杂、运算时间长，难以满足现阶段新型电力系统预防控制的策略高准确性与实时性的要求。针对以上问题，提出了一种基于优势函数分解多智能体强化学习的电力系统暂态稳定预防控制方法。该方法以发电机调整... 详细信息

传统暂态稳定预防控制方法求解复杂、运算时间长，难以满足现阶段新型电力系统预防控制的策略高准确性与实时性的要求。针对以上问题，提出了一种基于优势函数分解多智能体强化学习的电力系统暂态稳定预防控制方法。该方法以发电机调整总量最小为目标，考虑电力系统暂态稳定运行的多种约束，将分散式资源调控问题转变为多智能体的分布式协同优化问题进行求解，分区独立地给出最优的暂态稳定预防控制动作。针对分区控制导致智能体观测视野受限而引发的优化方向混乱、收敛速度降低的问题，引入优势函数分解定理，提高单个智能体的全局观察能力，使其在接收局部区域信息的情况下，仍能够广泛地探索环境并在学习中较稳定地提升策略网络效果。此外，本文采用柔性动作–评价强化学习算法，引入最大熵的概念以进一步增强多智能体方法的鲁棒性和探索能力。最后，在 IEEE 39节点系统与某省级电网系统中验证了所提方法在暂态稳定预防控制决策中的有效性。

关键词：暂态稳定预防控制优势函数分解深度学习多智能体深度强化学习

基于多智能体深度强化学习的配电网双时间尺度电压控制策略研究

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

南方电网技术 2024年

作者：赵晶晶张超立王涵盛杰上海电力大学电气工程学院

风电、光伏在新型电力系统中的渗透率日益增加，使得配电网电压波动加剧，而储能(energy storage，ES)、电动汽车(electric vehicles，EV)对降低配电网电压波动有重要作用。与此同时，智能电表、智能传感器以及改进的通信网络广泛部署... 详细信息

风电、光伏在新型电力系统中的渗透率日益增加，使得配电网电压波动加剧，而储能(energy storage，ES)、电动汽车(electric vehicles，EV)对降低配电网电压波动有重要作用。与此同时，智能电表、智能传感器以及改进的通信网络广泛部署，可获取的数据量越来越大，数据驱动技术兴起。本文提出一种多智能体深度强化学习(multi-agent deep reinforcement learning，MADRL)的配电网双时间尺度有功-无功协调电压控制策略。慢时间尺度下，用双深度Q网络算法(DDQN)求解电容器组(capacitor banks，CBs)、有载调压变压器(on-line tap changer，OLTC)与ES有功无功优化问题。快时间尺度下，用具有注意力机制的经验增强多智能体柔性参与者-评论家算法(EA-MASAC)调节光伏(photovoltaics，PV)、风机(wind turbine，WT)、静止无功补偿装置(static var compensator，SVC)的无功与EV的有功。最后，在IEEE-33节点系统上验证了本文方法的有效性。

关键词：数据驱动多智能体深度强化学习双时间尺度电压控制有功无功功率优化

基于优势函数分解的多智能体深度强化学习电力系统暂态稳定预防控制方法

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

电网技术 2024年

作者：牛哲文冀岳李柏堉党志芳武宇翔韩肖清电力系统运行与控制山西省重点实验室(太原理工大学)

关键词：暂态稳定预防控制优势函数分解深度学习多智能体深度强化学习

基于多智能体深度强化学习的SD-IoT控制器部署

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机工程 2024年

作者：吕超峰徐鹏飞罗迪刘金平湖南师范大学信息科学与工程学院张家界航空工业职业技术学院

物联网中激增的流量，影响了传感器等设备的数据传输。利用软件定义网络技术，可以优化网络性能，提高数据传输质量。然而，物联网中流量等网络状态的不断变化会影响软件定义网络控制平面的性能。本文研究了软件定义物联网中的动态控制... 详细信息

物联网中激增的流量，影响了传感器等设备的数据传输。利用软件定义网络技术，可以优化网络性能，提高数据传输质量。然而，物联网中流量等网络状态的不断变化会影响软件定义网络控制平面的性能。本文研究了软件定义物联网中的动态控制器部署问题，以在流量变化时保证控制平面性能。考虑到物联网节点的能耗以及数据传输的特点，在部署控制器时，综合考虑延迟、控制可靠性以及能耗的影响，并将该问题构建为马尔科夫博弈过程。为了同时兼顾单一控制器性能以及控制平面整体性能，采用多智能体深度强化学习求解该问题。在部署阶段利用动作掩码屏蔽部分节点，避免将控制器部署在性能不足或者供能不方便的节点。仿真实验表明，本文所提算法可以更好的找到高性能的部署方案。

关键词：软件定义物联网控制器部署多智能体深度强化学习动作掩码马尔科夫博弈

基于值函数分解的多智能体深度强化学习方法研究综述

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机科学 2024年第S1期51卷 22-30页

作者：高玉钊聂一鸣军事科学院国防科技创新研究院北京100071

多智能体深度强化学习方法是深度强化学习方法在多智能体问题上的扩展,其中基于值函数分解的多智能体深度强化学习方法取得了较好的表现效果,是目前研究和应用的热点。文中介绍了基于值函数分解的多智能体深度强化学习方法的主要原理和... 详细信息

多智能体深度强化学习方法是深度强化学习方法在多智能体问题上的扩展,其中基于值函数分解的多智能体深度强化学习方法取得了较好的表现效果,是目前研究和应用的热点。文中介绍了基于值函数分解的多智能体深度强化学习方法的主要原理和框架;根据近期相关研究,总结出了提高混合网络拟合能力问题、提高收敛效果问题和提高算法可扩展性问题3个研究热点,从算法约束、环境复杂度、神经网络限制等方面分析了3个热点问题产生的原因;根据拟解决的问题和使用的方法对现有研究进行了分类梳理,总结了同类方法的共同点,分析了不同方法的优缺点;对基于值函数分解的多智能体深度强化学习方法在网络节点控制、无人编队控制两个热点领域的应用进行了阐述。

关键词：多智能体深度强化学习值函数分解拟合能力收敛效果可扩展性

基于多智能体深度强化学习的陶瓷梭式窑群温度智能控制方法研究

在线全文

学校读者我要写书评

暂无评论

基于多智能体深度强化学习的陶瓷梭式窑群温度智能控制方法研究

作者：余英剑景德镇陶瓷大学

学位级别：硕士

在当前的陶瓷生产行业中,陶瓷梭式窑的应用十分广泛。它为陶瓷产品的烧制提供了场所,控制其窑内温度对于陶瓷产品的质量至关重要。然而,在当前陶瓷梭式窑的烧制过程中,许多陶瓷梭式窑温度还需要进行手动操控和调节,控制方法落后。为了... 详细信息

在当前的陶瓷生产行业中,陶瓷梭式窑的应用十分广泛。它为陶瓷产品的烧制提供了场所,控制其窑内温度对于陶瓷产品的质量至关重要。然而,在当前陶瓷梭式窑的烧制过程中,许多陶瓷梭式窑温度还需要进行手动操控和调节,控制方法落后。为了提升梭式窑生产自动化水平以提高产品质量和生产效率,研究先进的梭式窑温度智能控制显得尤其重要。因此,本文在前人研究的基础上,引入基于多智能体深度强化学习方法,针对梭式窑群提出了基于多智能体深度强化学习的陶瓷梭式窑群智能控制方法。本文的主要工作和创新点如下:1.以景德镇某陶瓷公司的陶瓷梭式窑作为具体研究对象,简述了其结构及烧成制度,经过对比研究后,确定以温度制度作为研究的主要制度。根据相关的物理学知识,结合三项边界条件建立陶瓷坯体传热方程,通过拟合确定陶瓷梭式窑烧成最佳升温曲线。2.给出了BP神经网络及LSTM网络基本结构和算法,并提出了两种网络算法的优化方法。根据陶瓷梭式窑非线性、强耦合及大迟滞性的特点,基于这两种优化网络对陶瓷梭式窑进行预测建模,通过仿真检验模型的效果。实验结果表明,基于LSTM网络的陶瓷梭式窑预测模型比基于BP神经网络陶瓷梭式窑的预测模型绝对误差更小且模型泛化能力更强。3.提出了基于多智能体深度强化学习陶瓷梭式窑群温度智能控制方法。将多智能体MADDPG算法应用于两个陶瓷梭式窑群的控制,并开展了仿真实验研究。在实验中,比较所提出的控制方法与传统的PID控制方法对陶瓷梭式窑的温度控制效果。结果表明所提出的方法不但温度跟踪性能更好,且可以同时较好地控制两个陶瓷梭式窑的升温曲线,因而表明所提出的方法有效可行。

关键词：陶瓷梭式窑多智能体深度强化学习深度神经网络 MADDPG算法智能控制