检索结果-南通市图书馆

基于深度强化学习的含高比例可再生能源配电网就地分散式电压管控方法

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

电力系统保护与控制 2022年第22期50卷 100-109页

作者：徐博涵向月潘力方梦秋彭光博刘友波刘俊勇四川大学电气工程学院四川成都610065

含有可再生能源并网的区域电网存在通信条件差、量测设备不足、不同节点的电压管控设备难以协同等问题,因此提出一种基于深度强化学习的分散式就地电压管控方法。该方法首先将缺少量测数据的电压管控问题转化为部分可观的马尔科夫决策问... 详细信息

含有可再生能源并网的区域电网存在通信条件差、量测设备不足、不同节点的电压管控设备难以协同等问题,因此提出一种基于深度强化学习的分散式就地电压管控方法。该方法首先将缺少量测数据的电压管控问题转化为部分可观的马尔科夫决策问题,构建了以网络损耗最小为优化目标的多智能体分散式电压管控框架。然后采用多智能体深度确定性策略梯度算法对智能体进行离线训练,并使用训练完成的智能体进行在线电压管控。最后,基于改进的IEEE33节点系统进行了算例仿真和分析。结果表明,各智能体可以根据各自节点的电气信息求解出近似的全局最优解。

关键词：多智能体电压管控量测数据不足多智能体深度确定性策略梯度算法

基于多智能体深度强化学习的电热联合系统优化运行

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

电网技术 2021年第12期45卷 4729-4737页

作者：董雷刘雨乔骥王新迎王春斐蒲天骄华北电力大学电气与电子工程学院北京市昌平区102206 中国电力科学研究院有限公司北京市海淀区100192

电热联合系统优化调度问题对于实现系统的能源互补、经济运行具有重要意义。电热联合系统优化运行涉及非线性、非凸、多目标问题求解,传统方法在计算实时性与迭代收敛性等方面存在困难。文章首先构建电热联合系统优化数学模型,将电热联... 详细信息

电热联合系统优化调度问题对于实现系统的能源互补、经济运行具有重要意义。电热联合系统优化运行涉及非线性、非凸、多目标问题求解,传统方法在计算实时性与迭代收敛性等方面存在困难。文章首先构建电热联合系统优化数学模型,将电热联合系统按照不同利益主体划分为多智能体,基于多智能体深度确定性策略梯度强化学习算法,建立了适用于电热联合系统的行动器-评判器框架,将优化模型转化为强化学习模型。其次对智能体进行了状态与动作空间的划分,搭建多智能体强化学习环境并设计相应的奖励函数。最后进行电热联合系统算例验证,表明所提方法可以有效解决电热联合系统优化问题。训练后的多智能体强化学习模型可实时生成优化策略,克服传统方法运算时间长、难以满足在线计算要求的问题;和单智能体算法相比,模型训练过程更易稳定收敛,执行过程中各智能体仅依赖局部信息完成计算,解决不同利益主体的数据共享问题。

关键词：电热联合系统优化调度多智能体深度确定性策略梯度算法深度强化学习

深度强化学习驱动的双馈抽蓄抽水工况下调频控制

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

电力系统及其自动化学报 2023年第12期35卷 59-70页

作者：劳文洁史林军李杨吴峰林克曼河海大学能源与电气学院南京210098

为改善新型电力系统的频率特性,利用抽水工况下双馈抽水蓄能机组功率可调的特点,提出基于多智能体深度确定性策略梯度算法的系统频率控制方法。首先,基于抽水工况下双馈抽水蓄能的频率控制策略,构建多能互补系统的频率控制模型;其次,以... 详细信息

为改善新型电力系统的频率特性,利用抽水工况下双馈抽水蓄能机组功率可调的特点,提出基于多智能体深度确定性策略梯度算法的系统频率控制方法。首先,基于抽水工况下双馈抽水蓄能的频率控制策略,构建多能互补系统的频率控制模型;其次,以提高各区域控制性能标准指标为目标,利用改进的多智能体深度确定性策略梯度算法优化各机组的自动发电控制指令。算例分析表明,抽水工况下双馈抽水蓄能参与调频可显著改善系统的频率特性,且所提频率控制方法的鲁棒性和可靠性优于传统控制。

关键词：调频双馈抽水蓄能机组多智能体深度确定性策略梯度算法多能互补系统控制性能标准

基于多智能体深度强化学习的无人艇集群博弈对抗研究

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

水下无人系统学报 2024年第1期32卷 79-86页

作者：于长东刘新阳陈聪刘殿勇梁霄大连海事大学人工智能学院辽宁大连116026 哈尔滨工程大学智能海洋航行器技术全国重点实验室黑龙江哈尔滨150001 大连海事大学船舶与海洋工程学院辽宁大连116026

基于未来现代化海上作战背景,提出了利用多智能体深度强化学习方案来完成无人艇群博弈对抗中的协同围捕任务。首先,根据不同的作战模式和应用场景,提出基于分布式执行的多智能体深度确定性策略梯度算法,并对其原理进行了介绍;其次,模拟... 详细信息

基于未来现代化海上作战背景,提出了利用多智能体深度强化学习方案来完成无人艇群博弈对抗中的协同围捕任务。首先,根据不同的作战模式和应用场景,提出基于分布式执行的多智能体深度确定性策略梯度算法,并对其原理进行了介绍;其次,模拟具体作战场景平台,设计多智能体网络模型、奖励函数机制以及训练策略。实验结果表明,文中方法可以有效应对敌方无人艇的协同围捕决策问题,在不同作战场景下具有较高的效率,为未来复杂作战场景下无人艇智能决策研究提供理论参考价值。

关键词：无人艇集群多智能体深度确定性策略梯度算法深度强化学习智能决策博弈对抗

基于多智能体深度强化学习的多星观测任务分配方法

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

上海航天（中英文） 2024年第1期41卷 108-115页

作者：王桢朗何慧群周军金云飞上海卫星工程研究所上海201109 上海航天技术研究院上海201109

为应对多星环境中复杂多约束条件下的任务分配场景,提出一种多星自主决策观测任务分配算法,该算法采用基于集中式训练、分布式执行的多智能体深度强化学习算法。通过这种方式训练后的卫星智能体,即使在没有中心决策节点或通信受限的情况... 详细信息

为应对多星环境中复杂多约束条件下的任务分配场景,提出一种多星自主决策观测任务分配算法,该算法采用基于集中式训练、分布式执行的多智能体深度强化学习算法。通过这种方式训练后的卫星智能体,即使在没有中心决策节点或通信受限的情况下,仍具有一定的自主协同能力及独立实现多星观测任务的高效分配能力。

关键词：多智能体系统深度强化学习多星系统多智能体深度确定性策略梯度算法任务规划

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于深度强化学习的交通信号控制方法研究

基于深度强化学习的交通信号控制方法研究

作者：冯聪东华大学

学位级别：硕士

当下,日益严重的交通拥堵问题制约着我国许多城市经济与环境的可持续发展。交通信号控制是改变交通流量的主要方法,交通流量的优化可以提高道路通行能力,进而缓解交通拥堵。因此,交通信号控制方法的研究和实现具有重要的现实意义。人工... 详细信息

当下,日益严重的交通拥堵问题制约着我国许多城市经济与环境的可持续发展。交通信号控制是改变交通流量的主要方法,交通流量的优化可以提高道路通行能力,进而缓解交通拥堵。因此,交通信号控制方法的研究和实现具有重要的现实意义。人工智能的变革式发展给交通信号控制方法的研究和实现带来了更好的解决思路。深度强化学习具有数据驱动、无模型、自学习的特征。使用深度强化学习求解交通信号的控制问题无需考虑交通系统的内部机理,不仅降低了问题求解难度,也能够更好地适应不同交通场景。随着多智能体强化学习的出现和发展,基于深度强化学习的区域信号控制全局优化正在取代单路口信号控制局部优化,成为新的研究热点。本文深入研究了深度强化学习及其在交通信号控制中的应用,提出并实现了一种基于多智能体深度确定性策略梯度的周期式信号控制（MADDPG-TCS）算法。该算法能够有效且稳定地控制交通信号,进而改善交通拥堵问题。本文的主要工作内容如下:首先,本文使用基于车辆的状态信息,以提高道路通行能力、缓解交通拥堵为目标,对每个交叉口迭代学习交通信号的相位时长,构建了应用于周期式信号控制的强化学习模型。该模型能够很好地适用于当前以雷达探测和视频检测为主要交通数据收集源的现状。其次,本文定义了使用信号相位差的协同动作,并考虑交叉口在交通层面上的耦合关系,将区域道路网络抽象成无向图,进而可以仅对当前交叉口共享有道路相连的交叉口信息。以此解决了多智能体深度确定性策略梯度算法直接应用于区域交通周期式信号控制的过程中存在的以下问题:（1）区域内的不同智能体对交叉口下发信号控制方案的时间是不同步的;（2）区域内交叉口的数量越多,智能体获取的数据维度就越高,同时其它交叉口的信息对智能体的影响也越大,算法难以收敛。最后,为验证算法性能,本文在交通仿真软件SUMO上对含有三个同构交叉口的区域进行设计并实现了区域交通信号控制的仿真实验。为切实提高算法的训练效率,本文对算法的训练过程进行忽略初始时间步数据、调整采样和更新步调以及并行实现仿真环境的优化。本文通过算法实现和对比分析,得出了以下结论:（1）MADDPG-TCS算法在训练过程中很好地平衡了每个智能体策略的探索和利用,有较好的收敛性和稳定性;（2）MADDPG-TCS算法可以充分利用协同路口的信息;（3）相较于原始定时方法和Webster配时方法,MADDPG-TCS算法在车辆排队长度和车辆延误时间这两个对比指标上均有显著提升。

关键词：深度强化学习多智能体深度确定性策略梯度算法交通信号控制

基于深度强化学习的多机器人路径规划方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度强化学习的多机器人路径规划方法研究

作者：贾思雨哈尔滨工程大学

学位级别：硕士

论文以多台Turtlebot3机器人组成的多机器人系统为研究对象,研究了多机器人系统的路径规划方法。论文选用具有感知能力和决策能力的深度强化学习框架来设计多机器人路径规划算法,从而为今后多机器人系统协作完成复杂任务打下良好的基础... 详细信息

论文以多台Turtlebot3机器人组成的多机器人系统为研究对象,研究了多机器人系统的路径规划方法。论文选用具有感知能力和决策能力的深度强化学习框架来设计多机器人路径规划算法,从而为今后多机器人系统协作完成复杂任务打下良好的基础。首先,通过分析Turtlebot3移动机器人的运动特性,建立了机器人的运动学模型。基于Gazebo三维仿真平台搭建了仿真环境,给出了同一环境下加载多台机器人模型的实现过程。其次,针对多机器人系统面临的环境非平稳性问题,本文选择集中训练-分散执行框架的多智能体深度确定性策略梯度(Multi-Agent Deep Deterministic Policy Gradient,MADDPG)算法作为研究算法。结合多机器人系统路径规划的任务要求,设计了强化学习要素(状态、动作、奖励函数、动作选择)和深度神经网络结构。在搭建好的仿真环境中进行了算法训练,实验结果显示所设计的算法能实现无碰撞到达目标区域的任务,但在比较复杂的障碍物环境下有较低的任务成功率,这显示了算法在所建立的环境下存在收敛速度慢甚至不收敛的问题。然后,针对MADDPG算法存在的收敛速度慢甚至不收敛问题,对原始MADDPG路径规划算法进行改进:(1)为因碰撞而结束的回合添加多个子训练回合,从而积累大量碰撞发生区域的有效样本;(2)将子训练阶段收集的碰撞有效样本和主训练阶段生成的一般样本存储在不同的经验池;(3)根据样本的优先级对各经验池中的数据排序,并按照一定的比例从各经验池中抽取训练样本。对比实验结果显示了改进的MADDPG路径规划算法可以有效提升算法的收敛速度以及机器人的避障能力,进而提高了多机器人完成路径规划任务的成功率。泛化实验显示改进算法在新环境下也能出色地完成任务,具有较好的泛化能力。最后,针对实际应用中多台机器人以某种几何队形运动的问题,研究了多机器人编队的路径规划方法。对改进MADDPG路径规划算法的动作空间和奖励函数进行了修改:(1)简化领航机器人的动作空间;(2)为奖励函数添加编队队形约束。考虑到多机器人编队路径规划任务较为复杂,采用迁移学习方法加快算法训练。开展了多机器人编队实验,实验结果表明了所设计的算法能够快速形成期望的编队队形并保持期望的几何形状运动。泛化实验测试了论文编队路径规划算法的泛化性能。

关键词：多机器人系统路径规划深度强化学习多智能体深度确定性策略梯度算法

基于多智能体深度强化学习的电热联合系统优化运行

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多智能体深度强化学习的电热联合系统优化运行

作者：刘雨华北电力大学(北京)

学位级别：硕士

在能源互联网的背景下,研究电热联合系统优化调度问题对于实现系统的多能互补、经济运行具有重要意义。电热联合系统优化运行涉及非线性、非凸、多目标问题求解,传统方法在计算实时性与迭代收敛性等方面存在困难,人工智能强化学习技术... 详细信息

在能源互联网的背景下,研究电热联合系统优化调度问题对于实现系统的多能互补、经济运行具有重要意义。电热联合系统优化运行涉及非线性、非凸、多目标问题求解,传统方法在计算实时性与迭代收敛性等方面存在困难,人工智能强化学习技术为解决该问题提供了一种有效途径。因此,本文首先构建电热联合系统优化数学模型,进一步基于马尔科夫决策过程,将电热联合系统优化模型迁移至强化学习框架下,对智能体状态、动作空间进行了划分,基于系统优化目标和运行约束设计电热联合系统智能体奖惩机制,并搭建了电热联合系统强化学习环境,基于深度确定性策略梯度算法及柔性行动器-评判器算法设计智能体网络结构并进行训练。然后考虑到不同能源体系间存在着行业壁垒,难以进行完全的数据交互,将电热联合系统按照不同利益主体划分为多智能体,基于多智能体深度确定性策略梯度强化学习算法,建立了适用于电热联合系统的多智能体行动器-评判器框架,将优化模型转化为多智能体强化学习模型。划分各个智能体的状态与动作空间,搭建多智能体强化学习环境并设计相应的奖励函数。最终通过算例分析验证了本文方法的有效性。首先建立6节点电网-6节点热网电热联合系统进行算例验证,表明所提方法可以有效解决电热联合系统优化问题。柔性行动器-评判器方法比深度确定性策略梯度算法具有更优的计算性能。训练后的强化学习模型可实时生成优化策略,克服传统方法运算时间长、难以满足在线计算要求的问题;多智能体算法和单智能体算法相比,模型训练过程更易稳定收敛,执行过程中各智能体仅依赖局部信息完成计算,解决不同利益主体的数据共享问题;搭建基于33节点电网-32节点热网电热联合系统的仿真算例,进一步验证了本文方法的通用性。

关键词：电热联合系统优化调度深度强化学习多智能体深度确定性策略梯度算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多智能体强化学习的分布式能源互补优化

基于多智能体强化学习的分布式能源互补优化

作者：魏静华北电力大学(北京)

学位级别：硕士

随着能源互联网的进一步发展,分布式能源互补优化系统充分发挥了多能源互补利用的优势,是值得深入研究的一大领域。分布式能源系统的互补优化问题具有强耦合、非凸非线性等特点,集中式优化建模复杂、鲁棒性低,系统协调优化中涉及控制变... 详细信息

随着能源互联网的进一步发展,分布式能源互补优化系统充分发挥了多能源互补利用的优势,是值得深入研究的一大领域。分布式能源系统的互补优化问题具有强耦合、非凸非线性等特点,集中式优化建模复杂、鲁棒性低,系统协调优化中涉及控制变量众多,约束条件复杂,传统的数值迭代求解具有一定的局限。多智能体深度强化学习作为一种人工智能的方法,为复杂系统下分布式能源的互补优化提供了解决思路。本文首先建立了基于多能量枢纽的分布式能源互补系统,考虑到分布式能源互补系统中多能源的密切耦合以及各能源网络系统内部的复杂约束条件,以各能量枢纽作为智能体,搭建了分布式能源互补系统的多智能体框架,将分布式能源互补系统的集中式优化问题转变为以多个智能体进行独立决策的分布式优化问题。然后研究了基于多智能体深度强化学习的分布式能源互补优化方法。根据分布式能源互补系统的多智能体框架,设计智能体的模型以及交互策略,考虑到系统中的多重不确定性因素,进一步设计了引入动态转换系数的优化策略以提升系统经济性,针对系统协调优化的高维、非凸非线性问题,设计面向分布式能源互补优化系统的深度确定性策略梯度算法,并给出相应的求解流程。最后进行算例分析。优化结果表明基于多智能体的交互策略能够在考虑多重不确定性因素下更好的实现分布式能源的互补优化,有效提升系统经济性。同时验证了多智能体深度确定性策略梯度方法求解复杂系统下多能源协调优化问题的有效性,训练后的模型相比于传统集中式优化不仅具有较好应对不确定性的能力,还能够实现系统实时决策,有利于在线应用;相比于单智能体方法,训练过程更加稳定,在复杂环境问题中具有更明显的优势。

关键词：分布式能源互补优化多智能体系统多智能体深度确定性策略梯度算法