检索结果-南通市图书馆

汽车技术 2023年第3期 26-34页

作者：赵克刚石翠铎梁志豪李梓棋王玉龙华南理工大学广州510641 湖南大学汽车车身先进设计制造国家重点实验室长沙410082

针对目前自适应巡航控制技术中,深度强化学习的控制算法环境适应能力不足、模型迁移性及泛化能力较差的问题,提出一种基于最大熵原理和随机离线策略的柔性演员-评论家(SAC)控制算法。构建演员和评论家网络拟合动作值函数和动作策略函数... 详细信息

针对目前自适应巡航控制技术中,深度强化学习的控制算法环境适应能力不足、模型迁移性及泛化能力较差的问题,提出一种基于最大熵原理和随机离线策略的柔性演员-评论家(SAC)控制算法。构建演员和评论家网络拟合动作值函数和动作策略函数,并使用自调节温度系数改善智能体的环境探索能力;针对奖励稀疏问题,运用奖励塑造思想设计奖励函数;此外,提出一种新的经验回放机制以提高样本利用率。将所提出的控制算法在不同场景中进行仿真及实车验证,并与深度确定性策略梯度(DDPG)算法进行比较,结果表明,该算法具有更好的模型泛化能力和实车迁移效果。

关键词：自适应巡航控制柔性演员-评论家可迁移性深度强化学习

来源：

维普期刊数据库博看期刊

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于强化学习的微电网多目标经济优化调度研究

基于强化学习的微电网多目标经济优化调度研究

引用

作者：花司卿南昌大学

学位级别：硕士

近年来,随着人们对环境保护的日益重视,化石能源的开采和使用所带来的环境污染问题引发了广泛关注。各国政府和能源部门纷纷提倡发展新能源,寻求可持续的能源解决方案。微电网作为一个整合多种分布式能源、储能设备和负载的电力系统,不... 详细信息

近年来,随着人们对环境保护的日益重视,化石能源的开采和使用所带来的环境污染问题引发了广泛关注。各国政府和能源部门纷纷提倡发展新能源,寻求可持续的能源解决方案。微电网作为一个整合多种分布式能源、储能设备和负载的电力系统,不仅可以与传统大电网交互,还能在必要时独立运行。这种灵活性使得微电网成为实现能源可持续性和提高能源利用效率的关键环节。随着技术的进步,微电网已经发展到微电网群,实现了更广泛和更复杂的网络互联。由于微电网的运行环境充满不确定性,而传统算法在处理高维度、非线性和多变量的电网管理和调度问题时存在局限性。因此,本文采用强化学习算法对微电网进行多目标经济优化调度。强化学习作为一种新兴的智能算法,能够通过不断的学习和适应,优化决策过程。这不仅提高了微电网的运行效率和稳定性,还有助于降低运营成本,促进可持续发展。本文将围绕以下内容重点探讨强化学习算法在微电网调度中的应用:(1)本文系统性地介绍了微电网中各种分布式发电单元的结构和工作原理,并构建了一个包含光伏发电单元、风力发电单元、柴油发电机和储能单元的微电网模型。同时,本文详细阐述了强化学习理论中的马尔可夫决策过程(Markov Decision Process,MDP)、策略梯度(Policy Gradient,PG)方法、人工神经网络(Artificial Neural Networks,ANN)原理、演员-评论家(Actor-Critic,AC)框架、以及柔性演员-评论家(Soft Actor-Critic,SAC)算法,这些理论为实现微电网及微电网群多目标经济优化调度提供了理论支持。(2)在微电网经济优化调度研究中,本文以最小化微电网综合运行成本为优化目标,同时考虑了相关约束条件,分别构建了孤岛型和并网型场景下的微电网模型。为增强SAC算法在微电网调度任务中的稳定性和探索能力,本文提出一种融合了动态调节的高斯噪声和优先经验回放机制的柔性演员-评论家(Dynamic Gaussian Noise Adjustment and Prioritized Experience Replay with Soft Actor-Critic,DAP-SAC)算法。通过采用DAP-SAC算法解决微电网优化调度问题,并与传统SAC算法在两种微电网场景下进行对比,分别从算法性能、优化调度策略和优化目标等角度进行分析,验证了DAP-SAC在微电网多目标经济优化调度中的有效性和优越性。(3)在微电网群经济优化调度研究中,本文以最小化微电网群综合运行成本为优化目标,建立了基于多智能体系统的微电网群模型,并采用基于集中式训练和分布式执行(Centralized Training with Decentralized Execution,CTDE)框架的多智能体柔性演员-评论家(Multi-Agent Soft Actor-Critic,MASAC)算法进行求解。通过算例分析,本文分别从算法性能、优化调度策略以及优化目标等角度评估了在两种场景中的调度效果,验证了MASAC算法在微电网群多目标经济优化调度中的可行性。

关键词：微电网优化调度强化学习柔性演员-评论家多智能体系统

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于最大熵深度强化学习的AUV运动规划方法研究

基于最大熵深度强化学习的AUV运动规划方法研究

引用

作者：于鑫哈尔滨工程大学

学位级别：硕士

本研究探究自主水下机器人(Autonomous Underwater Vehicle,AUV)在未知、复杂环境下,如何依靠全局路径信息及传感器获得的局部信息,高效、快速地制定决策目标,从而躲避形状各异的密集障碍,在满足各类约束条件的同时到达指定目标位置,完... 详细信息

本研究探究自主水下机器人(Autonomous Underwater Vehicle,AUV)在未知、复杂环境下,如何依靠全局路径信息及传感器获得的局部信息,高效、快速地制定决策目标,从而躲避形状各异的密集障碍,在满足各类约束条件的同时到达指定目标位置,完成运动规划任务。针对目前AUV运动规划任务中存在探索能力差、策略单一、训练成本高、环境奖励稀疏的问题,本研究提出了一种基于深度强化学习算法的端到端运动规划系统。为解决以上问题,并提高AUV运动规划效果,进行了以下内容的研究:(1)充分考虑系统动力学、传感器性能、障碍物碰撞范围及海流干扰等多约束条件限制,对复杂的运动规划问题进行了公式化处理。基于神经网络模型,构建了以状态信息—动作输出的端到端运动规划体系结构,确定了以位置信息、速度信息以及障碍物信息为基础的状态空间,同时搭建了一个简易的声纳模型来实现局部避障,并对声纳死区的问题进行了研究。而后确定了AUV的动作空间,并对神经网络输出的动作值进行了剪切与线性变换。(2)设计了基于柔性演员-评论家算法(Soft Actor-Critic,SAC)算法的运动规划系统,利用最大熵的方式增加了策略的随机程度,进而增强了AUV对环境的探索能力。针对环境奖励稀疏的问题,将运动规划任务分解,设计了一个综合的外部奖励函数,能够引导AUV靠近目标点,同时约束其航行状态,优化航行距离和航行时间。(3)针对强化学习从零开始学习一个策略困难且耗时的问题,引入生成对抗性模仿学习(Generative Adversarial Imitation Learning,GAIL)的方法来辅助AUV进行训练,利用专家策略来指导AUV的学习,进而本研究提出了一种SAC-GAIL的结合算法,算法采用GAIL内部奖励信号与外部奖励信号混合的方式进行训练,降低了AUV与环境交互的成本。通过协调好内、外部奖励的权重,GAIL奖励信号将引导AUV航行,鼓励其发现外部环境奖励。(4)基于Unity3D软件进行可视化的仿真,构建了随机分布的密集障碍环境,同时确定了训练过程中的回合终止判定流程,选择了合适的奖励值与算法参数。针对单目标点与多目标点任务,对基于PPO、SAC、SAC-GAIL算法的运动规划系统分别进行了训练,并对训练结果进行了分析。基于训练所得到的策略,随机生成目标点序列,对几种算法进行了测试与比较,最终取得了良好的结果,验证了算法的有效性与稳定性,体现了算法的优势。

关键词：自主水下机器人运动规划避障深度强化学习柔性演员-评论家生成对抗性模仿学习

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：