检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

稳定且受限的新强化学习sac算法

吉林大学学报（信息科学版） 2024年第2期42卷 318-325页

作者：海日张兴亮姜源杨永健吉林大学计算机科学与技术学院长春130012 中国移动通信集团有限公司中国移动通信集团吉林有限公司长春130022

为解决由于固定温度sac(Soft Actor Critic)算法中存在的Q函数高估可能会导致算法陷入局部最优的问题,通过深入分析提出了一个稳定且受限的sac算法(SCsac:Stable Constrained Soft Actor Critic)。该算法通过改进最大熵目标函数修复固... 详细信息

为解决由于固定温度sac(Soft Actor Critic)算法中存在的Q函数高估可能会导致算法陷入局部最优的问题,通过深入分析提出了一个稳定且受限的sac算法(SCsac:Stable Constrained Soft Actor Critic)。该算法通过改进最大熵目标函数修复固定温度sac算法中的Q函数高估问题,同时增强算法在测试过程中稳定性的效果。最后,在4个OpenAI Gym Mujoco环境下对SCsac算法进行了验证,实验结果表明,稳定且受限的sac算法相比固定温度sac算法可以有效减小Q函数高估出现的次数并能在测试中获得更加稳定的结果。

关键词：强化学习最大熵强化学习 Q值高估 sac算法

同方期刊数据库博看期刊

基于sac算法的多源信息融合机械臂控制方法

在线全文

学校读者我要写书评

暂无评论

自动化应用 2024年第5期65卷 52-54页

作者：权双璐郭艳婕费逢宇瑜熙敬宋小云辛顺恒王超西安交通大学机械工程学院陕西西安710049

融合多源传感器信息可实现机械臂的精准控制。提出了一种基于深度强化学习的多源信息融合控制方法,设计并搭建了可实现多源信息融合的机械臂控制实验平台,融合视觉、触觉、编码器3种模态信息,并选取学习效率较高的sac算法实现机械臂自... 详细信息

融合多源传感器信息可实现机械臂的精准控制。提出了一种基于深度强化学习的多源信息融合控制方法,设计并搭建了可实现多源信息融合的机械臂控制实验平台,融合视觉、触觉、编码器3种模态信息,并选取学习效率较高的sac算法实现机械臂自主精准控制。在实验平台上,开展了3个由易到难的机械臂运动控制任务,以验证所提多源信息融合机械臂控制方案的有效性。

关键词：机械臂多源信息融合深度强化学习 sac算法

安全屏障机制下基于sac算法的机器人导航系统

在线全文

学校读者我要写书评

暂无评论

南京信息工程大学学报（自然科学版） 2023年第2期15卷 201-209页

作者：马丽新刘磊刘晨河海大学理学院南京210098

为了提高移动机器人自主导航系统的智能化水平和安全性,设计了安全屏障机制下基于sac(Soft Actor-Critic)算法的自主导航系统,并构建了依赖于机器人与最近障碍物距离、目标点距离以及偏航角的回报函数.在Gazebo仿真平台中,搭建载有激光... 详细信息

为了提高移动机器人自主导航系统的智能化水平和安全性,设计了安全屏障机制下基于sac(Soft Actor-Critic)算法的自主导航系统,并构建了依赖于机器人与最近障碍物距离、目标点距离以及偏航角的回报函数.在Gazebo仿真平台中,搭建载有激光雷达的移动机器人以及周围环境.实验结果表明,安全屏障机制在一定程度上降低了机器人撞击障碍物的概率,提高了导航的成功率,并使得基于sac算法的移动机器人自主导航系统具有更高的泛化能力.在更改起终点甚至将静态环境改为动态时,系统仍具有自主导航的能力.

关键词：移动机器人 sac算法安全屏障机制激光雷达自主导航 Gazebo

维普期刊数据库博看期刊

在线全文

学校读者我要写书评

暂无评论

基于改进sac算法的移动机器人路径规划

计算机应用 2023年第2期43卷 654-660页

作者：李永迪李彩虹张耀玉张国胜山东理工大学计算机科学与技术学院山东淄博255049

为解决sac算法在移动机器人局部路径规划中训练时间长、收敛速度慢等问题,通过引入优先级经验回放(PER)技术,提出了PER-sac算法。首先从等概率从经验池中随机抽取样本变为按优先级抽取,使网络优先训练误差较大的样本,从而提高了机器人... 详细信息

为解决sac算法在移动机器人局部路径规划中训练时间长、收敛速度慢等问题,通过引入优先级经验回放(PER)技术,提出了PER-sac算法。首先从等概率从经验池中随机抽取样本变为按优先级抽取,使网络优先训练误差较大的样本,从而提高了机器人训练过程的收敛速度和稳定性;其次优化时序差分(TD)误差的计算,以降低训练偏差;然后利用迁移学习,使机器人从简单环境到复杂环境逐步训练,从而提高训练速度;另外,设计了改进的奖励函数,增加机器人的内在奖励,从而解决了环境奖励稀疏的问题;最后在ROS平台上进行仿真测试。仿真结果表明,在不同的障碍物环境中,PER-sac算法均比原始算法收敛速度更快、规划的路径长度更短,并且PER-sac算法能够减少训练时间,在路径规划性能上明显优于原始算法。

关键词：移动机器人局部路径规划 sac算法优先级经验回放 ROS平台

基于最近双经验sac算法的无人分队控制研究

在线全文

学校读者我要写书评

暂无评论

火力与指挥控制 2023年第6期48卷 70-75,83页

作者：李海川阳周明王洋崔新悦王娜北方自动控制技术研究所太原030006

针对无人分队控制,如何进行行为决策以更好地完成任务,是当前无人驾驶的一个研究热点。基于sac算法,提出最近双经验回放sac算法模型。该模型主要从两方面入手:1)使用最近经验采样代替随机采样;2)使用双经验池代替单经验池。实验结果表明... 详细信息

针对无人分队控制,如何进行行为决策以更好地完成任务,是当前无人驾驶的一个研究热点。基于sac算法,提出最近双经验回放sac算法模型。该模型主要从两方面入手:1)使用最近经验采样代替随机采样;2)使用双经验池代替单经验池。实验结果表明,改进后的sac算法相比传统sac算法,提升了学习效率与稳定性,降低了策略网络误差,使无人分队能有更高的任务成功率。

关键词：深度强化学习 sac算法最近双经验池回放无人分队行为决策

基于改进的sac算法的移动机器人路径规划研究

在线全文

学校读者我要写书评

暂无评论

基于改进的SAC算法的移动机器人路径规划研究

作者：罗金根华东交通大学

学位级别：硕士

移动机器人作为机器人的重要分支,已广泛应用于我们的生活中,关于其路径规划算法的研究早已成为了国内外学者的研究热点。但是,当前大多数的路径规划算法对环境地图信息依赖度很高,当面临未知环境时,很难规划出一条从起点到终点的无碰... 详细信息

移动机器人作为机器人的重要分支,已广泛应用于我们的生活中,关于其路径规划算法的研究早已成为了国内外学者的研究热点。但是,当前大多数的路径规划算法对环境地图信息依赖度很高,当面临未知环境时,很难规划出一条从起点到终点的无碰撞路径。因此,本文结合深度强化学习理论,提出了一种端到端的、具有自主学习能力的路径规划算法,解决了传统路径规划算法对地图信息依赖度高的问题。本文的研究内容如下:首先,对路径规划和深度强化学习研究现状进行分析总结,并将深度强化学习算法DQN应用于二维栅格地图的路径规划任务中,验证了深度强化学习算法与路径规划相结合的可行性。接着,对本文所采用的软演员-评论员算法(Soft Actor-Critic,sac)进行详细的介绍。针对sac算法在路径规划任务中存在的不足,提出了一种改进的sac算法(sac-LSTM-PER)。主要改进点有三点:一是引入具有记忆能力的长短期记忆网络(Long Short-Term Memory,LSTM),让算法在路径规划过程中能够结合历史状态和当前状态做出更优的决策;二是引入burn-in的训练机制,解决了LSTM在训练过程中因隐藏状态被置零而导致的记忆能力受损问题,提高了算法的性能;三是结合优先经验回放机制,解决了算法采样效率低的问题,提高了算法的收敛速度。然后,为了将sac-LSTM-PER算法应用到移动机器人的路径规划任务中,搭建了基于sac-LSTM-PER的移动机器人路径规划算法框架,建立了Turtlebot3移动机器人运动模型。结合路径规划任务的本质,设计了路径规划算法的状态空间、动作空间、奖励函数以及整体流程。最后,通过仿真实验验证本文所提算法的有效性。使用ROS平台和Gazebo软件搭建无障碍物、静态障碍物和动态障碍物三个实验场景。对相关实验参数进行设置后,使用sac、sac-LSTM和sac-LSTM-PER算法进行仿真实验。实验结果表明:在三个实验场景中,相较于sac与sac-LSTM算法,sac-LSTM-PER算法有着更快的收敛速度,更高的路径规划成功率。此外,为更好的测试三种算法的性能,我们在复杂的动态场景中增加一组实验。结果表明sac-LSTM-PER算法的路径规划用时更短,规划路径更短,到达目标点的次数更多。

关键词：深度强化学习移动机器人路径规划 sac算法长短期记忆网络

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于改进sac算法的机械臂运动规划

电子科技 2023年

作者：唐超张帆上海工程技术大学机械与汽车工程学院

针对深度强化学习算法在高维状态空间和高精度需求下的机械臂运动规划任务中存在探索效率低、收敛速度慢甚至不收敛等问题，文中以sac(Soft Actor-Critic)算法为基础，引入异步优势机制，提出了一种融合异步优势的AA-sac(Asynchronous A... 详细信息

针对深度强化学习算法在高维状态空间和高精度需求下的机械臂运动规划任务中存在探索效率低、收敛速度慢甚至不收敛等问题，文中以sac(Soft Actor-Critic)算法为基础，引入异步优势机制，提出了一种融合异步优势的AA-sac(Asynchronous Advantage Soft Actor-Critic)算法。该算法使用Qtarget网络代替了原来的V网络，有效降低了Q网络的方差。n个独立的进程可并行训练，提升了训练效率。文中还将AA-sac算法的经验回放池划分成两个部分，将高质量的经验数据单独存放、单独采样，以提高有效经验数据的利用率。仿真实验结果表明，AA-sac算法在收敛速度、成功率和稳定性上表现最优。相较于sac算法，AA-sac算法的收敛时间提前了3 000回合。收敛后AA-sac算法的成功率达到了96%，比sac算法提升了6%，比DDPG(Deep Deterministic Policy Gradient)算法提升了26%。

关键词：深度强化学习异步优势 sac算法经验回放池机械臂运动规划微创手术 CoppeliaSim

基于sac算法的工厂变电站储能设备控制方法

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

自动化技术与应用 2023年第7期42卷 34-38页

作者：叶志晖丁男哲金文龙王文娟浙江中烟工业有限责任公司浙江杭州310000

传统方法控制工厂变电站储能设备时,易发生收敛过早、FHC值和放电深度最大值偏高以及储能设备使用寿命缩短的问题。提出基于sac算法的工厂变电站储能设备控制方法,首先通过sac算法对工厂变电站储能设备进行分析,通过充分利用训练样本,... 详细信息

传统方法控制工厂变电站储能设备时,易发生收敛过早、FHC值和放电深度最大值偏高以及储能设备使用寿命缩短的问题。提出基于sac算法的工厂变电站储能设备控制方法,首先通过sac算法对工厂变电站储能设备进行分析,通过充分利用训练样本,获取储能设备的最优参数,然后分析计算光伏系统设备和储能设备的电压、功率等,最后结合两者共同控制出口,得到工厂变电站储能设备最优控制方法。实验表明方法能够有效地降低FHC值和放电深度最大值,延长储能设备的使用寿命。

关键词： sac算法储能设备控制方法极大熵原理

在线全文

学校读者我要写书评

暂无评论

基于sac算法的机械臂控制策略的研究

基于SAC算法的机械臂控制策略的研究

作者：王骏超华东交通大学

学位级别：硕士

机械臂作为一种常见的自动化设备,关于其控制算法的研究,一直是相关领域的热点。近年来,随着社会人口老龄化带来的劳动力短缺,以及工业5.0概念的发布,机械臂应用领域在不断扩展,应用环境也变得更加复杂,这对机械臂运动轨迹的规划控制提... 详细信息

机械臂作为一种常见的自动化设备,关于其控制算法的研究,一直是相关领域的热点。近年来,随着社会人口老龄化带来的劳动力短缺,以及工业5.0概念的发布,机械臂应用领域在不断扩展,应用环境也变得更加复杂,这对机械臂运动轨迹的规划控制提出了更高的要求。本文结合目前比较热门的人工智能理论,将强化学习方法引入到机械臂控制中,提出一种基于Soft Actor-Critic（以下简称sac）算法的控制策略,以更好地解决三维空间下多轴机械臂的轨迹规划问题,不仅可以克服传统控制算法存在的模型依赖性高,规划精度低的不足,并且相比一般强化学习算法,具有更快的学习效率和更高的稳定性。本文的主要工作和结论如下:首先,阐述了机械臂控制的相关理论,分析了目前常见机械臂控制算法存在的不足。在此基础上,将基于最大熵理论的sac算法与机械臂控制相结合,并通过详细的论述,说明了sac算法的原理和其应用于机械臂控制的优势。其次,针对机械臂控制中比较复杂的规划任务,提出一种策略组合的方法。通过把总体任务拆分为几个子任务后,依次解决子任务后得到相应的模型,利用sac算法策略熵最大化的特点,将子任务的模型作为初始条件进行训练,最终得到总体任务的最优解。并在Mujoco平台进行模拟实验,验证基于sac算法的策略组合的可行性,并与直接在线规划的结果进行对比分析。最后,对提出的sac算法用于三维空间中多轴机械臂的规划控制,进行了实验与分析。在Coppelia Sim平台上搭建仿真环境,选择UR5机械臂作为实验对象,对控制任务进行建模分析后,设计状态与动作变量、奖励函数与系统参数。实验分为三组:无障碍物环境下的控制实验,验证了sac算法通过改变机械臂关节角度实现机械臂控制的可行性;在有障碍物环境下的两组避障规划对比实验中,根据不同算法的特点,设置了不同的对比标准,分析比较sac与DDPG,RRTstar两种算法的规划结果。结果表明:基于策略熵最大化的sac算法,提高了训练样本利用率,保证了学习结果的最优。在用于三维空间中多轴机械臂控制任务时,相比于确定策略的强化学习算法和传统控制算法,规划计算更快、稳定性更好、轨迹更为平滑。在解决复杂规划任务时,通过策略组合的方法,可进一步提高训练速度的同时保证规划结果的最优,降低了规划成本,具有很好的实用价值。

关键词：机械臂控制 sac算法轨迹规划策略组合