基于改进SAC的倒立摆控制算法研究

作     者：张晓莉 郭仕林 刘鼎 宋婉莹 Zhang Xiaoli;Guo Shilin;Liu Ding;Song Wanying

作者机构：西安科技大学通信与信息工程学院西安710600 

出 版 物：《电子测量技术》 (Electronic Measurement Technology)

年 卷 期：2024年第47卷第1期

页      面：93-100页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金青年项目(61901358) 中国博士后科学基金面上项目(2019QDJ207) 陕西省教育厅一般专项(20JK0757)资助 

主　　题：激活函数 神经网络 深度强化学习 倒立摆系统 

摘      要：针对倒立摆系统控制过程中易受外界干扰和自然不稳定的特点,以及深度强化学习SAC算法采样数据利用率较低和随机离线策略网络收敛较慢的问题,提出了一种结合近端经验采样和优化策略网络结构的改进算法PRER_SAC。构建神经网络拟合函数,策略网络使用性能更优的Mish函数作为激活函数,设置自调节温度系数以增强智能体的探索能力;设计远、近两个经验池,及一种改变数据存放频率的训练策略,提高数据样本的利用率。通过仿真实验对比,所提方法在同等训练次数下所得回报值和算法收敛速度优于DDPG和SAC算法,同传统控制方法PID和LQR相比,有更好的控制效果。最后,对训练好的智能体加入角度扰动,可在2 s内被消除抑制,证明提出的算法具有较强的适用性。