基于Q学习的参数自适应S面控制方法

作     者：张佩 陆莫凡 陈成 徐昊 苗川 ZHANG Pei;LU Mofan;CHEN Cheng;XU Hao;MIAO Chuan

作者机构：中国船舶及海洋工程设计研究院上海200011 哈尔滨工程大学船舶工程学院哈尔滨150001 

出 版 物：《船舶》 (Ship & Boat)

年 卷 期：2022年第33卷第6期

页      面：55-62页

学科分类：08[工学] 0824[工学-船舶与海洋工程] 082401[工学-船舶与海洋结构物设计制造] 

主　　题：无人水下航行器 强化学习 S面控制 参数自适应 

摘      要：复杂的动力学特性及多变的海洋环境对无人水下航行器(UUV)控制器的设计提出了巨大挑战,在实际应用中,控制器的参数经人工调试后便固化,在控制过程中无法适应环境的变化。针对上述难题,该文借鉴自适应控制思想,提出一种基于强化学习的参数自适应S面控制方法,采用自适应控制方式实现不同环境下控制器参数的优化和自动整定。该方法采用Q学习算法进行训练,通过Q学习的自学习机制寻找输入状态和输出动作间的最优映射。仿真试验表明,所提方法能对控制器的参数进行实时在线调整,具备良好的控制效果和环境自适应能力。