基于强化学习与CPG的蝠鲼式仿生鱼控制方法研究

作     者：曹程程 

作者单位：江苏科技大学 

学位级别：硕士

导师姓名：苏世杰

授予年度：2023年

学科分类：08[工学] 080202[工学-机械电子工程] 0802[工学-机械工程] 

主      题：蝠鲼式仿生鱼 CPG控制器 强化学习 GPS/INS组合导航 

摘      要：海洋中蕴含着丰富的资源等待着人类的开发探索,对于水下机器人的需求也在逐渐增加。在漫长的进化过程中,鱼类的在海洋中的游动能力得到了非凡的发展,这为人类设计水下机器人提供了丰富的灵感,相比于传统的水下航行器,仿照鱼类设计的机器鱼具有高效率、低能耗和高机动性的优点。蝠鲼鱼行动敏捷,宽大的胸鳍,能够保证游动时的稳定性。随着仿生鱼作业任务的复杂化,对其自主完成任务的能力提出了更高的要求。因此,本文以蝠鲼式仿生鱼为研究对象,分别设计了基于CPG的底层运动控制器和基于强化学习的高层控制器并将GPS/INS紧耦合导航算法融入到控制方法,以实现蝠鲼式仿生鱼在水面下的整体运动控制。本文的主要研究内容有:(1)以蝠鲼式仿生鱼为研究对象,设计了基于CPG的底层游动控制器,作为蝠鲼式仿生鱼的“低级神经中枢,通过改变CPG模型的参数能够实现不同的游动模态,包括直游、左转、右转、后退、加速、上浮和下潜。(2)设计了基于强化学习的高层控制器,作为蝠鲼式仿生鱼的“高级神经中枢。输入为从基于GPS/INS定位导航系统获取到的观测值,输出为基于CPG的底层运动控制器的控制参数。通过改变仿生鱼的运动模态,完成蝠鲼式仿生鱼的定点游动控制任务,即输入目标点的位置,控制仿生鱼自主游到定位的目标点。(3)研究了基于GPS/INS紧耦合的三维定位导航技术,作为“感觉器官,获取环境传感数据。紧耦合的组合方式在没有GPS信号的情况下依然能够输出速度和位置数据,定期浮出水面可以对INS数据进行校准,适合仿生鱼水下工作的特点。将深度计加入GPS/INS组合算法能够实现三维定位,经过数据处理后能够得到强化学习算法所需要的观测值。(4)将本文提出的控制方法在仿真环境中进行了模拟仿真,验证了所提出方法的有效性,并对CPG控制器的控制参数进行改进,通过实验对比得出最优的控制方法。又分别与SIN-DDPG控制方法(正弦曲线控制器作为底层控制器,强化学习作为高层控制器)和CPG-PID(CPG作为底层运动控制器,PID作为高层运动控制器)进行对比,结果证明本文所提出的CPG-DDPG控制方法(CPG作为底层运动控制器,强化学习作为高层运动控制器)控制效果远远好于所对比的两种控制方法。(5)设计了一台蝠鲼式仿生鱼试验样机,将本文提出的CPG-DDPG控制方法训练形成的控制策略移植到试验样机上,并在人工湖中分别验证所设计的基于CPG的底层运动控制器控制效果、基于GPS/INS的水下定位导航效果和基于强化学习的高层控制器定点游动控制任务控制效果。实验证明本文所提出的控制方法能够控制蝠鲼式仿生鱼样机实现我们设定的控制任务。