基于深度强化学习的油气站场四足巡检机器人运动控制

作     者：徐宏剑 

作者单位：中国石油大学(北京) 

学位级别：硕士

导师姓名：顾继俊

授予年度：2022年

学科分类：080706[工学-化工过程机械] 12[管理学] 08[工学] 0820[工学-石油与天然气工程] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 080202[工学-机械电子工程] 0807[工学-动力工程及工程热物理] 0804[工学-仪器科学与技术] 0835[工学-软件工程] 082003[工学-油气储运工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：四足机器人 深度强化学习 油气站场 运动控制 

摘      要：随着国内输油气管道与沿途站场规模的不断增长,利用机器人替代人工巡检成为当下研究重点。遍布复杂管线、楼梯、台阶的油气站场对巡检机器人的运动能力提出较高要求。四足机器人具备高机动性与良好的越障能力,在油气站场巡检方面具有良好的应用前景。但针对四足机器人在平衡控制、步态速度控制与复杂环境下的运动决策等方面的研究存在诸多难点。目前相关控制理论尚不成熟,因此,研究四足机器人底层运动算法,探索高效灵活的机器人越障策略,将有效提升油气站场智能化管理水平。本文主要研究四足机器人的运动控制方法,将机器人控制系统划分为高、中、低三个控制层级,针对各个控制层级开展四足机器人运动控制方法研究。首先,建立用于机器人底层控制的单腿运动学模型,利用改进型D-H坐标法建立正运动学公式及速度雅克比,利用几何法推导出三自由度连杆逆运动学方程,并分析逆运动学解的存在性与速度雅克比的奇异性。其次,整合单腿运动学方程建立基于机身的整体坐标系,调节旋转矩阵与齐次变换矩阵实现机器人三自由度姿态控制。基于足端轨迹规划与CPG方法,设计出一种新的组合控制方法。测试证明该方法能够实现机器人基本行走功能,在行走过程中可进行walk与trot两种步态的自由转换。此外,设计了一种楼梯爬越控制策略,并实现策略中单步动作的建模与执行,在仿真中实现了对确定规格楼梯的爬越。再次,将DRL算法应用于机器人巡检仿真控制,改进的DQN算法的深度网络模型,根据仿真的环境中机器人学习效果,设计并调整动作奖励函数。在仿真环境中实现了一维与二维状态参数输入下的目标追踪任务。最后,利用实物样机验证机器人单腿与整体控制,测试表明实物样机能够进行转向、横移、高度调整和步态转换。同时,楼梯爬越实验证明本文所提出的控制策略可以使机器人通过台阶高0.2m,坡度为35°的镂空楼梯。