基于深度强化学习的机器人打磨技术的研究

作     者：董海明 

作者单位：北京邮电大学 

学位级别：硕士

导师姓名：李金泉

授予年度：2020年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 080202[工学-机械电子工程] 081104[工学-模式识别与智能系统] 08[工学] 0804[工学-仪器科学与技术] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：恒力磨削 机器人仿真 深度强化学习 

摘      要：机器人打磨作业磨削力控制是典型的非线性、状态时变型马尔科夫决策过程问题。针对传统机器人力控制方法对环境模型精确度依赖性高、不确定性环境适应差的缺点,研究了一种基于深度强化学习(DRL)算法的智能控制方案。该方案使传统机器人具备拟人化经验学习能力,在与作业环境交互过程中自适应拟合磨削力控制模型,补偿工具位姿修正误差进而实现恒力磨削作业。课题研究过程中的具体工作内容包括:(1)为满足深度强化学习算法的训练需求,开发了力感知机器人开放式仿真系统,避免了大规模训练过程中实体环境的硬件损耗。针对传统机器人仿真系统开放性差、功能兼容性少的缺点,分别使用V-rep创建服务端机器人操作环境、基于Python开发机器人客户端控制功能、并通过Remote API的远程通信连接模块,拓展了系统对Tensorflow深度学习框架等软件的功能支持。(2)为稳定准确地测量工具末端所受磨削力,设计了磨削力信号的在线处理系统,补偿磨削力测量过程中的环境噪声影响。对于六维力传感器的测量值,分别采用卡尔曼滤波器过滤传感器测量误差、设计重力补偿方案消除工具自身重力影响、建立传感器与末端接触位置点的坐标系转换模型计算出真实磨削力值。通过与开发的仿真系统联合实验,验证了磨削力信号在线处理系统有效性。(3)为实现机器人的恒定磨削力控制,设计了基于DRL算法的恒力磨削控制方案。分别针对多维磨削力状态表征、连续空间末端动作修正、变轨迹单步打磨控制的场景应用难题,给出相对应的问题解决方案,并改进算法探索策略和奖励函数,保证了算法收敛效率和性能。通过仿真实验结果表明,基于DRL的恒力磨削控制器能够在无模型平面和曲面工件打磨过程中,通过经验样本迭代训练模型更新,以控制机器人改变初始位置偏差,补偿作业过程中噪声影响,进而有效地执行打磨作业。