基于视觉手势交互的机器人遥操作控制系统设计

作     者：张家乐 

作者单位：齐鲁工业大学 

学位级别：硕士

导师姓名：纪鹏

授予年度：2024年

学科分类：08[工学] 080202[工学-机械电子工程] 080203[工学-机械设计及理论] 0804[工学-仪器科学与技术] 0802[工学-机械工程] 

主      题：遥操作机器人 手势识别 自抗扰控制 目标跟踪 

摘      要：遥操作机器人可以代替人类进入复杂危险的作业环境完成各种任务,然而基于遥控手柄、控制箱等设备的传统人机交互方式不自然、不直观,增加了操作者的负担,束缚了操作者的双手,尤其对于搭载多自由度机械臂的移动机器人无法充分发挥机器人的灵活性。基于视觉手势的遥操作方式不仅可以实现对机器人的远程控制,而且控制方式更加自然、直观,解放了设备对操作者的束缚,给操作者带来沉浸的人机交互体验。本文基于视觉手势检测方法,搭建了基于可穿戴视觉设备的机器人手势遥操作控制系统。具体研究内容如下: 首先对机器人的功能需求和技术路线进行了分析,提出遥操作机器人控制系统的总体设计方案,根据系统方案对机器人进行硬件选型和软件平台的选择,然后根据所设计的内容逐步完善手势遥操作机器人的功能。 针对手部抖动和传感器噪声对遥操作信号的干扰问题,提出了基于Kalman滤波器的二自由度云台手势遥操作控制系统。通过手势位姿传感器获取左手俯仰角和偏航角,角度测量值经过Kalman滤波器滤波后映射为云台的期望角度,配合不同手势实现左手对云台的遥操作控制。 针对传统目标选取方法对设备高度依赖的问题,提出了基于手势的感兴趣区域框选和目标跟踪方法。将右手食指指尖点的空间位置映射到二维图像像素坐标,配合不同手势实现对感兴趣区域的框选,并使用核相关滤波算法对框选区域进行目标跟踪。针对传统机械臂控制方法不自然的问题,将右手位姿映射为机械臂基坐标系下的末端坐标系的期望位姿,实现机械臂的手势牵引控制。 针对手势遥操作过程各种干扰影响控制器性能的问题,设计了适用于遥操作的机械臂自抗扰滑模控制器。首先根据机械臂干扰下的动力学模型设计自抗扰滑模控制器,使用提出的三阶状态观测器对关节状态进行估计,然后提出基于Tent映射的遗传算法对自抗扰滑模控制器的参数进行优化,进一步提升控制器性能。 本文设计了一种基于可穿戴视觉设备的手势遥操作控制系统,实现了手势对移动机器人搭载的二自由度云台和六自由度机械臂的遥操作控制,解放了传统遥操作方式对操作者的束缚,实现了基于手势的目标框选功能,设计了适用于遥操作场景的机械臂自抗扰滑模控制器,验证了遗传算法对控制器优化的有效性。本文的设计方案拓展了遥操作机器人的使用场景,充分发挥了搭载多自由度机械臂的遥操作机器人的优势。