基于RealSense的采摘机器人视觉伺服控制系统设计

作     者：周尧 

作者单位：南京林业大学 

学位级别：硕士

导师姓名：胡春华;刘继展

授予年度：2018年

学科分类：080202[工学-机械电子工程] 08[工学] 080203[工学-机械设计及理论] 0804[工学-仪器科学与技术] 0802[工学-机械工程] 

主      题：采摘机器人 RealSense 视觉伺服 手眼协调 

摘      要：针对现有的基于视觉伺服的采摘机器人系统,存在图像数据过多、处理太过耗时,系统实时性差、定位精度低等;部分利用可见光搭建的视觉伺服系统,对光照异常敏感,果实的识别准确度差、识别效率低等问题,本文构建了一种,利用RGB-D相机以Jaguar移动机器人平台为基础,搭建eye-in-hand采摘机器人视觉伺服系统。通过视觉传感器,获取目标对象的颜色和深度信息,分别利用色彩信息和色彩、深度信息融合的方法,对树上果实进行识别和定位,并采用远近景手眼协调控制策略,减轻图像处理的计算量、提高树上果实的定位精度。本文的主要研究内容如下:(1)采摘机器人视觉伺服系统软硬件架构的设计,本文首先介绍了RealSense sr300这款RGB-D相机,以及控制对象:Drrobot机器人系统、团队成员自行设计的多级剪叉、360°旋转台、末端执行器等,并根据机械结构的结构尺寸以及各关节的运动形式,给出采摘机器人的运动学方程,作为采摘机器人控制的条件基础,根据现有的软硬件接口,搭建采摘机器人的系统框架。(2)树上果实的识别与定位,为了实现树上果实自主采摘,需要自主识别、定位树上成熟的果实,因此,本文在第三章研究了分别利用深度信息、颜色和点云信息融合的方法,实现树上果实的识别,并通过点云三维坐标,获得目标对象相对于RealSense sr300的位置,并进而根据机器人的运动学方程,计算得出果实相对于机器人坐标系的位置,实现目标果实相对于机器人的定位。(3)远近景手眼协调控制策略的研究,针对当前采摘机器人手眼协调控制的不足,主要是图像信息繁杂、细节特征表现不足,提出并采用了远近景手眼协调控制策略,能够有效降低数据处理量、提高深度探测精度、采摘机器人视觉伺服系统实时性等。(4)实验验证,在实验室的简化环境下,利用仿真果实和自行设计的双面板刻度作为主要测量工具,对采摘机器人样机进行了采摘机器人样机系统精度误差测试和机械臂远近景协调动作精度实验,模拟真实果园采摘作业,实验结果表明,采摘机器人的动作误差能够满足采摘作业要求。综上,利用RGB-D相机RealSense sr300构建采摘机器人手眼视觉系统,并利用其颜色和深度信息,实现树上果实的自主识别和定位,并采用远近景手眼协调策略,减少数据处理量,提高定位精度,实验结果表明,该系统的动作精度误差能够满足采摘需要。本文的研究工作对于推动采摘机器人的实用化具有重要意义。