机器人视触觉融合抓取技术研究

作     者：李全芳 

作者单位：江苏大学 

学位级别：硕士

导师姓名：李伯全;朱留存

授予年度：2022年

学科分类：08[工学] 080202[工学-机械电子工程] 0802[工学-机械工程] 

主      题：服务机器人 视触觉融合技术 触觉灵巧手 抓取状态评估 抓取检测 

摘      要：随着人工智能,特别是机器视觉技术的快速发展,机器人领域展现出巨大的进步和潜力。为了提升机器人的智能化程度,机器视觉技术被大量应用于机器人抓取系统,主流方法是根据图像特征获取合适的抓取位置和抓姿。机器人的抓取过程主要由规划阶段和执行阶段组成,对于抓取规划阶段,不同于工业示教机器人在结构化环境下对物体的抓取,服务机器人在非结构化环境下的自动抓取工作面临着许多挑战,被抓取物体的形状、软硬属性和机械手的抓取力度等都会影响抓取的结果,即使机器人在抓取规划阶段获取合适的抓取参数,也可能在执行阶段抓取失败。本文主要研究非结构环境下的服务机器人视触觉融合抓取技术,增强其抓取感知能力,减少抓取检测时间,提高抓取成功率。主要研究内容和成果如下:(1)针对目前服务机器人抓取检测时间较长,难以达到实时性问题。对YOLOv4进行改进,提出了一种端到端的抓取检测方法。为了降低抓取检测网络的参数数量,提高检测速度,采用了深度可分离卷积(Depthwise Separable Convolution,DSC)代替网络中的标准卷积,并将其主干特征提取网络CSP Darknet53替换为Mobile Netv3-large。为了使网络获得正确的抓取角度,采用了带角度的边界框调整公式和交并比(Intersection over Union,Io U)计算公式。改进后网络在PASCAL-VOC2012数据集上进行测试,其对应的平均精度均值m AP为81.8%,检测速度为57.1FPS,模型大小为32.8MB。(2)针对触觉灵巧手的机械结构,提出了一种抓取参数模型的表示方法。根据触觉灵巧手抓取时手指的分布情况,利用抓取矩形框进行参数化建模。机器人在获取抓取矩形框后,使用位置参数(x,y)和角度参数θ来确定抓取点o和向量v,其共同形成用于搜索指尖位置的坐标系。(3)为了提高服务机器人抓取感知能力,提出了一种基于触觉感知的抓取状态评估方法。根据抓取过程中触觉数据的变化,将抓取状态分为抓空、滑落和稳定抓取,设计抓取状态评估方法,对服务机器人抓取过程中物体的状态进行快速判断。(4)为了提高服务机器人的抓取成功率,提出了基于MYOLOv4(Mobile Net-YOLOv4)和压电信号的机器人视触觉融合抓取技术。在抓取过程中,通过视觉和触觉信息的反馈,调整触觉灵巧手的抓取力和抓姿。设计视觉和视触觉融合的机器人抓取实验,与视觉抓取相比,可有效降低滑落次数,在单目标场景和多目标混合场景下总的实验抓取成功率分别提高23.3%和24.2%。