基于深度学习的物体检测和抓取技术研究

作     者：夏壮 

作者单位：哈尔滨工业大学 

学位级别：硕士

导师姓名：祝宇虹

授予年度：2018年

学科分类：08[工学] 080202[工学-机械电子工程] 080203[工学-机械设计及理论] 0804[工学-仪器科学与技术] 0802[工学-机械工程] 

主      题：深度学习 机器人抓取 目标检测 抓取卷积网络 虚拟数据 

摘      要：机器人抓取技术对于服务机器人以及工业机器人有着重大的意义。机器人智能化的发展迫使机器人需要有自主学习的能力,其中也包括抓取能力。机器人抓取的研究内容主要包括分析人手结构和功能,制作多指的手爪,从形封闭和力封闭对机器人抓取进行定性分析以及研究机器人抓取的封闭性、可操作性、稳定性等。近些年,随着计算机计算能力的增强,大数据以及机器学习得到了快速的发展,被运用到了各个领域。机器学习中的深度学习技术也给机器人抓取领域注入了新的活力。本文以Robotiq140二指爪为执行机构,利用深度学习技术建立目标检测模型和抓取网络模型,完成了机器人的抓取任务。主要研究内容包括:虚拟环境的数据对训练目标检测网络的影响,机器人抓取参数的设计,抓取网络模型的搭建,以及抓取网络模型的训练。本文首先针对家用物品进行目标检测,建立了目标检测的网络模型,并且建立了相应的数据集。为了减轻收集数据的工作量,本文提出了背景分离的方法自动从虚拟环境中收集带有标签的数据集,比较了该数据集以及真实环境采集的数据集在不同比例下训练的网络模型的性能。当以3000张虚拟图片和40张真实图片作为训练集,测得平均准确率为94%,而以320张作为训练集,测得准确率为93%。实验表明虚拟数据有助于网络的收敛。接着,基于目前国内外学者提出的基于深度学习的机器人抓取数学模型,设计了本文抓取模型的数学表达式。本文使用全卷积预测以及残差单元设计了抓取网络模型;为了快速获得训练数据,提出了基于视觉的定步长包围盒抓取算法,并在虚拟环境和现实环境中使用该方法收集训练数据。文中使用收集的虚拟数据和现实数据相结合的方法训练抓取网络模型,在虚拟环境和现实环境下验证了抓取网络的性能。在现实环境中,对熟悉的物体的抓取准确率为89%,在新颖的物体(未在训练集中的物体)中抓取准确率为82%。实验表明,定步长包围盒算法明显加速了实验数据的收集,虚拟数据的使用增强了抓取网络模型的性能。最后,搭建了基于V-REP的虚拟仿真实验环境,结合tensorflow完成了虚拟环境下机器人的抓取。然后将训练好的目标检测网络模型和抓取网络模型结合,利用真实机器人对已知物体进行了抓取实验,抓取成功率为80%。实验表明抓取算法是可行的,并且整个系统是稳定的。