基于深度学习的移动机器人视觉感知算法研究

作     者：杜宇杰 

作者单位：杭州电子科技大学 

学位级别：硕士

导师姓名：高明煜;杨宇翔

授予年度：2019年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：移动机器人 视觉融合 深度学习 目标检测 姿态估计 

摘      要：中国是全球制造业大国,但不是制造业强国,目前我国的众多产业生产效率及生产过程自动化程度还很底,因此众多产业急需转型升级,而机器人是实现智能制造的关键。随着“中国制造2025和“工业4.0的提出,中国机器人也迎来了发展的黄金时期,大量资本流入机器人研发,工业机器人得到了迅猛的发展。另外近几年随着网购业务的高速发展,网购物品的快捷运达已成为提升客户购物体验的关键,利用移动机器人实现货物的自动快速搬运不仅能节约大量的人力成本,同时也能提高物品搬运的速度和安全性,而视觉系统的加入可大幅提升机器人的灵活性和抓取物品的精度。首先,本文对国内外相关的视觉技术进行了详细分析,简述了相关经典视觉算法的发展过程。其次根据机械手臂对视觉系统的具体要求,提出了一套基于深度学习的目标物体定位算法和姿态估计算法,主要包括目标物体深度图的获取,目标物体空间三维位置的确定和目标物体位置姿态的估计三个部分;利用RGBD匹配技术将由TOF相机采集到的深度图投射到彩色相机的像素坐标系下,实现了同一空间物体在两个相机坐标系下的统一。然后利用插值算法得到高分辨率的深度融合图用来估计物体在三维空间中的位置。本文使用了目标检测网络算法检测目标物体,为了适应于嵌入式平台的计算能力和内存资源,替换了网络中的经典卷积结构,并结合融合深度图优化了原始网络中的锚框机制,在不增加计算量的前提下缩小了网络模型体积,提升了网络的检测精度。为了估计目标物体的姿态,本文利用语义分割网络来识别物体表面平整的光滑平面,提取出表面的平面之后,对于物体表面进行空间建模,确定平面法向量后,得到了物体的姿态信息,可以控制机械手臂运动到物体的正上方,沿着平面的法向量方向将机械臂末端的吸嘴贴到物体表面上,从而实现机械臂对于目标物体的准确抓取。最后,本文对设计的视觉算法方案在不同环境下分别对视觉融合算法模块、目标检测算法模块和姿态估计模块进行了反复的测试,实验结果表明,本文提出的目标检测算法在数据集上能达到86.93的mAP,同时姿态估计算法具有很强的抗干扰能力,对于大部分复杂环境中的目标物体,都能正确找到其所在位置,同时能计算得到物体的最终姿态,另外采用了并行算法,一次计算时间仅需1.2s左右。