农业采摘机器人视觉感知关键技术研究

作     者：周浩 唐昀超 邹湘军 王红军 陈增兴 龙亚宁 艾璞晔 Zhou Hao;Tang Yunchao;Zou Xiangjun;Wang Hongjun;Chen Zengxing;Long Yaning;Ai Puye

作者机构：华南农业大学工程学院广州510630 仲恺农业工程学院城乡建设学院广州510080 

出 版 物：《农机化研究》 (Journal of Agricultural Mechanization Research)

年 卷 期：2023年第45卷第6期

页      面：68-75页

学科分类：08[工学] 0828[工学-农业工程] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：广东省省级科技计划项目(2019A050510035) 广东省农业农村厅项目(粤农农函1019号) 广东省重点领域研发计划项目(2019B020223003)。 

主　　题：采摘机器人 机器视觉 深度学习 果实定位 

摘      要：为了提高农业机器人在复杂野外环境下采摘油茶果的速度和准确性,针对机器人视觉感知的关键技术,设计了一种农业机器人果实检测、定位和采摘系统。首先,使用双目相机采集油茶果的左右图像;然后,应用先进的目标检测网络YOLOv4-tiny检测出左右图像中的油茶果;再次,不同于传统的双目相机图像的立体匹配技术,根据YOLOv4-tiny网络生成的预测框提取出油茶果图像的感兴趣区域,并根据预测框的生成机制自适应地进行立体匹配以求解出视差,为后续使用三角测量原理求出油茶果采摘点提供参考;最后,使用基于Eye-in-Hand手眼标定的农业机器人进行采摘试验,验证了本研究的可行性和准确性。试验结果表明:YOLOv4-tiny网络能够精确和实时地检测油茶果,提出的定位方法满足采摘机器人的应用需求,验证了本研究的可行性和准确性。研究可为果园环境中作业的农业采摘机器人视觉感知关键技术提供参考。