基于实例分割的番茄串视觉定位与采摘姿态估算方法

作     者：张勤 庞月生 李彬 ZHANG Qin;PANG Yuesheng;LI Bin

作者机构：华南理工大学机械与汽车工程学院广州510641 华南理工大学自动化科学与工程学院广州510641 

出 版 物：《农业机械学报》 (Transactions of the Chinese Society for Agricultural Machinery)

年 卷 期：2023年第54卷第10期

页      面：205-215页

核心收录：

学科分类：08[工学] 080202[工学-机械电子工程] 0903[农学-农业资源与环境] 0802[工学-机械工程] 0901[农学-作物学] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：广东省现代农业产业共性关键技术研发创新团队建设项目(2019KJ129)。 

主　　题：番茄串 机器人 实例分割 视觉定位 采摘姿态预测 

摘      要：准确识别定位采摘点,根据果梗方向,确定合适的采摘姿态,是机器人实现高效、无损采摘的关键。由于番茄串的采摘背景复杂,果实颜色、形状各异,果梗姿态多样,叶子藤枝干扰等因素,降低了采摘点识别准确率和采摘成功率。针对这个问题,考虑番茄串生长特性,提出基于实例分割的番茄串视觉定位与采摘姿态估算方法。首先基于YOLACT实例分割算法的实例特征标准化和掩膜评分机制,保证番茄串和果梗感兴趣区域(Region of interest,ROI)、掩膜质量和可靠性,实现果梗粗分割;通过果梗掩膜信息和ROI位置关系匹配可采摘果梗,基于细化算法、膨胀操作和果梗形态特征实现果梗精细分割;再通过果梗深度信息填补法与深度信息融合,精确定位采摘点坐标。然后利用果梗几何特征、八邻域端点检测算法识别果梗关键点预测果梗姿态,并根据果梗姿态确定适合采摘的末端执行器姿态,引导机械臂完成采摘。研究和大量现场试验结果表明,提出的方法在复杂采摘环境中具有较高的定位精度和稳定性,对4个品种的番茄串采摘点平均识别成功率为98.07%,图像分辨率为1280像素×720像素时算法处理速率达到21 f/s,采摘点图像坐标最大定位误差为3像素,深度误差±4 mm,成功定位采摘点后采摘成功率为98.15%。与现有的同类方法相比,采摘点图像坐标定位精度提高76.80个百分点,采摘成功率提高15.17个百分点,采摘效率提高31.18个百分点,满足非结构化种植环境中番茄串采摘需求。