苹果树枝条的识别与连接点的定位

作     者：岳阳 

作者单位：北京林业大学 

学位级别：硕士

导师姓名：康峰

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 09[农学] 0802[工学-机械工程] 0902[农学-园艺学] 090201[农学-果树学] 

主      题：苹果树枝条 剪枝 三维重建 图像识别 深度学习 

摘      要：苹果是农业中重要的经济作物之一,苹果树剪枝可以合理控制树的生长趋势,影响果实的品质和产量,有效预防病虫害的发生。目前在苹果树剪枝方面,主要依靠人工剪枝,其效率低,人工成本高。随着农村劳动力的转移和人口老龄化的加剧,对智能化剪枝装备的需求更加迫切。本文以苹果树枝条的识别为主要研究内容,针对不同的传感器,由整体到局部,构建了苹果树剪枝机器人的视觉系统。本文的具体研究内容如下:第一,基于点云的苹果树枝条三维重建。该方法通过手持式激光雷达获取苹果树果园的点云地图,对实验区域进行人工划分后,使用布料模拟滤波和统计滤波器分别滤除地面点云与噪声点;然后利用treeseg结合人工操作实现苹果树点云的单木分割;最后通过ADtree算法实现苹果树点云的三维重建。通过该方法重建的苹果树枝条模型,其树干、一级枝和二级枝的识别成功率分别为100%、90.4%和60.1%。另外还利用L1-中轴算法对单木分割后的点云进行苹果树骨架提取,提取结果在一定程度上能够反映苹果树枝条的中轴信息。第二,基于图像处理的苹果树特征提取。该方法使用Realsense d435i获取苹果枝条的彩色图像和深度图像。将深度图像进行滤波处理后与彩色图像对齐,通过设定距离阈值将2m外的像素点设为背景,有效地去除了图像中大部分的背景像素。然后通过双边滤波进行图像平滑处理,采用R-B0进行阈值分割,完成图像二值化处理。最后利用Zhang-Suen细化算法提取二值图像的中轴信息,并通过中轴像素点特点,提取了各级枝条连接点的位置,完成枝条连接点的定位。第三,基于深度学习方法的苹果树枝条识别与分割。该方法对第二种方法中的缺点进行了优化。首先,对实地拍摄的苹果树枝条数据集进行标注,根据树干、一级枝、支撑立柱分为了三类。采用了Mask R-CNN与Cascade Mask R-CNN两种深度学习算法对数据集进行训练,通过比较得出Cascade Mask R-CNN能够更好的完成苹果树枝条的识别与分割任务,其识别与分割的mAP分别为90.6%和89.8%;树干与一级枝的识别AP值分别达到98.7%和98%,分割AP值为98.7%和94.7%。预测得到树干与一级枝的掩膜图像,对一级枝掩膜图像进行Zhang-Suen算法细化,对树干掩膜图像进行膨胀处理,最后将二者像素相加,并根据枝条连接点的像素特点定位连接点。