复杂环境下绿色球形果实的检测和分割研究

作     者：徐莹 

作者单位：山东师范大学 

学位级别：硕士

导师姓名：贾伟宽

授予年度：2024年

学科分类：082804[工学-农业电气化与自动化] 08[工学] 0828[工学-农业工程] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：复杂环境 绿色球形果实 目标检测 实例分割 

摘      要：深度学习前沿理论的快速发展为果蔬生产的智能化作业提供了新的思路和解决方案,果实的精准检测和分割制约着农业装备的作业性能。在自然环境的果园和菜园,或设施农业环境下,受果实生长姿态、物理尺度、果实颜色等因素的影响,给目标果实的精准识别带来巨大挑战。球形果实在果蔬中有较大占比,本研究以果园中的苹果、柿子和设施农业中的西红柿为研究对象,开展绿色球形果实的精准识别研究,主要研究内容包括: (1)当前公开的球形果数据集大多为异色系果实,绿色果实的数据集较为匮乏,因此,本研究构建三种绿色球形果实数据集。在充分考虑光照、机位、天气等因素的影响下,采集自然环境中的绿色苹果、绿色柿子图像,以及设施农业环境中的绿色西红柿图像,对采集到的图像进行预处理后,采用Lable Me软件进行人工标注,将其保存为COCO格式数据集,并按照对应比例划分训练集和测试集。 (2)针对多尺度特征融合、正负样本不平衡问题,提出一种基于优化的YOLOX-m的绿色果实检测模型。在特征融合阶段,引入空洞空间金字塔池化模块,增加卷积核的感受野,增强网络对多尺度特征的上下文信息感知能力;通过变焦损失调整分类权重,提升难分类的的目标权重和降低简单分类的目标权重,以减轻正负样本分布不均衡带来的负面影响。新模型在苹果、柿子、西红柿三个数据集的检测精度达64.8%、74.7%、82.4%。 (3)针对因遮挡或重叠导致的目标果实边界模糊问题,提出一种基于轮廓的绿色果实优化实例分割模型。引入特征金字塔网络进行多尺度特征融合,并插入BFP(Balanced Feature Pyramid)模块平衡语义特征信息;在分割阶段,构建循环多层感知机聚合变形模块对果实初始轮廓进行变形,扩大上下文聚合的感受野,实现对果实轮廓的精准分割。新模型在苹果、柿子、西红柿三个数据集的实例分割精度达57.8%、75.5%、66.0%。 综上,针对复杂环境下绿色球形果实的检测与分割难题,本研究基于前沿的深度学习理论设计了优化模型,为果蔬的智能化生产提供有效的解决方案,并通过三个数据集验证了模型的精度、鲁棒性、泛化能力等。为果蔬的科学化管理和自动化作业提供理论依据和技术支撑。