基于ViT-改进YOLOv7的稻田杂草识别

作     者：陈学深 吴昌鹏 党佩娜 张恩造 陈彦学 汤存耀 齐龙 CHEN Xueshen;WU Changpeng;DANG Peina;ZHANG Enzao;CHEN Yanxue;TANG Cunyao;QI Long

作者机构：华南农业大学工程学院广州510642 

出 版 物：《农业工程学报》 (Transactions of the Chinese Society of Agricultural Engineering)

年 卷 期：2024年第40卷第10期

页      面：185-193页

核心收录：

学科分类：0832[工学-食品科学与工程（可授工学、农学学位）] 08[工学] 083204[工学-水产品加工及贮藏工程] 

基　　金：广东省自然科学基金项目(2021A1515010831) 广州市科技计划项目(202206010125) 广东省杰出青年基金项目(2019B151502056) 国家自然科学基金项目(51575195)。 

主　　题：机器视觉 深度学习 YOLOv7 ViT 稻田杂草 识别 

摘      要：为解决光线遮蔽、藻萍干扰以及稻叶尖形状相似等复杂环境导致稻田杂草识别效果不理想问题,该研究提出一种基于组合深度学习的杂草识别方法。引入MSRCP(multi-scale retinex with color preservation)对图像进行增强,以提高图像亮度及对比度;加入ViT分类网络去除干扰背景,以提高模型在复杂环境下对小目标杂草的识别性能。在YOLOv7模型中主干特征提取网络替换为GhostNet网络,并引入CA注意力机制,以增强主干特征提取网络对杂草特征提取能力及简化模型参数计算量。消融试验表明:改进后的YOLOv7模型平均精度均值为88.2%,较原YOLOv7模型提高了3.3个百分点,参数量减少10.43 M,计算量减少66.54×109次/s。识别前先经过MSRCP图像增强后,与原模型相比,改进YOLOv7模型的平均精度均值提高了2.6个百分点,光线遮蔽、藻萍干扰以及稻叶尖形状相似的复杂环境下平均精度均值分别提高5.3、3.6、3.1个百分点,加入ViT分类网络后,较原模型平均精度均值整体提升了4.4个百分点,光线遮蔽、藻萍干扰一级稻叶尖形状相似的复杂环境下的平均精度均值较原模型整体提升了6.2、6.1、5.7个百分点。ViT-改进YOLOv7模型的平均精度均值为92.6%,相比于YOLOv5s、YOLOXs、MobilenetV3-YOLOv7、YOLOv8和改进YOLOv7分别提高了11.6、10.1、5.0、4.2、4.4个百分点。研究结果可为稻田复杂环境的杂草精准识别提供支撑。