基于多模态特征对齐的作物病害叶片检测

作     者：周一帆 刘东洋 周宇平 Zhou Yifan;Liu Dongyang;Zhou Yuping

作者机构：驻马店职业技术学院信息工程学院河南驻马店463000 驻马店职业技术学院河南省乡村智慧农业工程研究中心河南驻马店463000 中国农业大学信息与电气工程学院北京市100083 山东农业大学作物生物学国家重点试验室山东泰安271018 

出 版 物：《中国农机化学报》 (Journal of Chinese Agricultural Mechanization)

年 卷 期：2024年第45卷第7期

页      面：180-187页

学科分类：081203[工学-计算机应用技术] 08[工学] 09[农学] 0901[农学-作物学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(32072357) 河南省高等学校青年骨干教师资助计划(2015GGJS-300) 

主　　题：病害叶片检测 多模态特征 视觉编码特征 文本编码特征 细粒度分类 

摘      要：针对现有农作物病害叶片检测方法利用图像特征定位叶片病害区域精度不高的问题,提出一种基于多模态特征对齐的作物病害叶片检测新方法。在训练阶段,利用视觉编码器和文本编码器将农作物叶片集中的图片和文本进行编码,并根据视觉编码特征定位给定图片中的病害区域,利用视觉和文本编码融合特征实现病害区域病害类型的细粒度分类。在推理阶段,利用预训练的病害区域定位模块定位给定测试图片中的病害区域,并将其提取的病害区域作为预训练分类模型的输入;通过计算预测文本值与文本集中原始标签之间的相似度值,快速给出病害区域的细粒度分类结果。在多个开源的农作物病害数据集上进行测试,所提出方法在马铃薯、番茄、苹果和草莓四种类型的病害叶片数据集上精准率分别为0.9574、0.9611、0.9580和0.9502,综合性能更优,具有较好实用价值。