采用双模态联合表征学习方法识别作物病害

作     者：王春山 赵春江 吴华瑞 周冀 李久熙 朱华吉 Wang Chunshan;Zhao Chunjiang;Wu Huarui;Zhou Ji;Li Jiuxi;Zhu Huaji

作者机构：北京农业信息技术研究中心北京100097 河北农业大学信息科学与技术学院保定071001 国家农业信息化工程技术研究中心北京100097 河北省农业大数据重点实验室保定071001 河北农业大学机电工程学院保定071001 

出 版 物：《农业工程学报》 (Transactions of the Chinese Society of Agricultural Engineering)

年 卷 期：2021年第37卷第11期

页      面：180-188页

核心收录：

学科分类：0710[理学-生物学] 09[农学] 0802[工学-机械工程] 0901[农学-作物学] 0801[工学-力学（可授工学、理学学位）] 

基　　金：北京市科技计划项目(Z191100004019007) 国家重点研发计划(2020YFD1100602,2019YFD1101105) 河北省重点研发计划项目(20327402D) 河北省省属高等学校基本科研业务费研究项目(KY202004) 河北省引进留学人员资助项目(C20190340) 

主　　题：模型 病害 双模态 联合表征学习 少样本 开放环境 病害识别 

摘      要：基于深度卷积神经网络的视觉识别方法在病害诊断中表现出色,逐渐成为了研究热点。但是,基于深度卷积神经网络建立的视觉识别模型通常只利用了图像模态的数据,导致模型的识别准确率和鲁棒性,都依赖训练数据集的规模和标注的质量。构建开放环境下大规模的病害数据集并完成高质量的标注,通常需要付出巨大的经济和技术代价,限制了基于深度卷积神经网络的视觉识别方法在实际应用中的推广。该研究提出了一种基于图像与文本双模态联合表征学习的开放环境下作物病害识别模型(bimodalNet)。该模型在病害图像模态的基础上,进行了病害文本模态信息的嵌入,利用两种模态病害信息间的相关性和互补性,实现了病害特征的联合表征学习。最终bimodalNet在较小的数据集上取得了优于单纯的图像模态模型和文本模态模型的效果,最优模型组合在测试集的准确率、精确率、灵敏度、特异性和F1值分别为99.47%、98.51%、98.61%、99.68%和98.51%。该研究证明了利用病害图像和病害文本的双模态表征学习是解决开放环境下作物病害识别的有效方法。