基于语义分割的视频鱼类特征提取方法研究

作     者：李潇洋 陈健 常剑波 LI Xiao-yang;CHEN Jian;CHANG Jian-bo

作者机构：武汉大学电子信息学院湖北武汉430072 武汉大学水利水电学院湖北武汉430072 

出 版 物：《水生态学杂志》 (Journal of Hydroecology)

年 卷 期：2024年第45卷第5期

页      面：204-212页

核心收录：

学科分类：07[理学] 0713[理学-生态学] 

基　　金：国家重点研发计划(2022YFC3204200) 

主　　题：弱监督学习 语义分割 视觉自注意力模型 鱼类特征提取 

摘      要：从视频图像中快速、准确提取水生生物(如鱼类)的特征信息,是信息科学与水生态研究结合的热点。基于Transformer的视觉模型,采用一种基于弱监督语义分割的视频鱼类特征提取方法,在无需预训练或微调的条件下,可以实现对鱼的身体、头部和鱼鳍3类形态区域标签的分割提取。采用DeepFish分割数据集构建计算机视觉自注意力模型(vision transformer,ViT),通过对水下拍摄的鱼类视频进行实验,结果实现了鱼体形态主体特征的有效提取,对拟定的3类形态标签区域进行了良好的分割标记。研究方法具有较高的效率、分割准确度和标记区域的连续平滑性,可提供良好的语义特征,为人工智能技术在鱼类等水生生物监测实践中提供了一种低成本、高效率的新方法。