基于音节和短语聚类分析的鸟声识别及鸟类多样性监测技术研究

作     者：周棣锋 

作者单位：广州大学 

学位级别：硕士

导师姓名：陈庆春

授予年度：2024年

学科分类：0711[理学-系统科学] 07[理学] 0713[理学-生态学] 

主      题：被动声学监测 鸟声识别 鸟声音节和短语 深度聚类 多样性监测 

摘      要：监测生物多样性的状况和趋势对于评估生态系统健康、确定保护优先事项和指导保护决策至关重要。作为指示物种、哨兵物种、伞形物种、模式生物和旗舰物种,鸟类监测在生物多样性监测中占据着重要的地位。近年来,基于被动声学监测的鸟类生物多样性监测逐步被采纳为一种基础的生物多样性监测技术而得到越来越多的应用。但利用深度学习实现鸟类物种多样性监测往往需要高质量的鸟声声纹库,而高质量的鸟声声纹库往往需要海量的人工采集和积累。为了降低对高质量鸟声声纹库的依赖,迫切需要研究有效的技术方法,一方面减轻或者说降低对人工处理的要求,另一方面也能有效支撑鸟类生物多样性监测应用。在此背景下,本文提出了一套基于音节和短语聚类分析的鸟声识别及鸟类多样性监测技术框架,为面向鸟类生物多样性监测提供了高效可行的解决方案。 论文的主要工作内容包括: 首先,论文研究了基于鸟声增强的鸟声检测算法,建立了一个基于双路径循环神经网络(DPRNN)的鸟声增强模型,并展示了如何将鸟声增强模型与干净的鸟声数据和带背噪的鸟声数据通过时域损失函数和时频域损失函数进行联合训练。通过训练得到鸟声模型先对真实场景下的鸟鸣记录进行鸟声增强,然后使用时域特征和频域特征等多重特征来进行鸟声检测。论文利用公开数据集和模拟复杂场景下的混音数据集验证了基于鸟声增强的鸟声检测算法的有效性。论文的实验结果表明,本文提出的方法在不同自然噪声和人为噪声情景下,均优于现有的算法。 其次,论文研究了基于对比学习的鸟鸣音节和短语聚类方法,讨论了一个基于多尺度卷积核的残差网络(MSResnet)表征学习模型,并展示如何将这个对比学习模型与无标签鸟声音节和短语数据进行表征学习。通过保留特征编码层并对聚类模型的参数采用最近邻语义聚类(SCAN)函数进行训练,将鸟类特征映射到高维空间形成簇状并进行聚类,从而完成无监督鸟声识别。论文采用Xeno-canto数据集和孟加拉雀数据集的5种鸟、10种鸟和20种鸟的聚类研究,验证了基于对比学习的鸟鸣音节和短语聚类方法的性能优于现有的方法,其中在5种鸟的聚类实验中识别准确率可以达到98%。 第三,论文以广州市白云山城市公园2022年4月实地鸟声监测数据为例,开展了基于鸟声增强的音节提取和基于对比学习的鸟声音节和短语聚类分析应用验证。首先对鸟声监测数据进行基于鸟声增强的音节检测,得到鸟声起始时间戳。然后,对提取得到的鸟声数据进行基于对比学习的鸟声音节和短语聚类,验证了论文所提出的框架不仅可以对真实场景的数据进行鸟鸣种类分析,还能统计分析不同鸟类的鸣叫次数和鸣叫时间段等信息,为进一步丰富鸟类监测信息提供基础。 最后,论文讨论了真实场景下的噪声和干扰对鸟声检测和鸟声聚类准确率的影响,如缺乏鸟声干净数据、类别不平衡和类别数过多等问题,引出了鸟声检测方法所面临的难点和鸟声聚类方法在鸟声识别中面临的难点,并探讨了进一步提升和改进鸟声检测和鸟声聚类性能的改进思路。 论文的相关研究工作为实施基于被动声学的高性能鸟类多样性监测提供了可行的技术方案,也为后续进一步拓展鸟类多样性监测技术方案研究提供了有益的参考。