基于深度学习的母幼斑海豹（Phoca largha）发声与行为识别研究
作者单位：大连海洋大学
学位级别：硕士
导师姓名：邢彬彬
授予年度：2024年
学科分类：0711[理学-系统科学] 12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 0908[农学-水产] 07[理学] 081104[工学-模式识别与智能系统] 08[工学] 09[农学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）]
摘 要：动物通过行为来表达自己的情绪和各种生理需求,通过研究动物各种各样的行为,有助于了解动物的生活习性、探究动物通讯交流方式以及揭示行为变化规律,进而制定更加科学和有效的动物保护措施。本研究利用视频监测技术(Video monitoring technology)与被动声学监测技术(passive acoustics monitoring),连续采集了人工豢养斑海豹(Phoca largha)在哺乳期内的行为视频与发声音频,并定义了斑海豹的五种行为,分别是母兽的抚幼行为与求食行为,以及幼崽的逃避行为、渴求哺乳行为与断乳初期行为。使用焦点取样法与0-1取样法记录了每种行为在不同时期内的发生次数,并对行为目的以及行为变化趋势进行了深入分析;将采集得到的行为视频按照行为类别制作为数据集,搭建神经网络,训练卷积神经网络模型,并对斑海豹的行为进行分析识别以及效果评估;利用声学软件解析斑海豹的发声频谱特征,通过单因素方差分析了斑海豹在不同行为下的发声差异,并对比了母兽及幼崽的发声差异。本文的主要研究结果如下:1、在哺乳期内,母兽与幼崽的各种行为在发生次数上均呈现出不同的变化趋势。母兽的抚幼行为在幼崽第1周龄内尤为明显,在幼崽第2周龄与第3周龄内有所减少,直至幼崽第4周龄内行为完全消失;母兽的求食行为在幼崽第1—2周龄内有明显增多趋势,在幼崽第3周龄内逐渐减少,但不会完全消失,在幼崽第4周龄内基本保持恒定;幼崽的逃避行为在第1—2周龄内呈现增多趋势,第3周龄内骤减,其后保持恒定;幼崽的渴求哺乳行为在第1—2周龄内逐渐增加,在第2周龄内的末期与第3周龄内的初期渴求哺乳行为发生次数达到最大值,其后该行为发生次数逐渐减少直至消失;断乳初期行为只发生在幼崽第2周龄内的末期与第3周龄内的初期,在第1周龄内与第4周龄内不发生此行为。2、在使用卷积神经网络模型(Convolutional Neural Networks)对母幼斑海豹的行为进行识别的过程中,主要经过数据收集、数据预处理、数据集制作,构建卷积神经网络模型、卷积神经网络训练以及测试和评估等步骤。在卷积神经网络训练过程中,随着迭代次数的增加,训练集和测试集的准确率逐步上升并趋于稳定,测试集精度比训练集精度略高;训练迭代的次数Epoch在40左右时,精度已达到最高,最高精度达到87.6%,该卷积神经网络模型在斑海豹的行为识别上达到了较好的识别效果。3、母兽与幼崽在哺乳期内存在频繁且多种形式的声通讯交流。实验过程中共获取到母兽的发声次数340次,行为发生次数226次,单次行为下的平均发声次数为1.50次;以及幼崽的发声次数1350次,行为发生次数590次,单次行为下的平均发声次数为2.29次。母兽在抚幼行为下的发声主频率峰值为1000.9±153.5 Hz,对应声压级为112.8±2.0 d B,发声持续时长为1.71±3.8 s;母兽在求食行为下的发声主频率峰值为856.9±359.4 Hz,对应声压级为111.3±4.2 d B,发声持续时长为1.59±3.5 s;斑海豹幼崽在逃避行为下的发声主频率峰值为473.0±156.7 Hz,对应声压级为110.1±5.1 d B,发声持续时长为2.11±3.2 s;斑海豹幼崽在渴求哺乳行为下的发声主频率峰值为917.9±396.8 Hz,对应声压级为107.6±4.1 d B,发声持续时长为2.10±3.4 s;斑海豹幼崽在断乳初期的发声主频率峰值为662.9±180.1 Hz,对应声压级为119.4±5.6 d B,发声持续时长为2.51±1.8 s。母兽发声频率集中在497.8Hz—1216.6 Hz,幼崽发声频率集中在316.3 Hz—1314.7 Hz。斑海豹母兽与幼崽在不同行为下的声信号声压级均存在显著性差异(P0.01)。在哺乳期内,母兽及幼崽的各种行为变化与幼崽的生长发育状态密切相关,每种行为都是它们应对复杂多变的环境并确保它们自身能够存活的关键生存策略。深度学习卷积神经网络模型可较精准地提取到数据集中的斑海豹动作特征,并取得较好的行为识别效果,在一定程度上提高斑海豹行为分析的客观性与准确性。母兽与幼崽在不同行为下的发声均存在一定差异,它们能够借助这些不同的声音特征传达多样的信息。母兽与幼崽的声信号特征存在着明显的差异,这种发声差异可能与所处生长阶段不同或发声目的不同有关。研究人工豢养斑海豹母兽与幼崽在哺乳期内的行为与发声,有助于了解其行为特征,掌握其在人工豢养环境下的状态,以及探究母子间声音通讯交流作用。通过放归健康的、适应力强的个体,还可以为野外斑海豹种群数量的增长做出贡献,并为野外种群探测、救助救治提供一定参考依据。
同方学位论文库