音频信号特性智能分析研究及软件设计

作     者：王金瑞 

作者单位：西安电子科技大学 

学位级别：硕士

导师姓名：郭万有;张涛

授予年度：2022年

学科分类：0711[理学-系统科学] 07[理学] 

主      题：环境音频智能识别 深度学习 迁移学习 软件设计 

摘      要：环境音频是音频除语音、音乐之外的一类重要音频信息,针对环境音频信号的智能分析受到越来越多的关注。论文研究基于深度学习和迁移学习的音频智能分析技术,旨在设计一种音频智能分析软件,通过该软件可以对环境音频进行智能识别,识别结果可用于安防监控、智能家居、城市噪声管理等方面。首先,本文利用音频预处理技术对原始环境音频进行简单的预处理。为了提高原始环境音频的质量,先利用双门限端点信号检测算法剪除环境音频中的无声片段,接着通过预加重算法增强环境音频高频部分能量,再使用分帧和加窗操作分割环境音频信号。然后,本文设计了一种结合PANNs网络和门控循环单元网络(GRU)的环境音频识别模型。针对环境音频训练样本不足的问题,引入基于AudioSet大型音频数据集的PANNs网络。PANNs网络具有原始音频和其对数梅尔谱双输入的特点,利用原始音频输入,补充对数梅尔谱缺失的音频特征。同时设计了PANNs+GRU目标网络模型。接下来,论文设计五个实验验证目标模型性能。实验先对比了GRU网络结构对模型识别结果的影响,实验结果表明三层512神经节点的GRU网络性能最好。实验又对比了迁移学习对模型识别结果的影响,实验结果表明迁移学习提高了模型识别效果且小样本学习时表现更好。其次,实验对比了不同源训练集对模型识别结果的影响,实验结果表明AudioSet数据集更适合源模型训练。再次,实验对比了不同迁移方式对模型识别结果的影响,实验结果表明微调迁移学习模型识别效果最好。实验还对比了其它环境音频识别模型,实验结果表明本文提出的PANNs-GRU模型识别效果优于其它模型,整体识别准确度达到90%以上。最后,实现环境音频智能识别软件设计及测试。先将训练完成的音频识别模型保存,利用函数调用模型分别实现音频识别和声音时间检测功能,增加音频录制和播放功能;其次,利用PyQt软件开发GUI界面,实现上述功能的人机交互,将相关文件打包生成环境音频智能识别软件。接着通过实验对环境音频智能识别软件进行功能和性能测试。实验利用麦克风采集多种环境音频进行识别,测试结果表明软件的识别准确度高,对音频的处理识别速度快,软件具有较好的实时性和稳定性。