基于多样性信息理解的音频事件检测

作     者：方俊彦 

作者单位：北京邮电大学 

学位级别：硕士

导师姓名：刘刚

授予年度：2022年

学科分类：0711[理学-系统科学] 07[理学] 

主      题：音频事件检测 注意力机制 结构化 多样性问题 多标签问题 

摘      要：音频事件检测研究是当前的研究热点之一。深度学习技术给音频事件检测研究的发展带来了很大的突破。如何使深度学习方法更加兼容音频事件的特点是现在的研究难点之一。为了改进音频事件检测研究当中深度学习网络的架构,本文从多样性问题与多标签问题这两个关键问题出发,提出了在网络架构中加强对于音频事件多样性理解的方法与架构。为了解决以上两个关键问题,本研究的主要内容主要包含以下几个方面:(1)提出了基于隐含属性权重张量的频域信息提取方法。频域权重张量通过对于不同频段进行加权运算来改变不同频段对于分类结果影响的权重大小。这种做法在Dcase2020的任务五中分别在Micro AUPRC和F1的指标上取得了 1%和0.6%的提升。(2)改进了一种基于 Fcanet(Frequency Channel Attention Networks)的音频事件池化方法。音频事件的频谱在频域维度和时域维度体现出不同的多样性。Fcanet的池化方式可以有效解决音频事件在频谱上的结构化多样性问题。本文通过一系列实验得到了适合于音频事件检测的Fcanet的参数。将改进后的Fcanet应用在网络当中提升了最后的分类结果。(3)提出了一种基于预分类的多标签关系建模方法。通过网络训练得到的第一次输出标签通过一定的处理方式重新输入到网络当中,达到在使用弱标签数据集的情况下将标签间的相互关系引入到网络当中的效果。在Dcase2020的任务五中分别在Micro AUPRC和F1的指标上取得了 1.3%和0.7%的提升。