基于模糊标签的音频标记与音频事件检测
作者单位：北京邮电大学
学位级别：硕士
导师姓名：刘明
授予年度：2020年
摘 要：在音频事件检测的研究中,要想取得较好的检测结果,就需要人工标注的、含有音频事件种类信息和具体时间信息的强标签。但是,强标签标注起来费力劳神,工作量大、人工成本高,导致可公开获取的强标签音频数据集的规模一般在2小时左右,其中的音频事件类别与数目也较少。为了降低音频事件检测研究中,对于人工标注的依赖,也为了摆脱帧级别强标签不足带来的限制,本文基于半监督学习探讨了如何在事件信息不足、不准确的情况下,从仅有的信息中,学习并挖掘出完整的音频事件信息。在具体研究过程中,存在的音频事件信息的不足,可以分为:①缺少事件发生的时间信息,但含有事件出现的顺序信息;②缺少事件的时间信息、顺序信息,但含有明确的种类信息;③缺少事件的时间信息、顺序信息,甚至种类信息也是不确定。为了在标签信息不足的情况下,有效的完成音频事件的分类与检测,本文结合半监督学习,当缺少音频事件的时间信息时,立足于其顺序信息,提出了序列标签检测方案,旨在基于序列学习,从顺序信息中挖掘出事件的时间信息;当缺少时间与顺序信息时,立足于其种类信息,本文提出了大规模弱标签检测方案,旨在结合半监督学习与弱监督,从没有事件时间相关信息的数据中,学习并推测出隐含的时间信息;最后,当标签的可靠性低时,本文提出了概率标签检测方案,旨在仅依靠弱监督,从不可靠、充满噪声的标签中,推断出潜在的真实标签。本文将音频事件信息不准确的标签:序列标签、弱标签、概率标签,统称为模糊标签。模糊标签的提出,旨在音频事件检测的研究中,降低标注的工作量,减少对于人工标注的依赖。实验结果表明,以半监督学习为基础,基于模糊标签的音频标记与事件检测是可行的。并且,在某些方面,基于模糊标签训练的模型性能,要优于基于强标签训练的模型。因此,模糊标签的推广,将在实际应用中,极大缓解强标签数据不足给研发工作带来的限制。本文以半监督学习为基础,在音频标记与事件检测任务中进行的一系列探索与研究,不仅阐明了基于模糊标签进行音频标记和事件检测是可行的,也摸索出了一条不同于强标签的研究思路,为音频标记与事件检测方向的研究者,提供了更多可行的选择。
同方学位论文库