基于深度学习的音乐自动标注方法研究

作     者：冯楚祎 

作者单位：北京邮电大学 

学位级别：硕士

导师姓名：马占宇

授予年度：2019年

学科分类：0711[理学-系统科学] 12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 07[理学] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：音乐自动标注 深度学习 卷积循环神经网络 受试者工作特征曲线 

摘      要：伴随着当代信息科学技术的快速发展,多媒体资源飞速增长。音乐作为多媒体资源的重要形式之一,有着广泛的受众和高需求量的市场。为了使音乐检索和音乐推荐的服务质量与日益增长的用户需求相匹配,对音乐内容的深度挖掘与精准定位便显得尤为重要。音乐标签,作为音乐片段所具备属性的抽象化总结,对其实现自动标注不仅可以节约大量的人力与时间,还有助于音乐标签的标准化和统一化,因此在音乐检索和音乐推荐中具有重要的地位。本文旨在研究基于深度学习的音乐自动标注方法,开展的主要工作如下:首先,对音乐自动标注任务进行分析,对常见的音乐自动标注方法进行研究。深入研究MagnaTagATune数据集,对音乐标签进行多维度的分析,根据音乐自动标注任务的需求和数据本身的特性,进行标签分类和标签融合,从原始音频中提取出梅尔频谱图作为音乐自动标注方法的输入信号。然后,提出一种新型的用于音乐自动标注的卷积循环神经网络,将卷积神经网络和循环神经网络以并行的方式结合起来,利用卷积神经网络对梅尔频谱图进行深层特征的抽取,利用循环神经网络对梅尔频谱序列进行时域总结,再将两种神经网络输出的结果进行整合,得到每种音乐标签的预测概率。最后,在卷积循环神经网络的训练阶段,采取动态设置学习速率的措施,针对不平衡的数据集采用加入惩罚因子的损失函数,提高模型训练的效果。实验选用受试者工作特征曲线和曲线下面积作为主要的评估指标,对本音乐自动标注模型和其他音乐自动标注模型进行t检验以验证本方法的独特性。实验表明,所提出的卷积循环神经网络标注准确率为95.4%,受试者工作特征曲线下面积为0.903,取得了目前最优的标注效果。