HeartBeats：音乐生成模型研究

作     者：傅佳琪 

作者单位：浙江大学 

学位级别：硕士

导师姓名：孙守迁;张克俊

授予年度：2018年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：音乐生成 运动心率 强化学习 生成对抗网络 

摘      要：热身是运动的重要环节,有效的热身使人逐渐适应激烈的运动,并减少危险的发生。相关研究表明,当热身心率达到最大心率的50%至60%时,运动者的运动状态接近最佳。感染力强的音乐能刺激大脑皮层,对生理与心理状态产生积极影响,因此,音乐已经成为辅助调节运动状态的合适刺激手段之一。打击音乐是一种以敲、击、摇和摩擦乐器为主的音乐,节奏感强烈是打击音乐与运动的共同特点,所以,打击乐成为有效的运动刺激源之一。目前,针对音乐辅助调节运动心率的研究主要局限于体育运动学领域,音乐的选择依赖于主观判断。而主观选择音乐的方法并不能对心率进行自适应的调节,存在不确定性,同时,研究对象往往是专业运动员,存在局限性。本文提出了一种自适应调节非运动专业人士的运动辅助调节的HeartBeats音乐生成模型。在特征处理环节,将打击乐器中最具代表性的架子鼓作为演奏乐器,然后,收集了 50首MIDI打击音乐构建数据库,并将音乐样本转化为鼓法-心率特征。在模型训练环节,采用强化学习技术构建音乐生成模型,并加入生成对抗机制,研发了一个音乐逼真度判别模型作为强化学习的反馈工具。在实现环节,开发了一个系统应用,并招募35位被试使用,收集被试试听HeartBeats生成音乐的心率数据,对结果进行统计与分析,以验证提出的模型的有效性。本文的研究成果和创新点主要包括:(1)构建针对运动运动辅助调节的HeartBeats音乐生成模型。使用强化学习模型解决功能性音乐生成问题,增加一个音乐逼真度判别器来构建生成对抗机制。该强化学习模型的三要素分别为:状态——音乐上下文与心率上下文,动作——下一刻架子鼓击打的方式,反馈——心率变化与音乐逼真度判别器输出;(2)对本文提出的音乐生成模型做了实证研究,招募35位被试进行实验,获得30位有效被试数据。实验结果显示:1)静坐时试听HeartBeats生成的音乐,相较于静息状态,平均心率提升14.52%,峰值心率提升16.64%;2)慢走试听HeartBeats生成的音乐,相较于静息状态,平均心率提升26.82%,峰值心率提升35.51%;3)慢走时,听HeartBeats生成的音乐比不听音乐,心率有效达到热身心率区间(最大心率的50%至60%)。本文是综合深度学习模型改进、实证实验设计与人机交互系统实现的交叉研究,研究的目的是促进运动热身心率的积极调节。实验结果表明,HeartBeats能有效将运动辅助调节至最佳热身区间,且一定程度上解决了随机筛选出的音乐的不确定性与局限性。本文为音乐生成相关领域提供了探索性的应用与实证成果,对于进一步的“人、音乐、人工智能三位一体交互模式的完善与拓展具有重要的价值。