多模态生理信号音乐的生成方法研究

作     者：樊英捷 

作者单位：北京交通大学 

学位级别：硕士

导师姓名：吴丹

授予年度：2020年

学科分类：12[管理学] 07[理学] 08[工学] 0831[工学-生物医学工程（可授工学、理学、医学学位）] 0711[理学-系统科学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 080401[工学-精密仪器及机械] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 0835[工学-软件工程] 0836[工学-生物工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：无标度 音乐生成 心电信号(ECG) 神经网络 

摘      要：音乐是一种艺术表达形式,可以表达人的思想、情感和意识,既对人的情绪和心理产生影响,又会对人的生理产生影响。人在听悲伤的音乐时,心情就会低沉忧郁,听节奏明快的音乐,则会感觉到心情愉悦,而在听热烈奔放的摇滚乐时,心跳的速度会变快。人类个体在听音乐时产生的感觉,就是人与音乐产生的共振,这种共振侧面表明了人类个体在生理上具有音乐性节律,而呼吸、心跳中就蕴含着这种节律。因此,采集人们的生理信号,将其转换成音乐,以音乐的形式记录生理信号,通过对音乐的分析可以获取人体的生理状态信息,了解人体的生理状态差异。本文采用的数据来自一个说谎检测实验,该实验记录心电信号、皮电信号和表情数据信号在内的3种生理信号,信号采集于说实话、说谎话、静息和指定条件下说实话4种生理状态。本文探索了多模生理信号生成音乐两种方法:第一种是无标度参数映射:基于生理信号与音乐共同遵循的无标度性质,完成了采用参数映射方法生成音乐的研究,将心电信号、皮电信号和表情信号的振幅、周期和功率映射为音乐中音符的音乐、音高和音强。对生成的音乐的各项要素进行统计、分析和幂律拟合发现,不同生理状态生成的音乐之间存在着显著差异。通过音乐聆听实验可发现,生理信号生成的音乐可以辅助说谎话与否的生理状态的区分,且生理音乐的聆听次数会影响音乐生理状态的判断。第二种是深度学习方法:基于seq2seq(sequence to sequence)序列到序列和注意力机制方法完成了生理信号生成音乐的深度学习方法的初步探索。生理信号输入到搭建好的seq2seq模型中,可以得到音乐符号,生成音乐,但是结果与我们的预期差距较大,并不能生成可区分状态的音乐。通过对多模生理信号生成音乐方法的探索与对比,发现无标度参数映射方法是目前生理信号生成音乐研究中比较好的方法,深度学习在生理信号生成音乐中不能很好地学习生理状态之间的差异,还需要进一步的探索和研究。对生理信号生成音乐的研究可以作为分析和研究生理音乐中的生理状态表达模式的基础和前提,同时也可以为深度学习网络在音乐以及医学临床的应用方面提供新的思路和途径,探索深度学习在生理信号分析中的新应用。生理音乐将复杂的信息进行了“可听化转换,将音乐参数引入深度学习网络,可能提供一种促进人工智能发展的新思路和途径。该成果还可以用于研发生理状态监控和反馈设备,比如用于失眠的治疗,疼痛的缓解,健康状况的评估等领域,具有极大的经济潜力。