融合多特征的藏语语音情感识别技术研究

作     者：彭毛扎西 

作者单位：青海师范大学 

学位级别：硕士

导师姓名：才智杰

授予年度：2023年

学科分类：0501[文学-中国语言文学] 0304[法学-民族学] 0711[理学-系统科学] 03[法学] 05[文学] 050107[文学-中国少数民族语言文学（分语族）] 07[理学] 

主      题：语音信号处理 语音情感识别 情感语音数据库 情感特征 

摘      要：语音不仅携带语义信息,而且携带丰富的情感信息。情感在人机交互中扮演着非常重要的角色。语音情感识别(Speech Emotion Recognition,SER)是指从语音信号中提取表达情感的声学特征,并确定这些声学特征与人类情感之间的对应关系。汉语、英语等语言的语音情感识别技术已经取得了显著的成果,藏语语音情感分析技术处于起步阶段。本文从情感语音数据库构建、情感语音的特征提取及分析、语音情感识别模型构建及系统设计实现等方面研究了藏语语音情感识别技术。(1)情感语音数据库构建方面,本文通过分析对比汉、英等语言语音情感类型划分及数据库构建方法的基础上,设计了藏语情感语音数据库构建方案,该方案包括藏语语音情感分类、情感语音采集、情感语音标注和有效性分析等。依照藏语情感语音数据库构建方案建立了面向藏语语音情感分析的情感类型集(TESCS-9),利用录音法和剪辑法构建了藏语情感语音数据库(TESDB-2745),并采用改进模糊综合评价法评估了该情感语音数据库的有效性,为藏语语音情感分析奠定了基础。(2)情感语音的特征提取及分析方面,为了揭示藏语情感语音韵律特征与情感状态之间的关系,本文以藏语情感语音数据库(TESDB-2745)为研究对象,从2745句藏语情感语音中提取了高兴、愤怒、悲伤、恐惧、厌恶、惊讶、中性、夸张和焦急等9种情感类型的韵律特征,统计了藏语情感语音韵律特征的分布规律,并分析了情感语音韵律特征与情感状态之间的关系,为藏语语音情感分析提供理论数据。(3)语音情感识别模型构建及系统开发方面,通过对比分析语音情感识别常用的传统机器学习模型和深度学习模型在藏语语音情感识别任务上的性能,针对单一特征在情感识别中准确度不高的问题,融合时长、基频、基频调谐偏移、过零率、能量、振幅、梅尔频率、MFCC、色谱图、频谱质心、频谱平坦度和频谱对比度等多特征,以LSTM为框架构建了融合多特征的藏语语音情感识别模型,设计实现了融合多特征的藏语语音情感识别可视化系统,并实验验证了模型的有效性。