检索结果-南通市图书馆

基于混合分布注意力机制与混合神经网络的语音情绪识别方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机工程与科学 2022年第12期44卷 2246-2254页

作者：陈巧红于泽源贾宇波浙江理工大学信息学院浙江杭州310018

针对现有语音情绪识别中存在无关特征多和准确率较差的问题,提出一种基于混合分布注意力机制与混合神经网络的语音情绪识别方法。该方法在2个通道内,分别使用卷积神经网络和双向长短时记忆网络进行语音的空间特征和时序特征提取,然后将... 详细信息

针对现有语音情绪识别中存在无关特征多和准确率较差的问题,提出一种基于混合分布注意力机制与混合神经网络的语音情绪识别方法。该方法在2个通道内,分别使用卷积神经网络和双向长短时记忆网络进行语音的空间特征和时序特征提取,然后将2个网络的输出同时作为多头注意力机制的输入矩阵。同时,考虑到现有多头注意力机制存在的低秩分布问题,在注意力机制计算方式上进行改进,将低秩分布与2个神经网络的输出特征的相似性做混合分布叠加,再经过归一化操作后将所有子空间结果进行拼接,最后经过全连接层进行分类输出。实验结果表明,基于混合分布注意力机制与混合神经网络的语音情绪识别方法比现有其他方法的准确率更高,验证了所提方法的有效性。

关键词：语音情绪识别梅尔频率倒谱系数双向长短时记忆网络卷积神经网络多头注意力机制

精神分裂症患者阴性症状与语音情绪识别、述情障碍的关系

在线全文

学校读者我要写书评

暂无评论

中国心理卫生杂志 2022年第6期36卷 470-475页

作者：罗红格赵艳丽范丰梅范宏振王云辉屈威王志仁谭云龙张秀军谭淑平华北理工大学公共卫生学院河北唐山063000 华北理工大学心理与精神卫生学院河北唐山063000 北京回龙观医院北京大学回龙观临床医学院北京100096

目的:探讨精神分裂症患者的阴性症状与语音情绪识别、述情障碍的关系。方法:选取符合美国精神障碍诊断与统计手册第4版(DSM-Ⅳ)诊断标准的精神分裂症患者135例,年龄和受教育年限相匹配的正常对照73例。使用语音情绪识别任务、多伦多述... 详细信息

目的:探讨精神分裂症患者的阴性症状与语音情绪识别、述情障碍的关系。方法:选取符合美国精神障碍诊断与统计手册第4版(DSM-Ⅳ)诊断标准的精神分裂症患者135例,年龄和受教育年限相匹配的正常对照73例。使用语音情绪识别任务、多伦多述情障碍量表和阴性症状自评量表进行测评。结果:精神分裂症组对不同情绪(愤怒、厌恶、恐惧、悲伤、惊讶和讽刺)的正确识别率均低于正常对照组(均P识别情绪、难以描述情绪因子和总分高于对照组(均P情绪因子与SNS得分正向关联(β=1.26),悲伤情绪因子得分与SNS得分负向关联(β=-0.59)。结论:本研究提示精神分裂症患者存在语音情绪识别障碍和述情障碍,且阴性症状的严重程度与语音情绪识别和述情障碍的关系密切。

关键词：精神分裂症阴性症状语音情绪识别述情障碍

Head Fusion:一种提高语音情绪识别的准确性和鲁棒性的方法

在线全文

学校读者我要写书评

暂无评论

计算机科学 2022年第7期49卷 132-141页

作者：徐鸣珂张帆南京工业大学计算机科学与技术学院南京211816 国际商业机器麻省实验室马萨诸塞州利特尔顿01460

语音情绪识别指使用机器从说话人的语音中识别说话人的情绪。语音情绪识别是人机交互的重要环节,但是目前的研究中仍然存在很多问题,例如,缺乏高质量的数据、模型准确性不足、在嘈杂的环境下进行的研究很少等。文中提出了一种基于多头... 详细信息

语音情绪识别指使用机器从说话人的语音中识别说话人的情绪。语音情绪识别是人机交互的重要环节,但是目前的研究中仍然存在很多问题,例如,缺乏高质量的数据、模型准确性不足、在嘈杂的环境下进行的研究很少等。文中提出了一种基于多头注意力机制的Head Fusion方法,提高了语音情绪识别在相应数据集上的准确性。文中还实现了一个基于注意力的卷积神经网络模型,并在IEMOCAP数据集上进行了实验。语音情绪识别在该数据集上的准确度提高到76.18%(Weighted Accuracy,WA)和76.36%(Unweighted Accuracy,UA)。根据调研,该结果与该数据集上的最新结果(76.4%的WA和70.1%的UA)相比,在保持WA的同时提高了约6%的UA。此外,还使用了混入50种常见噪声的语音数据进行了实验,通过改变噪声强度、对噪声进行时域平移、混合不同的噪声类型,以识别它们对语音情绪识别(Speech Emotion Recognition)准确度的不同影响并验证模型的鲁棒性。文中还将帮助研究人员和工程师通过使用带有适当类型噪声的语音数据来增加其训练数据,从而缓解语音情绪识别研究中高质量数据不足的问题。

关键词：语音情绪识别注意力机制卷积神经网络噪声语音语音识别

在线全文

学校读者我要写书评

暂无评论

服务机器人语音情绪识别系统研究

服务机器人语音情绪识别系统研究

作者：何柏榆西南科技大学

学位级别：硕士

在机器人技术发展与应用过程中,人机交互系统的人性化是提高服务机器人服务质量与用户体验的重要一环。语音作为日常生活中最普遍的一种信息交流方式,研究基于语音的情绪识别技术具有重要意义。然而,基于语音的情绪识别模型在应用过程... 详细信息

在机器人技术发展与应用过程中,人机交互系统的人性化是提高服务机器人服务质量与用户体验的重要一环。语音作为日常生活中最普遍的一种信息交流方式,研究基于语音的情绪识别技术具有重要意义。然而,基于语音的情绪识别模型在应用过程中存在着诸多困难,对设备的算力及性能指标均存在较高要求。因此,如何实现轻量、高效地语音情绪识别是当前亟待解决的难题。本课题致力于轻量化的基于语音的情绪识别模型研究,力求在保证识别准确度的同时减少硬件的计算资源。并且围绕服务机器人的实际应用场景设计一套软硬件系统,可将课题研究的模型离线部署在服务机器人系统中。本课题的研究内容主要包括:(1)基于多通道动态CRNN的语音情绪识别方法:基于经典的CRNN模型与动态卷积网络,构建了动态的多通道语音情绪识别模型3D-Dy CRNN。实验结果表明,本模型在IEMOCAP数据集上不加权与加权精准度分别达到了74.62%和70.85%,并且本模型的大小为17.03MB,相对于3D-ACRNN模型不仅性能均有提升,同时模型的大小降低了39%。(2)服务机器人系统设计:基于树莓派计算块搭建了一套的用于服务机器人的硬件系统,此系统包括语音采集、无线通信、数据处理及交互功能,以满足语音情绪模型的部署及后续实验的开展。(3)语音情绪识别软件设计:设计了一套语音情绪识别软件系统。该系统以机器人操作系统(ROS)为框架搭建,可快速部署应用情绪识别模型,同时包含了交互式界面,可用于声谱数据及识别结果的可视化分析。

关键词：服务机器人深度学习语音情绪识别

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

驾驶员语音情绪识别与调节方法研究

驾驶员语音情绪识别与调节方法研究

作者：薛基勇重庆大学

学位级别：硕士

伴随着智能互联时代的来临,汽车由传统代步工具逐渐向情感体验化的第三方移动空间转变,情感化、安全化已成为了智能座舱的发展主题。语音作为信息与情感的介质,在智能座舱人机交互中发挥了至关重要的作用,语音情绪识别系统,不仅能改善... 详细信息

伴随着智能互联时代的来临,汽车由传统代步工具逐渐向情感体验化的第三方移动空间转变,情感化、安全化已成为了智能座舱的发展主题。语音作为信息与情感的介质,在智能座舱人机交互中发挥了至关重要的作用,语音情绪识别系统,不仅能改善人机情感交流环境,还能监测驾驶员的情绪状态,当驾驶员情绪波动较大时,予以自适应干预来减轻情绪对驾驶员的影响。本文从语音的角度研究了驾驶员情绪识别与调节,旨在进一步丰富汽车座舱的语音生态体系。首先,针对语音情绪识别中输入特征单一的问题,提出了一种并行结构的特征融合网络,将全局会话级声学特征与局部帧级时频特征有效融合在一起,其中全局特征以基频(F),均方根能量值(RMS),Mel频率倒谱系数(MFCC)等特征的统计学特征参数为输入,局部特征则是采用深度学习网络挖掘对数Mel频谱图特征获取,并通过自注意力机制解决语音情绪信息分布不均的问题。为了将模型应用在实际的驾驶场景中,设计实验采集了模拟驾驶环境下的情绪语音数据。最后在两种不同数据集上验证了提出模型的优越性,实现了远超基线模型的识别性能。为了在检测到驾驶员异常情绪后,能够进行及时的反馈干预,从而保证行车安全,本文以典型的愤怒情绪为例,设计了驾驶员情绪调节实验,探究了不同语音元素对驾驶员情绪的调节效果。在实验过程中,引入了一种主客观相结合的调节质量测量方法,主观上以调节成功量表为评价标准,客观上基于驾驶风险与愤怒表达水平的关联性,提出了一种用风险值表征情绪调节效果的方法,实验结果表明,预录制的定制化语音表现出比机器合成语音更显著的调节效应,能够更好的抑制愤怒行为表达。最后,本文将情绪识别与调节进行了集成,并把理论研究进行了落地实践,开发出了基于语音的驾驶员情绪识别与调节的集成应用,旨在为智能座舱情感体验与安全设计提供一定的理论与技术支撑。

关键词：驾驶员情绪语音情绪识别情绪调节调节效应测量

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

双相障碍和精神分裂症患者的语音情绪识别

中国心理卫生杂志 2020年第6期34卷 487-492页

作者：杜霞范宏振王云辉张洁朱小林赵艳丽谭淑平北京大学第六医院北京大学精神卫生研究所国家卫生健康委员会精神卫生学重点实验室(北京大学)国家精神心理疾病临床医学研究中心(北京大学第六医院)北京100083 北京回龙观医院北京大学回龙观临床医学院北京100096

目的:比较双相障碍和精神分裂症患者的语音情绪识别的差异。方法:符合美国精神障碍诊断与统计手册第四版诊断标准的双相障碍患者和精神分裂症患者各60例,性别、年龄和受教育年限匹配的正常对照60例。使用阳性和阴性症状量表、杨氏躁狂... 详细信息

目的:比较双相障碍和精神分裂症患者的语音情绪识别的差异。方法:符合美国精神障碍诊断与统计手册第四版诊断标准的双相障碍患者和精神分裂症患者各60例,性别、年龄和受教育年限匹配的正常对照60例。使用阳性和阴性症状量表、杨氏躁狂量表和24项汉密顿抑郁量表评估患者临床症状,使用42段标准化语音情绪评价范式测试所有受试者的语音情绪识别能力。结果:双相障碍和精神分裂症的患者的愤怒、平静、悲伤及总体语音情绪类别得分均低于正常对照(P语音情绪的类别得分,及对愤怒;(58.4±22.1)vs.(71.4±17.1)vs.(71.1±14.5);P情绪的强度得分均低于双相障碍和正常对照。结论:本研究提示双相障碍和精神分裂症的患者均存在语音情绪识别障碍,精神分裂症患者对厌恶、惊奇两种语音情绪的识别能力弱于双相障碍患者。

关键词：双相障碍精神分裂症语音情绪识别

基于MHA-ResNet的语音情绪识别算法

在线全文

学校读者我要写书评

暂无评论

微电子学与计算机 2024年

作者：周传华郝敏曾辉王勇中国科学技术大学计算机科学与技术学院安徽工业大学管理科学与工程学院

语音情绪识别的一个重要挑战是从语音信号中提取关键特征来提高识别准确率，在现有的研究基础上，提出了一种基于自注意力残差网络（Multi-Head-Attention Residual Network，MHA-ResNet）的语音情绪识别模型，提高了语音情绪识别准确... 详细信息

语音情绪识别的一个重要挑战是从语音信号中提取关键特征来提高识别准确率，在现有的研究基础上，提出了一种基于自注意力残差网络（Multi-Head-Attention Residual Network，MHA-ResNet）的语音情绪识别模型，提高了语音情绪识别准确率。首先将原始语音信号数据进行预处理，其次将提取到的情绪特征集，利用多头注意力机制具备的并行化处理且自适应关注的特性，初步获取不同状态下鉴别性的语音情绪信息，最后，残差网络进一步获取深层情绪特征，完成不同情绪的识别。为验证模型有效性，在CASIA和EmoDB数据集上进行实验，并对比其他主流网络结构，结果表明，该篇网络模型在最终识别准确率均达最高。

关键词：语音情绪识别多头注意力机制残差网络情绪特征集

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于声谱图的语音情绪识别算法研究及实现

基于声谱图的语音情绪识别算法研究及实现

作者：杨丽佳重庆邮电大学

学位级别：硕士

语音信号作为一种包含人类语言和表达情感的信息传输媒介,是人们获取和传播信息的重要手段,也是实现人机交互的关键因素之一,为语音情绪识别研究起到了非常重要的数据支撑作用。目前,将语音信号转换成以文本形式输出的语音识别研究技术... 详细信息

语音信号作为一种包含人类语言和表达情感的信息传输媒介,是人们获取和传播信息的重要手段,也是实现人机交互的关键因素之一,为语音情绪识别研究起到了非常重要的数据支撑作用。目前,将语音信号转换成以文本形式输出的语音识别研究技术已经非常成熟,并且在生活中也已广泛地应用,但是关于语音情绪识别的商业化应用还存在一些局限性,主要体现在数据的采集方式和数据特征的有效性上。声谱图具有的时域和频域特征可以较好地概括一段语音的特征。同时,使用深度学习方法进行模型训练在一定程度上比传统的机器学习方法具有更好的特征表现性。因此,本文以二维声谱图作为数据切入点,开展语音情感识别研究工作,选择相关算法进行模型测试并对模型结构进行改进,其修改后的模型能够更好地提高模型的识别准确率。针对本次选题,主要完成了以下工作:1.介绍了与语音情感识别方法相关的研究意义、研究背景,以及本次选题的国内外研究现状和目前开展研究工作存在的问题,然后详细介绍了本文的主要工作内容和论文的组织结构。2.该算法模型以Le Net-5网络作为研究基础,通过增加两层卷积层和池化层,并且修改卷积核的大小,使用L2正则化来防止模型过拟合,将声谱图作为实验数据输入构建的网络模型中进行特征学习和模型训练,最后通过全连接层进行语音情感分类。经实验证明,该网络模型在常用的公共数据集上取得了良好的分类成果,其准确率达到了74.6%。3.虽然卷积神经网络具有很好的特征学习能力和较高的模型分类准确度,但是单一网络在学习特征时,其能力仍然有限,所以,为了提高模型对情感特征的表现能力,在第三章的基础上,提出了一种基于卷积神经网络和注意力机制结合的网络模型,使用声谱图作为输入数据,进行模型训练和情感识别。在EMO-DB和CASIA语料库上有效地实现了情感分类任务,达到了76.9%的分类准确率。

关键词：语音情绪识别声谱图卷积神经网络注意力机制

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度神经网络的语音情绪识别模型的研究

基于深度神经网络的语音情绪识别模型的研究

作者：李恒哈尔滨工业大学

学位级别：硕士

情感是一种复杂的生理和心理活动,是人类特有的重要性格和特征,在人类日常复杂社交活动中起到重要作用。当今人机交互技术发展迅速,在进行人机交互的同时,情感识别对正确理解人的真实意图具有重要价值,情感计算已经成为当今研究的热点... 详细信息

情感是一种复杂的生理和心理活动,是人类特有的重要性格和特征,在人类日常复杂社交活动中起到重要作用。当今人机交互技术发展迅速,在进行人机交互的同时,情感识别对正确理解人的真实意图具有重要价值,情感计算已经成为当今研究的热点。情感计算主要采用语音、视频、语义等作为输入对情感状态进行估计。语音包含了较多的情感,是情感计算的主要研究方向之一。在语音信号中,语谱图能够包含语音所蕴含的全部情绪特征,研究发现,现行的一些基于语谱图的语音情绪算法存在以下问题,一是中性情绪与其他三种非中性情绪混淆,特定情绪识别精度低,二是在变长语音输入时,有时特征数量大,但部分特征对情绪识别贡献低,三是模型批量训练时,需要将训练语音数据填充统一长度导致模型效果不理想。针对上述问题,本文对基于深度学习的语音情绪识别算法,从数据处理方式、特征提取方法和模型结构等方面进行了研究和改进,主要通过语音输入判别情绪四分类问题（高兴、愤怒、悲伤、中性）,选择用语谱图作为情感计算模型输入来进行语音情绪识别。论文针对语音切分带来的情绪混淆问题,设计了一种特殊的CNN和Bi-LSTM数据衔接方法,构建了一种包含CNN和Bi-LSTM结构的变长情绪识别模型,该模型支持不同长度语音整句输入,且模型参数无需动态调整。该方法有效的解决了中性情绪和其他三种非中性情绪混淆问题,使模型识别精度提高了7.8%。论文针对整句语音的情绪特征提取问题,提出了一种基于注意力机制的变长语音情绪识别算法,设计了面向语谱图的语谱图时空注意力模块和面向CNN网络的卷积通道注意力模块,对于语谱图的时空数据和CNN卷积通道特征数据中不重要部分,通过注意力机制,降低它们在后续识别中的贡献,进而提高核心关键数据和特征的比重,提高模型识别精度。论文针对批量训练过程中填充零值的问题,提出了一种数据切割还原方法,在模型进行第一层卷积前对数据进行切割,去除数据填充部分,克服填充值对模型训练的影响。本文设计的基于注意力机制的变长语音情绪识别模型具有可输入不同长度语音,不受数据填充影响,更关注重要特征的优点。与近年来基于语谱图做语音情绪识别的工作相比,本文的模型识别精度提高了2.5%,有效的解决了情绪混淆问题,能更高效的提取语谱图包含的情绪特征。

关键词：语音情绪识别语谱图神经网络注意力机制变长语音输入