检索结果-南通市图书馆

基于MobileNetV3的单模态表情识别及融合语音的双模态情感识别研究与应用

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于MobileNetV3的单模态表情识别及融合语音的双模态情感识别研...

作者：李月华东师范大学

学位级别：硕士

近十年来,深度卷积神经网络的兴起和发展使得以人为中心的视觉感知计算,尤其是在人脸表情识别领域取得了重要进展。本文旨在提高表情识别领域中轻量化和多模态结合的问题,提出了多种改进方案,以提高单模态和双模态表情识别的准确率和效... 详细信息

近十年来,深度卷积神经网络的兴起和发展使得以人为中心的视觉感知计算,尤其是在人脸表情识别领域取得了重要进展。本文旨在提高表情识别领域中轻量化和多模态结合的问题,提出了多种改进方案,以提高单模态和双模态表情识别的准确率和效率。本文的主要工作包括:针对单模态静态表情识别中现有轻量化网络识别精度有待提升的问题,本研究基于轻量级Mobile Net V3-Small模型提出了一系列改进方案显著提升了表情识别的准确率。具体包括:使用不同的Bneck精简策略减少模型参数提升网络抗过拟合能力,采用注意力机制提升模型对表情特征的敏感度,构建深浅特征融合网络获取多尺度的表情信息,应用迁移学习优化训练策略加速网络收敛并提升模型识别精度。实验结果显示,本文提出的方案在自制混合表情数据集上都超过了原始模型的识别准确率。其中最优精简方法减少18%的Bneck数量可抑制5%的过拟合,提出的CTAM-Mobile Net V3s平均识别精度提升5.64%,深浅特征融合网络提高了表情识别精度3.14%。针对双模态表情识别模型复杂且不够轻量的问题,本研究基于VAANet框架提出了一种融合面部表情和语音的双模态情感识别模型FSANet,通过引入3D卷积的CTAM-Mobile Net V3s作为视觉流的骨干特征提取网络,并使用坐标注意力机制替换原有的空间注意力机制。实验结果表明,在公开情感识别数据集e NTERFACE’05和RAVDESS上,FSANet的准确率比VAANet分别提高了6.17%和3.90%,同时模型大小和参数数量分别为VAANet的1/3和1/7,大幅减少了模型复杂度。本文基于上述提出的模型方法设计并实现了表情识别系统,该系统主要包含静态图像的表情识别和融合面部表情和语音的双模态情感识别2个核心模块,为实际场景的情感分析提供了有力支持。

关键词：人脸表情识别双模态情感识别注意力机制轻量化表情和语音

基于人脸表情与脑电双模态融合情感识别技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于人脸表情与脑电双模态融合情感识别技术研究

作者：刘生同天津理工大学

学位级别：硕士

情感计算理论是一项跨学科的研究范畴,它试图探讨并发展能够认识、解释并模拟人们情感的理论、方法和系统。情感计算有三个研究方向:表达,决策与识别,其中情感识别受到了更加广泛的关注。人的情感产生是一项复杂的认知活动,情感表现时... 详细信息

情感计算理论是一项跨学科的研究范畴,它试图探讨并发展能够认识、解释并模拟人们情感的理论、方法和系统。情感计算有三个研究方向:表达,决策与识别,其中情感识别受到了更加广泛的关注。人的情感产生是一项复杂的认知活动,情感表现时通常由面部表情、生理、声音等多个模态信息构成,而人脸表情作为人表达情感的最重要的方式之一,已经成功应用到现实生活中的情感识别中。然而,人脸表情只是情感表达中的一种模态信息,过于单一。此外,脑电信号与情感的联系也极为紧密,近些年来也被许多研究者应用到情感识别任务中,如果采用人脸表情信息来协同脑电信号更有针对性的来完成情感识别任务,或将解决由于情感模态信息单一而导致的情感分类准确率较低等问题。因此,本文对于多模态融合情绪识别技术进行研究,包括多模态数据集构建采集及预处理,多模态情感识别神经网络模型的设计、融合方式构建等。主要工作如下:(1)构建人脸表情与脑电双模态情绪数据集。本文挑选6段多媒体刺激材料对被试者进行情绪诱发产生高兴、平静、悲伤三种情感,使用摄像机采集了12名被试者观看视频素材时的人脸表情视频,同时使用Grael LT脑电信号放大器记录脑电数据并保存以组成双模态情感数据集。(2)基于人脸表情与脑电双模态进行融合情感识别。本文提出了一种双模态的神经网络模型CNN+Bi LSTM,并且在进行模态融合时,选用了俩个融合方法,中期特征层融合与后期决策层融合。对于中期特征层融合,利用双模态神经网络从人脸表情图像与脑电数据中分别提取特征,然后在特征层进行特征拼接,实现对悲伤、平静和快乐三种情感的分类识别。对于后期决策层融合,分别对人脸表情模态与脑电模态进行情感识别,进而与决策层进行信息融合得出新的分类结论。实验结果显示,双模态特征融合的方式在情感识别任务上的精确度有了很大的提升。因此,多模态融合的情感识别可以通过使用特征的多样性与相关性来提高最终的情感分类准确率。

关键词：情感计算双模态情感识别脑电人脸表情双模态神经网络中期特征层融合后期决策层融合

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于人脸表情和语音的双模态情感识别

南京邮电大学学报（自然科学版） 2018年第1期38卷 60-65页

作者：闫静杰卢官明李海波王珊珊南京邮电大学通信与信息工程学院江苏南京210003 瑞典皇家理工学院瑞典斯德哥尔摩se10044 南京中医药大学科学技术与产业处江苏南京210023

在未来的人工智能领域中,计算机的情感识别能力将扮演越来越重要的角色。针对人脸表情和语音的双模态情感识别,文中提出了一种基于稀疏典型相关分析的特征融合方法。首先,分别提取人脸表情和语音两个模态的情感特征,然后采用稀疏典型相... 详细信息

在未来的人工智能领域中,计算机的情感识别能力将扮演越来越重要的角色。针对人脸表情和语音的双模态情感识别,文中提出了一种基于稀疏典型相关分析的特征融合方法。首先,分别提取人脸表情和语音两个模态的情感特征,然后采用稀疏典型相关分析方法对两个模态的情感特征进行融合,最后采用K近邻分类器进行情感识别。实验结果表明文中提出的基于稀疏典型相关分析的双模态情感识别方法能够比语音单模态和人脸表情单模态情感识别取得更高的识别率。

关键词：人脸表情语音双模态情感识别稀疏典型相关分析

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于深度学习的表情和姿态双模态情感识别

基于深度学习的表情和姿态双模态情感识别

作者：郭迪南京邮电大学

学位级别：硕士

情感交互在人机自然交互的研究中受到了很大的重视,而情感识别是情感交互中尤为重要的关键。情感可以通过很多种方式表达,现阶段的情感识别研究中,主要是人脸表情情感识别、语音情感识别和身体姿态情感识别等单模态情感识别。心理学研... 详细信息

情感交互在人机自然交互的研究中受到了很大的重视,而情感识别是情感交互中尤为重要的关键。情感可以通过很多种方式表达,现阶段的情感识别研究中,主要是人脸表情情感识别、语音情感识别和身体姿态情感识别等单模态情感识别。心理学研究结果表明,当人们对人类的交际行为做出判断时,相比其他任何通道更多地依赖面部和姿态组合成的视觉通道。所以研究基于面部表情和身体姿态的双模态情感识别具有重要的现实意义。本文研究基于深度学习的面部表情和身体姿态两种模态在情感识别方面的应用,主要工作内容如下:(1)因为传统方法存在复杂的人工设计特征以及提取特征的过程,所以采取了基于深度学习的面部表情情感识别方法。首先,对CaffeNet进行改进,提出了一种基于改进的CaffeNet的面部表情情感识别方法;然后,考虑到数量较小的数据样本也能利用深层卷积神经网络获得相对较好的识别效果,研究了一种基于VGG-16网络微调模型的面部表情识别方法;最后,因为本文研究的数据是视频样本,其面部表情的变化具有时间相关性,所以研究了一种基于卷积神经网络和长短期记忆网络的面部表情情感识别方法。(2)为了更准确地识别身体姿态单模态情感,本文研究了一种基于三维卷积神经网络的身体姿态情感识别方法。视频片段作为一种时空序列,在时间上具有很强的相关性,基于三维卷积神经网络具有对视频帧序列提取特征的优点,把身体姿态的视频样本截取的视频帧序列输入到不同的三维卷积神经网络中,以完成身体姿态情感的分类。(3)以面部表情和身体姿态两个模态为研究对象,分析了基于加权求和的决策层融合算法和比较了典型相关分析、核典型相关分析、多类核典型分析的特征层融合算法。选用支持向量机对两个模态融合后的特征进行分类,本文选用面部表情和身体姿态的双模态情感视频数据库(FABO)进行实验验证。实验结果表明,采取恰当的融合方法得到的双模态情感识别的准确率比单模态情感识别的准确率提高了大概4%%。

关键词：双模态情感识别三维卷积神经网络循环神经网络特征层融合决策层融合

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的双模态情感识别

基于深度学习的双模态情感识别

作者：袁亮南京邮电大学

学位级别：硕士

情感识别是多媒体信息处理、模式识别以及计算机视觉等领域的研究热点。随着深度学习、人工智能的发展,情感识别作为人机交互中的关键所在,受到研究人员的广泛关注。情感的表达方式多种多样,其中面部表情和语音是两种最为重要的情感载体... 详细信息

情感识别是多媒体信息处理、模式识别以及计算机视觉等领域的研究热点。随着深度学习、人工智能的发展,情感识别作为人机交互中的关键所在,受到研究人员的广泛关注。情感的表达方式多种多样,其中面部表情和语音是两种最为重要的情感载体,基于面部表情和语音的双模态情感识别研究具有重要的现实意义。本文主要针对面部表情和语音两种模态,研究深度学习在双模态情感识别方面的应用。主要工作如下:(1)为了避免传统面部表情识别中复杂的显示特征提取过程,对经典的卷积神经网络结构AlexNet进行改进,提出了一种基于改进AlexNet的面部表情识别方法;针对当前面部表情数据库样本量不充足的情况,研究了一种基于VGG-face模型微调的面部表情识别方法,使得样本数较小的数据集也能利用深层卷积神经网络获得更好的识别效果;考虑到面部表情的变化是一个循序渐进的过程,为了利用该变化过程中面部表情之间的相关性,进而研究了一种基于卷积神经网络和循环神经网络的面部表情识别方法。(2)为了提高语音情感识别的准确率,本文研究了一种基于卷积神经网络的语音情感识别方法,完成情感的分类;语音信号作为一种时序序列,在时间上具有很强的相关性,为了利用语音序列前后之间的相关性,研究了一种基于双向长短时间记忆网络的语音情感识别方法;为了综合长短时间记忆网络和卷积神经网络的优点,提出了一种基于长短时间记忆网络和卷积神经网络的语音情感识别方法。(3)以面部表情和语音两个模态为研究对象,分析比较了包括核典型相关分析、核矩阵融合、核交叉模型因子分析在内的特征融合算法以及基于加权的决策融合算法。选用eNTERFACE’05、RML、AFEW6.0三种双模态情感数据库进行实验验证,实验结果表明,借助融合方法得到的双模态情感识别结果比单模态情感识别结果有明显提高。

关键词：双模态情感识别面部表情识别语音情感识别卷积神经网络循环神经网络特征融合决策融合

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于时空特征的双模态情感识别研究

基于时空特征的双模态情感识别研究

作者：侯登永合肥工业大学

学位级别：硕士

情感的理解和表达是人类进行交流活动的重要手段。随着人工智能等领域的快速发展,智能化的人机交互需要满足用户与机器之间的“自然”交互,而达到“自然”交互的关键是让机器具有模拟人类情感认知和表达的能力。作为情感表达最直观外在... 详细信息

情感的理解和表达是人类进行交流活动的重要手段。随着人工智能等领域的快速发展,智能化的人机交互需要满足用户与机器之间的“自然”交互,而达到“自然”交互的关键是让机器具有模拟人类情感认知和表达的能力。作为情感表达最直观外在形式的视觉情感信息,在情感识别研究中具有重要的研究意义。本文从视觉情感信息入手,融合面部表情和上身姿态特征实现双模态情感识别。本文的主要研究内容和创新点如下:（1）视频是由图像帧序列按时空顺序堆叠而成。本文从三维空间考虑,将视频中面部表情和上身姿态的运动变化看作是三维时空体运动,提出一种面部表情结合上身姿态的双模态情感识别方法,以有效克服单一模态情感识别的局限性,获得了更加可靠的情感识别结果。（2）针对体积局部二值模式算法应用在视频情感识别中存在运算复杂度高和识别准确率低的问题,本文提出一种时空局部二值模式矩（Temporal-Spatial Local Binary Pattern Moment,TSLBPM）的特征描述方法。首先对视频序列采用K-均值聚类得到人脸表情和上身姿态序列;然后对人脸表情和上身姿态图像分别进行均匀分块并提取TSLBPM特征,计算测试样本的特征向量与训练集中每一样本特征的欧式距离,将每一情感类别中的最小距离作为证据构造基本概率分配值;最后使用D-S证据理论融合两种模态的情感信息进行判别输出,得到最终的情感识别结果。实验结果表明,本文提出的TSLBPM算法较原始体积局部二值模式算法具有特征维数低,表征能力强,情感状态识别效果优等特点。（3）针对TSLBPM算法在局部纹理细节表达上存在的局限性,提出一种复合时空特征的双模态情感识别方法。首先在TSLBPM算法的基础上,增加自适应阈值,进行三值量化计算,提出时空局部三值模式矩（Temporal-Spatial Local Three Pattern Moment,TSLTPM）算法。实验结果表明,相比TSLBPM算法,TSLTPM对图像纹理刻画更加细腻,更有利于情感信息的充分表达。另外,为了避免单一特征表征能力的不足,加入三维梯度方向直方图特征,从图像边缘和方向对情感信息进行特征描述,与TSLTPM组合成复合时空特征。复合时空特征算法有效增强了对视频的情感信息表达能力,优于改进前的两种单一算法和相关文献中的方法,通过D-S证据理论实现信息融合,有效增强了整个系统的识别性能。

关键词：人脸表情上身姿态双模态情感识别 D-S证据理论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于表情和语音的双模态情感识別研究

基于表情和语音的双模态情感识別研究

作者：朱娜南京邮电大学

学位级别：硕士

情感识别是近十年情感计算领域的研究重点,相关技术的迅速发展有助于实现人机之间高度和谐的交互体验,给信息时代生活的人们带来更多便利。双模态情感识别和多模态情感识别通过引入更多模态的情感特征,突破单模态情感识别中情感特征单... 详细信息

情感识别是近十年情感计算领域的研究重点,相关技术的迅速发展有助于实现人机之间高度和谐的交互体验,给信息时代生活的人们带来更多便利。双模态情感识别和多模态情感识别通过引入更多模态的情感特征,突破单模态情感识别中情感特征单一的限制,包含充分的且彼此之间互补的情感信息,使得识别结果更加精准,识别性能较之单模态有明显的优势。人们在表达自身情感时往往会结合多种方式,其中表情和语音是最为直接和明显的,本论文研究基于表情和语音的双模态情感识别,通过研究探讨特征提取、特征融合的相关方法,具体研究工作如下:1.针对本文所涉及的表情和语音这两种模态的情感特征提取,本文提出表情特征采用Gabor特征和分块LBP特征,针对Gabor特征维数过大的问题,采用下采样和提取相应特征点区域的Gabor特征进行初步处理;语音特征采用open SMILE工具箱进行提取,详细介绍了open SMILE的操作原理,选取适当的特征集提取语音特征;最后对所获得的情感特征进行降维。2.针对基于表情和语音的双模态情感识别使用的特征融合方法,本文首先提出采用一种基于核矩阵的特征层融合方法,将两种模态特征映射到核空间之后进行加权组合,然后针对这种方法过程中的不足,进而提出一种基于多核学习的特征层融合方法,给不同模态特征分配多个不同种类不同参数的核函数,采用多个核函数的线性组合代替支持向量机中的单核函数,核函数的权重在学习过程中自动获得。同时,对于决策层融合,本文提出了一种基于后验概率的加权求和以及求积进行运算将两种模态的单模态情感识别结果进行处理得到最终的情感识别分类结果。3.在e NTERFACE’05数据库上进行大量实验,单模态情感识别实验结果表明基于Gabor特征的表情识别效果远好于使用LBP特征,基于表情特征的情感识别的效果远好于语音特征;基于不同特征融合方法的双模态情感识别实验的结果显示采用基于多核学习的特征层融合方法时识别率最高达到84.23%,与单模态实验结果相比高出近11%。

关键词：双模态情感识别表情情感识别语音情感识别特征融合多核学习支持向量机

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于表情和语音双模态的儿童情感识别研究

基于表情和语音双模态的儿童情感识别研究

作者：戴惟嘉东南大学

学位级别：硕士

近年来,基于生物信号（如人脸表情图像、语音信号、脑电信号等）的情感识别研究受到了国内外研究人员的广泛关注,已经成为情感计算、模式识别以及计算机视觉等领域的一个研究热点。表情、语音等生物信号是人类表达情感的重要媒介,研究... 详细信息

近年来,基于生物信号（如人脸表情图像、语音信号、脑电信号等）的情感识别研究受到了国内外研究人员的广泛关注,已经成为情感计算、模式识别以及计算机视觉等领域的一个研究热点。表情、语音等生物信号是人类表达情感的重要媒介,研究人员通过设计一些特征以及算法对这些生物信号进行分析,可以使计算机具备识别人类情感状态的能力。尽管单模态情感识别研究已经取得了很大的进步,然而可以注意到,目前情感识别的研究很大一部分是针对如表情、语音或脑电等单一生物信号（模态）进行的。相比单模态,两种或多种模态拥有更多的情感信息,因此,深度挖掘和融合多种模态的生物信号,是进一步丰富情感识别的研究、提出更为有效的情感识别方法的一种有效途径。本文主要研究了基于语音信号和视频信号的双模态情感识别这一问题,在双模态数据采集与整理、双模态特征提取以及分类等方面做了一些工作,具体研究内容如下：（1）创建了一个儿童双模态情感数据库。现有的双模态情感数据库均以成人为采集对象,以儿童为对象的公共数据库很少。借助儿童发展与学习科学教育部重点实验室这个平台,设计了专业的针对儿童的情感诱发实验范式,共采集了26名儿童的语音和表情双模态情感数据,并通过投票方式,对数据进行情感标注。（2）全面综述了基于表情或语音的单模态情感识别研究中的特征提取技术,并详细介绍表情识别、语音情感识别中常用的特征,同时在多个人脸表情库、语音数据库上做了简单的单模态情感识别实验。此外,结合上述表情和语音特征,给出了儿童双模态情感数据库的基准识别性能。（3）提出了一种基于双稀疏线性判别分析（Bi-Sparse Linear Discriminant Analysis, BSLDA）的语音与表情特征融合算法。BSLDA算法首先利用语音和视频的情感标签信息构造出一个语义特征空间,然后将语音和视频特征同时投影到该语义特征空间中。在该语义特征空间中,投影后的语音和视频特征集具有尽可能相似的分布,从而能够有效地进行更进一步的融合,融合后的特征具有较强的情感判别能力。此外,在特征投影过程中,BSLDA还能够根据各模态的特征对于情感分类的贡献,分别选择出各模态的重要的特征。（4）提出一种融合全局与局部信息的双模态情感识别方法。现有的双模态情感识别研究大多采用的是全局特征,较少考虑各模态信号的时序和局部信息。针对语音和视频的时序信号特点,本方法考虑了两种模态的局部信息,提出一种多尺度特征提取方法提取两种模态的局部特征与全局特征,一起用于双模态情感识别。为了进一步地对全局与局部特征进行处理以及实现双模态情感识别,提出了一个联合稀疏减秩回归模型（Joint Sparse Reduced Rank Regression,JSRRR）。JSRRR模型能够根据全局特征和局部特征对于情感识别的贡献大小,学习出衡量它们贡献度的权值。同时,JSRRR还能够对加权后的全局与局部特征进行二次学习,选择出其中具有区分不同情感状态能力的特征。

关键词：双模态情感识别双模态情感数据库语音情感识别人脸表情识别特征选择特征融合

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

融合人脸表情和语音的双模态情感识别研究

融合人脸表情和语音的双模态情感识别研究

作者：谢坷珍中国海洋大学

学位级别：硕士

传统的人机交互过程一般通过鼠标、键盘等方式进行,这种只基于逻辑的方式无法使机器理解和适应人的情感。为计算机加入情感识别功能,可使其像人一样去理解各种情感特征并作出相应的反馈,使得人机交互过程更加友好、自然,以达到更好的用... 详细信息

传统的人机交互过程一般通过鼠标、键盘等方式进行,这种只基于逻辑的方式无法使机器理解和适应人的情感。为计算机加入情感识别功能,可使其像人一样去理解各种情感特征并作出相应的反馈,使得人机交互过程更加友好、自然,以达到更好的用户体验,因此,情感识别近年来备受研究者的关注。情感是人际通信交流的重要手段,在交流互动的过程中获取对方的情感信息并进行分析,有助于更好地理解对方,可以使沟通更顺利、有效地进行。人在交流过程中,其语音、表情和姿势都是沟通内容的一部分,都包含着情感信息,研究者们对人脸表情识别、语音情感识别等单模态情感识别进行了广泛研究。单模态情感识别采用的情感特征信息比较单一,在情感识别中有一定的局限性,本文在分析和总结现有理论和研究的基础上,提出了融合人脸表情和语音的双模态情感识别的研究。本文的主要工作包括以下三个方面：（1）基于图像的人脸表情识别本文同时采用彩色和深度人脸表情图像来获得更多的人脸表情信息,并根据面部点的位置关系进行粗略的面部姿势的评估。对人脸表情图像进行预处理,并对彩色图像用Gabor小波进行特征提取,对深度图像用深度值统计分布的方法进行特征提取,将两者特征联合在一起作为识别时用的特征并用PCA方法对特征进行降维。最后,使用SVM实现表情训练和分类。实验结果验证本文提出的方法在人脸表情识别中取得了较好的效果。（2）基于隐马尔可夫模型的语音情感识别本文对语音信号进行预处理,包括预加重、分帧、和加窗处理,然后对其提取特征,在声学参数中选取语速、基频、能量、和MFCC、共振峰,并将这些参数的联合特征作于语音的情感特征。最后,使用HMM模型进行训练情感识别。实验表明,本文提出的方法在语音情感识别中取得了较好的结果。（3）融合人脸表情和语音的双模态情感识别本文采用决策层融合的方法,将人脸表情识别和语音情感识别进行融合,分别根据求和规则和求积规则进行双模态情感识别实验,结果表明本文提出的方法明显地提高了识别性能。

关键词：人脸表情支持向量机语音情感识别隐马尔可夫模型双模态情感识别