检索结果-南通市图书馆

融合3D注意力机制和中心损失的语音情感识别模型研究

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

融合3D注意力机制和中心损失的语音情感识别模型研究

作者：高迎雪湖南大学

学位级别：硕士

语音情感识别在人机交互中占据着至关重要的地位,它能够提升智能设备理解人类意图的能力,改善用户的交互体验。然而,如何在人机交互的过程中准确感知用户的情感,并迅速提供与之情感相对应的良好反馈,成为研究者广泛讨论的热点之一。以... 详细信息

语音情感识别在人机交互中占据着至关重要的地位,它能够提升智能设备理解人类意图的能力,改善用户的交互体验。然而,如何在人机交互的过程中准确感知用户的情感,并迅速提供与之情感相对应的良好反馈,成为研究者广泛讨论的热点之一。以往的研究工作主要围绕传统手工制作的底层单模态特征,随着深度学习的快速发展以及多模态信息的大量增长,神经网络被广泛应用并取得了卓越的进展。基于此,本文研究对象主要包括音频、文本和图像数据,在充分学习上下文表示的同时,捕获显著的情感特征并进一步改进多模态特征间的融合方式,本文主要贡献点如下:(1)针对模型捕获的情感特征中包含大量与情感无关的冗余信息问题,本文提出基于升级注意力机制的局部特征学习块(UA-LFLB)模型。首先,本文对原始语音进行预处理,提取其Log-Mel频谱图以及频谱图的Delta和Deltas-delta,构建3D静态数据,减少不相关的信息干扰,例如说话方式的不同,同时感知情感的变化状态,保留更多的情感信息。然后,将3D静态数据作为局部特征块的输入,用于提取深层段级局部序列特征。之后,将其传递给升级注意力机制。该机制主要被用于捕获具有语境信息的上下文话语级显著特征。最后,将学习到的更具辨别性的情感特征馈送给Softmax分类器进行各情感分数的计算和输出。实验结果显示,与目前最先进的先前方法相比,UA-LFLB模型在三个评价指标上分别提升了12%、9.35%和9.88%。(2)针对特征单一性以及传统特征融合存在的信息冲突问题,本文在UA-LFLB模型基础上,提出多模态自注意力融合的特征增强(MM-SAF)模型,该模型主要包括音频、文本和图像数据。本文主要分析比较传统特征融合方法和所提出的自注意力特征融合算法的性能,并使用Center-Loss分类器替换传统Softmax分类器。实验结果表明MM-SAF模型能使相同情感特征更加聚集,不同情感特征更加分散,在三个评价指标上识别准确率分别达到了90.53%、90.13%和90.20%。综上所述,本文的研究重点主要聚焦于特征提取和特征融合部分,旨在学习全面显著的情感表示,并在IEMOCAP数据集和多个评价指标上进行实验验证,结果表明相较于目前先进的基线方法,本文模型性能得到了显著的提升,且具有更优的泛化能力。

关键词：语音情感识别升级注意力机制自注意力融合多模态中心损失

中心损失与Softmax损失联合监督下的人脸识别

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

重庆大学学报（自然科学版） 2018年第5期41卷 92-100页

作者：余成波田桐熊递恩许琳英重庆理工大学远程测控与信息处理研究所重庆400054

深度学习在人脸识别领域已经取得了巨大的成就,针对当前大多数卷积神经网络采用Softmax损失函数进行特征分类,增加新的类别样本会减小类间距离的增长趋势,影响网络对特征判别的问题,采用了一种基于中心损失与Softmax损失联合监督的人脸... 详细信息

深度学习在人脸识别领域已经取得了巨大的成就,针对当前大多数卷积神经网络采用Softmax损失函数进行特征分类,增加新的类别样本会减小类间距离的增长趋势,影响网络对特征判别的问题,采用了一种基于中心损失与Softmax损失联合监督的人脸识别算法,来提高网络对特征的识别能力。在Softmax基础上,首先,分别对训练集每个类别在特征空间维护一个类中心,训练过程新增加样本时,网络会约束样本的分类中心距离,从而兼顾了类内聚合与类间分离。其次,引入动量概念,在分类中心更新的时候,通过保留之前的更新方向,同时利用当前批次的梯度微调最终的更新方向,该方法可以在一定程度上增加稳定性,提高网络的学习效率。最后,在人脸识别基准库LFW上的测试实验证明:所提的联合监督算法,在较小的网络训练集上,获得了99.31%的人脸识别精度。

关键词：深度学习中心损失 Softmax损失动量人脸识别

在线全文

学校读者我要写书评

暂无评论

基于深度卷积神经网络与中心损失的人脸识别

科学技术与工程 2017年第35期17卷 92-97页

作者：张延安王宏玉徐方中国科学院沈阳自动化研究所机器人国家重点实验室沈阳110016 中国科学院大学北京100049 沈阳新松机器人自动化股份有限公司沈阳110168

传统人脸识别方法手工设计特征过程复杂、识别率较低,对于开集人脸识别通用深度学习分类模型特征判别能力较弱。针对这两方面的不足,提出了一种以分类损失与中心损失相结合作为模型训练监督信号的深度卷积神经网络。首先,利用构建的应... 详细信息

传统人脸识别方法手工设计特征过程复杂、识别率较低,对于开集人脸识别通用深度学习分类模型特征判别能力较弱。针对这两方面的不足,提出了一种以分类损失与中心损失相结合作为模型训练监督信号的深度卷积神经网络。首先,利用构建的应用场景数据集优调从公共数据集获得初始化参数的深度人脸识别模型,解决训练数据过小和数据分布差异问题,同时提高模型训练速度;然后,以传统损失函数和新的中心损失作为迁移学习过程中的监督信号,使得类内聚合、类间分散,提高模型输出人脸特征的判别能力;最后,对人脸特征进行主成分分析,进一步去除冗余特征,降低特征复杂度,提高人脸识别准确率。实验结果表明,与传统人脸识别算法相比该算法可以自动进行特征提取,并且相对于通用深度学习分类模型该算法通过度量学习使特征表示更具判别力。在自建测试集和LFW、YouTube Faces标准测试集上都取得了较高的识别率。

关键词：人脸识别卷积神经网络深度学习中心损失度量学习主成分分析

在线全文

学校读者我要写书评

暂无评论

基于残差网络与中心损失的人脸识别

计算机工程与设计 2019年第6期40卷 1689-1695页

作者：张枫田联房杜启亮华南理工大学自动化科学与工程学院广东广州510640 华南理工大学自主系统与网络控制教育部重点实验室广东广州510640

针对常规深度学习的人脸识别方法训练数据量巨大和训练难收敛的问题,提出一种基于残差网络与中心损失的人脸识别方法。利用生成对抗网络方法解决训练数据分布不均衡问题,利用数据增强方法解决数据不足问题;改进残差网络,使其匹配较小数... 详细信息

针对常规深度学习的人脸识别方法训练数据量巨大和训练难收敛的问题,提出一种基于残差网络与中心损失的人脸识别方法。利用生成对抗网络方法解决训练数据分布不均衡问题,利用数据增强方法解决数据不足问题;改进残差网络,使其匹配较小数据集,解决训练难收敛问题;将交叉熵损失与中心损失结合,作为模型训练过程中的监督信号,使类间分散、类内聚合。实验结果表明,在小数据的前提下,识别算法能够准确地识别出人脸。模型在测试集上的准确率达97.46%。

关键词：残差网络生成对抗网络人脸识别中心损失数据增强

在线全文

学校读者我要写书评

暂无评论

基于多任务级联CNN与中心损失的人脸识别

计算机仿真 2020年第8期37卷 398-403页

作者：王灵珍赖惠成新疆大学信息科学与工程学院新疆乌鲁木齐830046

开源机器学习库DLIB中的人脸检测对齐任务的运行时间长,检测精度不高,以及用三元组损失训练的模型收敛速度较慢。针对以上三点不足,提出了用mtcnn代替DLIB做人脸检测,并且以用softmax loss和center loss相结合的总损失函数来训练卷积神... 详细信息

开源机器学习库DLIB中的人脸检测对齐任务的运行时间长,检测精度不高,以及用三元组损失训练的模型收敛速度较慢。针对以上三点不足,提出了用mtcnn代替DLIB做人脸检测,并且以用softmax loss和center loss相结合的总损失函数来训练卷积神经网络。首先,将公开的海量人脸数据集做人脸对齐。然后,以总损失函数作为监督信号来完成BP前向传播,使得类内距离小,类间距离大,提高模型的特征辨识能力。最后,对人脸特征进行embedding,由高维度映射到低维度,减少参数量,提高识别率。实验表明,人脸检测对齐后的测试集比原始测试集在识别率上要高1%左右,并且mtcnn在运算速度和检测精度上优越于DLIB。用总损失函数训练的模型经过调参调优阶段在LFW标准测试集上识别率为99.6%,同时在megface标准的人脸库上也有较高的识别率。用自己创建的三张人脸图片成功验证了度量学习的特性。

关键词：人脸识别中心损失度量学习卷积神经网络人脸对齐人脸检测

在线全文

学校读者我要写书评

暂无评论

角度余量损失和中心损失联合的深度人脸识别

计算机应用 2019年第S2期39卷 55-58页

作者：李振东钟勇陈蔓王理顺中国科学院成都计算机应用研究所成都610041 中国科学院大学北京100049

针对当前人脸识别任务和人脸验证任务所面临的人脸识别准确率低、验证有误等安全隐患问题,为进一步增强深度特征的判别能力,提出了一种联合监督信号。首先,将角度余量损失和中心损失联合的损失函数用于人脸识别和人脸验证任务,实现最小... 详细信息

针对当前人脸识别任务和人脸验证任务所面临的人脸识别准确率低、验证有误等安全隐患问题,为进一步增强深度特征的判别能力,提出了一种联合监督信号。首先,将角度余量损失和中心损失联合的损失函数用于人脸识别和人脸验证任务,实现最小化类内的变化以及最大化类之间的距离,这种深度特征之间的最小化和最大化可以达到人脸面部识别任务的理想选择。所提方法结合深度卷积神经网络在VGGFace2人脸数据集上对网络模型进行训练并在明星人脸数据集(CFS)和LFW人脸数据集上进一步微调网络模型进行人脸识别验证。实验结果表明,所提出的损失函数与传统的Softmax损失函数相比能够正确识别不同的人脸图像,而且进一步实现了不同类别之间的面部特征的最大可分离性。

关键词：人脸识别深度学习卷积神经网络角度余量损失中心损失

在线全文

学校读者我要写书评

暂无评论

引入注意力机制和中心损失的表情识别算法

传感器与微系统 2020年第11期39卷 148-151页

作者：张翔史志才陈良上海工程技术大学电子电气工程学院上海201620

针对表情识别领域中识别准确率不高的问题,以卷积神经网络为基础,提出一种引入特征通道注意力机制和中心损失函数的表情识别算法。以VGG11作为网络主体框架,引入特征通道注意力机制,在每一层卷积层之后增加压缩激励(SE)模块,使模型学习... 详细信息

针对表情识别领域中识别准确率不高的问题,以卷积神经网络为基础,提出一种引入特征通道注意力机制和中心损失函数的表情识别算法。以VGG11作为网络主体框架,引入特征通道注意力机制,在每一层卷积层之后增加压缩激励(SE)模块,使模型学习到不同特征通道的重要程度,从而提高模型对特征通道的敏感性,进一步提升模型的特征表示能力。同时,通过中心损失函数联合Soft Max损失函数对神经网络进行监督训练,有效增加类间距离,保证类内紧密性,提高模型的识别准确率。通过在CK+数据集上测试,实验结果表明:改进模型的识别准确率达到97. 07%,高于其他典型算法。

关键词：卷积神经网络特征通道注意力机制中心损失表情识别

在线全文

学校读者我要写书评

暂无评论

基于三元中心引导的弱监督视频异常检测

计算机应用 2024年第5期44卷 1452-1457页

作者：朱子蒙李志新郇战陈瑛梁久祯常州大学计算机与人工智能学院、阿里云大数据学院、软件学院江苏常州213164 常州大学微电子与控制工程学院江苏常州213164

针对监控视频异常的复杂多样性和短时持续性,引入弱监督视频异常检测方法,旨在仅使用视频级别的标签进行异常检测,并提出了基于变分自编码器(VAE)与长短期记忆(LSTM)网络的异常回归网络VLARNet作为异常检测框架,以捕获时序数据中的时间... 详细信息

针对监控视频异常的复杂多样性和短时持续性,引入弱监督视频异常检测方法,旨在仅使用视频级别的标签进行异常检测,并提出了基于变分自编码器(VAE)与长短期记忆(LSTM)网络的异常回归网络VLARNet作为异常检测框架,以捕获时序数据中的时间依赖关系、去除冗余信息,保留数据的关键信息。该框架将异常检测视为回归问题,为学习检测特征,设计了异常分数回归的三元中心损失(TCLASR),与动态多实例学习损失(DMIL)相结合以进一步提高特征的区分能力。DMIL能够扩大异常实例与正常实例之间的类间距离,但同时也扩大了类内距离,而TCLASR可使来自同类的实例与类中心的距离更接近,与不同类中心的距离更远。对VLARNet在ShanghaiTech与CUHK Avenue数据集上进行了综合实验。实验结果表明,VLARNet能够有效利用视频数据的各种信息,在两个数据集上获得的受试者工作特征曲线下面积(AUC)分别为94.64%和93.00%,明显优于对比算法。

关键词：异常检测弱监督学习多实例学习中心损失受试者工作特征曲线下面积

基于多任务学习与注意力机制的多层次音频特征情感识别研究

在线全文

学校读者我要写书评

暂无评论

智能计算机与应用 2024年第1期14卷 85-94,101页

作者：李磊朱永同杨琦赵金葳马柯上海理工大学健康科学与工程学院上海200093 上海理工大学机器智能研究院上海200093 上海理工大学机械工程学院上海200093 商丘学院机械与电气信息学院河南商丘476000

传统音频分类任务仅仅是从单层次音频提取特征向量进行分类,即便使用过大的模型,其过多的参数也会造成特征之间的耦合,不符合特征提取“高聚类,低耦合”的原则。由于注意到一些与情绪相关的协变量并没有得到充分利用,本文在模型中加入... 详细信息

传统音频分类任务仅仅是从单层次音频提取特征向量进行分类,即便使用过大的模型,其过多的参数也会造成特征之间的耦合,不符合特征提取“高聚类,低耦合”的原则。由于注意到一些与情绪相关的协变量并没有得到充分利用,本文在模型中加入性别先验知识;将多层次音频特征分类问题转化为多任务问题进行处理,从而对多层次特征进行解耦再进行分类;针对特征分布的再优化方面设计了一个中心损失模块。通过在IEMOCAP数据集上的实验结果表明,本文提出模型的加权精度(WA)和未加权精度(UA)分别达到了71.94%和73.37%,与原本的多层次模型相比,WA和UA分别提升了1.38%和2.35%。此外,还根据Nlinear和Dlinear算法设计了两个单层次音频特征提取器,在单层次音频特征分类实验中取得了较好的结果。

关键词：语音情感分类 MFCC 中心损失多任务学习先验信息 Dlinear

维普期刊数据库博看期刊