检索结果-南通市图书馆

基于统计方法的多模态信号处理在语音-视觉信号上的应用

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于统计方法的多模态信号处理在语音-视觉信号上的应用

作者：韩玮上海交通大学

学位级别：硕士

这篇论文主要研究多模态信号的推测问题:如果两个信号在自然现象中总是同时发生,那么在只能获得一个信号情况下,如何用推测得到另一个缺失的信号。本文基于高斯混合模型,使用统计方法进行推测。这个问题又主要分为使用模型的推测以及对... 详细信息

这篇论文主要研究多模态信号的推测问题:如果两个信号在自然现象中总是同时发生,那么在只能获得一个信号情况下,如何用推测得到另一个缺失的信号。本文基于高斯混合模型,使用统计方法进行推测。这个问题又主要分为使用模型的推测以及对模型的训练两部分。对于使用模型进行推测,文中讨论了直接应用条件概率、使用动态特征、以及使用滑动窗口三种方法,并且从性能和实时性两方面进行了分析对比。对于模型的训练,文中介绍了生成式训练和判别式训练两种截然不同的训练法则,以及相应的优化算法。由于判别式训练依赖于模型推测方法,文中又为动态特征推测和滑动窗口推测分别推导出了判别式训练法则。最后文中的方法被应用在语音-视觉信号的推测上,并且在一个公开的数据集上对不同方法进行了测试。在实验结果中判别式训练法则显著地提高了高斯混合模型在推测当中的性能。

关键词：多模态信号高斯混合模型时间序列推测判别式训练语音-视觉信号

基于多模态信号的金属材料缺陷无损检测方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多模态信号的金属材料缺陷无损检测方法研究

作者：程星振哈尔滨工业大学

学位级别：硕士

随着生产力的飞速发展以及工业技术与工艺水平的进步,金属材料已经广泛应用在了各行各业中,并发挥着至关重要的作用。在金属材料的加工过程中,以及使用周期中,出于多种方面的原因,难免会产生一些缺陷。这些缺陷会对材料的使用寿命、力... 详细信息

随着生产力的飞速发展以及工业技术与工艺水平的进步,金属材料已经广泛应用在了各行各业中,并发挥着至关重要的作用。在金属材料的加工过程中,以及使用周期中,出于多种方面的原因,难免会产生一些缺陷。这些缺陷会对材料的使用寿命、力学性能等产生直接影响,并会逐渐发展、恶化,最终将导致材料失效并发生断裂,还可能造成生命或财产的巨大损失。因此,对于金属材料缺陷无损检测技术的研究具有重要意义。本课题研究了一种以光声信号为主体,结合光学信号和超声信号的金属材料缺陷多模态无损检测方法,主要包括如下几点:首先,介绍了金属材料缺陷的种类和分布特征,指出了缺陷可能出现在材料各个位置的事实;并介绍了光学信号、光声信号和超声信号在缺陷无损检测的原理,通过分析三者在表面、浅表层和内部缺陷检测方面优势互补的关系,阐述了多模态无损检测方法的合理性,进而提出以光声信号为主体,结合光学信号和超声信号的金属材料缺陷多模态无损检测方法。其次,利用有限元方法对金属材料上的光声效应过程进行了仿真分析。建立了金属材料表面杂质缺陷和不同尺寸的浅表面裂纹缺陷的有限元模型,通过分析激光在表面杂质和金属材料上分别激发出的初始声压差异,以及激光在表面激发的反射波和透射波与裂纹深度和倾角的关系,提出并验证了基于激光能量吸收量的表面杂质检测方法和基于光声表面波的金属浅表面裂纹尺寸检测方法。最后,根据多模态无损检测方法对光学信号、光声信号和超声信号的要求,搭建了金属材料缺陷多模态无损检测系统。利用多模态无损检测系统采集了带裂纹仿体的光学、光声和超声信号,通过处理和分析获得了缺陷的完整信息,包括裂纹在表面分布、尺寸和种类、在内部的延伸状况以及深度等,并利用小波图像融合获得了更加精确可靠的检测结果。本课题从仿真和实验两个方面,阐述并验证了基于金属材料缺陷多模态信号的无损检测方法的合理性和可行性,实现了对缺陷的全面、定量检测,为材料缺陷无损检测提供了一个新的方法和思路。

关键词：无损检测金属材料多模态信号有限元分析

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的多模态信号调制识别

基于深度学习的多模态信号调制识别

作者：马圣雨河南理工大学

学位级别：硕士

调制识别是通信系统监测、管理和控制的关键任务之一,用于正确地识别未知信号,该技术在军事和民用领域均有应用前景。由于传统技术复杂度高且依赖先验知识,基于深度学习的调制识别因其在特征提取和识别准确度方面的优势而引起了极大的关... 详细信息

调制识别是通信系统监测、管理和控制的关键任务之一,用于正确地识别未知信号,该技术在军事和民用领域均有应用前景。由于传统技术复杂度高且依赖先验知识,基于深度学习的调制识别因其在特征提取和识别准确度方面的优势而引起了极大的关注,其能够在自动提取信号的前提下识别信号调制方式,但识别精度与鲁棒性方面仍存在缺陷。本文基于深度学习的方法,研究了如何优化神经网络模型,并探讨了不同模态数据对模型训练的影响。本文主要研究内容如下:(1)针对现有自动调制识别方法识别准确度欠佳的问题,通过结合改进的残差网络模型与双向门控循环模型,构建一种双模态混合神经网络,利用提取到的信号时间与空间特征,丰富特征维度。采用并行连接方式降低网络深度,加快模型收敛速度,提高调制信号的识别效果。将Drop Block正则化算法引入卷积层,抑制网络训练期间出现的过拟合、梯度爆炸与消失等问题。实验结果显示,基于两个公开数据集测试时,BHNN模型的最高识别准确度分别能够达到89%和93.63%,相同仿真条件下分类性能优于其他网络模型。(2)针对当前无线通信自动调制识别算法难以区分高阶调制信号,使用时域或频域的单峰信息,忽略其他信号增益信息的问题,构建一种结合卷积神经网络与长短期记忆网络的集成学习协作框架。利用同相正交、振幅与相位两种模态信息训练不同模型以补充特征信息。通过集成学习方法补充异构模型的不同特征提取能力,增加并优化单个模型以提高框架整体识别性能。实验结果表明,基于Radio ML2018.01A数据集测试时,所提框架可以有效区分128QAM、256QAM等高阶调制方式,识别准确度最高能够达到96.71%。图39幅,表12个,参考文献63篇。

关键词：无线通信自动调制识别多模态信号深度学习集成学习

基于改进型生成式对抗网络的EEG-fNIRS多模态信号数据增广研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

北京生物医学工程 2024年第3期43卷 250-258页

作者：王鹏举李明爱北京工业大学信息学部北京100124 计算智能与智能系统北京市重点实验室北京100124 教育部数字社区教育工程中心北京100124

目的基于深度学习的脑电图-功能性近红外光谱技术(electroencephalogram-functional near-infrared spectroscopy,EEG-fNIRS)多模态脑机接口在康复工程中具有广泛的应用前景,但存在数据量不足的问题。为此,本文提出一种基于改进条件生... 详细信息

目的基于深度学习的脑电图-功能性近红外光谱技术(electroencephalogram-functional near-infrared spectroscopy,EEG-fNIRS)多模态脑机接口在康复工程中具有广泛的应用前景,但存在数据量不足的问题。为此,本文提出一种基于改进条件生成式对抗网络(conditional generative adversarial network,CGAN)的EEG-fNIRS多模态信号数据增广方法,以解决EEG-fNIRS多模态脑机接口与深度学习结合时面临的数据量匮乏的问题。方法首先,对EEG和fNIRS数据进行滤波、归一化和下采样等预处理。然后,针对EEG的非平稳特点,在CGAN生成器和判别器中增加自注意力机制,获得EEG数据增广模型CGAN_(E),加强捕捉和学习时变关键信息的能力。同时,针对fNIRS采样率低、信息量不充分问题,在CGAN生成器和判别器中增加上采样卷积层,获得fNIRS数据增广模型CGAN_(f),加强模型的信息挖掘能力,并将CGAN_(E)和CGAN_(f)的条件信息设置为类标签;进而,利用CGAN_(E)和CGAN_(f)对每导EEG和fNIRS分别进行增广,并将多导EEG扩增数据和多导fNIRS[包括氧合血红蛋白浓度(oxyhemoglobin concentration,HbO)和脱氧血红蛋白浓度(deoxyhemoglobin concentration,HbR)两种]扩增数据串接融合,获得EEG-fNIRS多模态增广数据。最后,对公开的EEG-fNIRS多模态信号数据集TU-Berlin-A前6名受试者数据进行增广实验,并设计一维卷积神经网络分类器评估增广数据的质量。结果基于EEG-fNIRS多模态信号公开数据集TU-Berlin-A前6名受试者的左右手运动想象数据进行实验研究表明,当数据扩增5倍时,本文方法取得94.81%的平均分类准确率。结论CGAN_(E)和CGAN_(f)能够生成接近真实数据分布的EEG和fNIRS信号,验证了对CGAN改进和本文所提EEG-fNIRS多模态数据增广方法的有效性。

关键词：脑电图功能性近红外光成像技术多模态信号条件生成式对抗网络数据增广

维普期刊数据库博看期刊

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

针对脑电信号情感识别的对抗攻击和防御研究

针对脑电信号情感识别的对抗攻击和防御研究

作者：张丹懿电子科技大学

学位级别：硕士

脑电信号是现今情感识别领域最主要的研究对象之一。随着算法和模型的不断发展,深度学习也逐渐应用于脑电信号的处理与特征提取、情感识别等领域中。深度学习方法存在一定的脆弱性,其中对抗攻击是攻击能力最强的方法之一。为了检验在基... 详细信息

脑电信号是现今情感识别领域最主要的研究对象之一。随着算法和模型的不断发展,深度学习也逐渐应用于脑电信号的处理与特征提取、情感识别等领域中。深度学习方法存在一定的脆弱性,其中对抗攻击是攻击能力最强的方法之一。为了检验在基于脑电信号的情感识别问题中使用深度学习相关算法和技术是否存在安全问题,本文在保证情感识别深度学习模型的可行性下,探究了对抗攻击对于单模态和多模态两类脑电信号情感识别问题的威胁性并提出了相应的防御措施,且在数据集上得到了验证。在基于单模态脑电信号情感识别问题的对抗攻击研究中,首先根据单模态脑电信号的特征以及对抗攻击的输入特征制作用于对抗攻击实验的脑电信号样本,为了更全面地验证对抗攻击对于脑电信号情感识别领域的有效性,本文分别模拟在白盒、黑盒、灰盒条件下实施了多种单步对抗攻击和迭代对抗攻击,同时每种方法都在不同的数据集上进行了攻击实验,结果显示对抗攻击存在对基于脑电信号的情感识别模型的攻击潜力,例如攻击能力最强的情况下能使模型分类准确率由原始的89.74%降低至0.8%。在基于多模态脑电信号情感识别问题的对抗攻击研究中,在样本制作阶段本文将分层CNN模型用于多模态脑电信号识别,该方法能够获得具有更好特征的多模态数据集,能够提高模型的情绪识别准确率,其中多模态数据集DEAP和MAHNOB-HCI数据集的分类准确率分别提高至92.11%和89.60%。同样地,对基于多模态的脑电信号识别模型实施了多种不同的对抗攻击,实验结果显示对抗攻击方法同样能够破坏基于多模态脑电信号的情感识别模型的识别能力,具有很强的威胁性。为了减弱对抗攻击的影响,本文提出了一种改进的迭代混合NAT对抗训练方法,该方法弥补了训练信号样本不全面的缺点,使得情绪识别模型更加鲁棒,能在一定程度上抵御对抗攻击的危害,其防御效果也要优于传统的NAT对抗训练方法。该方法的有效性和可行性在不同单模态脑电信号数据集和多模态脑电信号数据集上都得到了验证。

关键词：脑电信号情感识别对抗攻击对抗训练多模态信号

基于多元经验模态分解的多元多尺度熵静态平衡能力评估

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电子学报 2020年第4期48卷 670-674页

作者：石鹏张启忠张华平席旭刚杭州电子科技大学自动化学院浙江杭州310018

提出了一种基于多元经验模态分解(Multivariate Empirical Mode Decomposition,MEMD)的多元多尺度熵(Multivarite Multiscale Entropy,MMSE)特征提取方法分析多模态信号,进行人体静态平衡能力评估.首先,采集人体多模态信号,采用多元经... 详细信息

提出了一种基于多元经验模态分解(Multivariate Empirical Mode Decomposition,MEMD)的多元多尺度熵(Multivarite Multiscale Entropy,MMSE)特征提取方法分析多模态信号,进行人体静态平衡能力评估.首先,采集人体多模态信号,采用多元经验模态分解对多通道信号进行自适应分解,得到一系列多元固有模态函数(Intrinsic Mode Functions,IMFs),依据T检验和相关系数从中选取最佳的IMF分量进行信号重构;然后,采用多元多尺度熵算法提取特征,用K-均值与支持向量机对比本文特征提取方法与两种传统特征提取方法在处理人体静态平衡能力评估问题时分类效果,并分析两种分类器的人体静态平衡能力评估效果;最后,得出本文最优的特征为基于多元经验模态分解的多元多尺度熵特征,最优的分类方法为支持向量机.

关键词：静态平衡能力评估多模态信号多元经验模态分解多元多尺度熵

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于局部二元模式的多模态癫痫发作检测算法

基于局部二元模式的多模态癫痫发作检测算法