检索结果-南通市图书馆

基于注意力机制的多源域领域适配的脑电情绪识别研究

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于注意力机制的多源域领域适配的脑电情绪识别研究

作者：吴德孟中央民族大学

学位级别：硕士

情绪是人类独有的心理活动,它不仅反映了人的生理和心理状态,还对人的认知、沟通和决策产生重要影响。脑电信号(Electroencephalogram,EEG)是脑神经细胞在大脑皮层的一种总体反应,能够客观准确地反映人类的情感。然而,脑电情绪识别领域... 详细信息

情绪是人类独有的心理活动,它不仅反映了人的生理和心理状态,还对人的认知、沟通和决策产生重要影响。脑电信号(Electroencephalogram,EEG)是脑神经细胞在大脑皮层的一种总体反应,能够客观准确地反映人类的情感。然而,脑电情绪识别领域一直存在一个挑战,即如何提高情绪分类模型的识别率和泛化能力,特别是在来自不同个体或时段的样本上的泛化能力。在这方面,领域适配(Domain Adaptation,DA)方法是一种有效的解决方案,它可以通过知识迁移在不同领域之间进行训练和测试,从而放宽训练和测试样本必须满足相同概率分布的限制。本文基于以上脑电情绪识别技术的特点,在使用多源领域适配进行脑电情绪识别的基础上,进一步提出了一种新的基于注意力机制的多分支多源域领域适配(Multi-Branch Multi-Source Domain Adaptation Based on Attention Mechanism,MBMDA)的脑电情绪模型。MBMDA模型可以实现脑电信号在跨数据集、跨被试下的多源领域适配,以更好地提高脑电情绪分类模型的泛化能力,以及脑电情绪识别的准确性,本文的主要工作如下:第一,本文介绍了常见的脑电信号伪迹类型以及对脑电信号进行预处理的各种方法,并对文中使用的三种脑电数据集DEAP、SEED和SEED-Ⅳ进行了相应的预处理。对数据集进行预处理的目的是去除脑电信号中的噪声,这也是提高分类准确率的第一步。第二,传统领域适配方法在进行脑电公共特征提取时常常会忽略脑电信号中的时间和空间信息。为此,我们提出了一种基于注意力机制的混合优化模型FFTLA,用于脑电公共特征的提取,并采用SoftMax函数进行了分类评估。在公共数据集DEAP上,FFTLA表现出了优异的特征提取能力,脑电情绪识别的平均准确率可以达到92.38%。这一结果表明,使用基于注意力机制的混合优化模型FFTLA进行脑电公共特征提取是可行的。第三,本文在使用脑电公共特征提取器FFTLA提取到相应的脑电公共特征后,再将这些公共特征依次输入到域特定特征提取器和域特定特征分类器中,以进行脑电信号的特征提取和分类。同时,本文使用了最大均值差异来减少源域和目标域之间的分布差异,以及最小化分类差异来获得更准确的分类器。此外,本文还使用了最小化差异损失来获得更收敛的分类器。最后,本文在公共数据集SEED和SEED-Ⅳ上对我们提出的模型MBMDA进行了评估。实验结果显示,在数据集SEED上,跨会话和跨主题场景的准确率分别为88.88%和90.98%,在数据集SEED-Ⅳ上,跨会话和跨主题场景的准确率分别为69.28%和68.04%。此外,我们还对实验中使用的归一化方法、损失函数以及超参数进行了探讨,并研究了它们对于本研究的影响。结果表明在迁移学习的域适配领域中,使用基于注意力机制的深度学习混合模型进行脑电的公共特征提取,以及使用多分支多源域的策略进行脑电情绪识别是可行的。

关键词：领域适配注意力机制情绪识别脑电信号

基于可靠伪标签的无监督领域适配语义分割研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于可靠伪标签的无监督领域适配语义分割研究

作者：徐晚雨武汉大学

学位级别：硕士

图像语义分割是计算机视觉中重要的研究领域,是图像理解的关键环节。近年来,随着深度学习技术的快速发展,图像语义分割已在自动驾驶、智慧医疗等众多领域取得了成功的应用。实际应用中,构建高精度、强泛化能力的语义分割模型通常需要大... 详细信息

图像语义分割是计算机视觉中重要的研究领域,是图像理解的关键环节。近年来,随着深度学习技术的快速发展,图像语义分割已在自动驾驶、智慧医疗等众多领域取得了成功的应用。实际应用中,构建高精度、强泛化能力的语义分割模型通常需要大量的标注数据,但标注大量的样本需要耗费巨大的人力、物力和财力。此外,语义分割数据的标注需要在像素级进行,进一步增加了数据标注的难度。因此,如何在有限标注或无标注的情况下实现高效的语义分割成为了计算机视觉技术中的瓶颈难题。为了解决语义分割数据标注难,标注数据匮乏的问题,机器学习中的核心关键技术领域适配引起了广泛关注,其主要是利用大量已经标注的源域数据构建语义分割模型,用于目标域图像的语义分割任务。在基于领域适配的图像语义分割方法中,利用目标域的伪标注数据是提升源域的领域适配能力的重要途径,然而如何生成可靠的伪标注数据仍是领域适配应用于图像语义分割的技术难点。为此,本文提出了三分支深度网络架构,自适应地生成可靠伪标注样本,实现源域和目标域的不同语义的判别性匹配。同时为了进一步实现对伪标注分割数据的充分利用,构建了伪标签不确定性评估模型。本文的研究工作及创新点如下:1)提出了一种基于可靠伪标注判别性匹配的领域适配语义分割方法,首先构建网络结构不同的三分支分割网络模型,根据其中任意两个分支网络分割预测结果的一致性自适应地生成可靠性伪标签用于另一支网络的学习。为了保证伪标注数据与源域相同类别的判别性匹配,采用记忆机制存储充足且准确的源域类别特征,通过对比学习,将目标域伪标注的特征与存储的源域特征依据标签促使相同类别的像素特征相近,不同类别的像素特征远离,有效的提升了领域适配分割模型的性能。在GTA5→Cityscapes和SYNTHIA→Cityscapes这两个常用的无监督领域适配任务上,该方法的分割效果优于对比的前沿语义分割算法。2)提出了一种基于伪标签不确定性评估的领域适配语义分割方法。尽管通过不同分割网络预测结果的一致性提升了伪标签的可靠性,但可能存在一支网络可靠预测的置信度高,另一支网络预测置信度低的问题。通过生成伪标签的两个分支预测结果概率分布的相似度对伪标签的适配程度进行评估,给予差异度高的样本较大权值,差异度低的样本较小权值,从而保证伪标签训练的领域适配分割模型对目标域分割任务的适配能力。在GTA5→Cityscapes和SYNTHIA→Cityscapes这两个常用的无监督领域适配任务上,伪标签的不确定性评估显著地提高了伪标签的准确度和模型的分割性能。

关键词：深度学习语义分割领域适配

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种基于领域适配的跨项目软件缺陷预测方法

软件学报 2020年第2期31卷 266-281页

作者：陈曙叶俊民刘童华中师范大学计算机学院湖北武汉 430079

软件缺陷预测旨在帮助软件开发人员在早期发现和定位软件部件可能存在的潜在缺陷,以达到优化测试资源分配和提高软件产品质量的目的.跨项目缺陷预测在已有项目的缺陷数据集上训练模型,去预测新的项目中的缺陷,但其效果往往不理想,其主... 详细信息

软件缺陷预测旨在帮助软件开发人员在早期发现和定位软件部件可能存在的潜在缺陷,以达到优化测试资源分配和提高软件产品质量的目的.跨项目缺陷预测在已有项目的缺陷数据集上训练模型,去预测新的项目中的缺陷,但其效果往往不理想,其主要原因在于,采样自不同项目的样本数据集,其概率分布特性存在较大差异,由此对预测精度造成较大影响.针对此问题,提出一种监督型领域适配(domainadaptation)的跨项目软件缺陷预测方法.将实例加权的领域适配与机器学习的预测模型训练过程相结合,通过构造目标项目样本相关的权重,将其施加于充足的源项目样本中,以实例权重去影响预测模型的参数学习过程,将来自目标项目中缺陷数据集的分布特性适配到训练数据集中,从而实现缺陷数据样本的复用和跨项目软件缺陷预测.在10个大型开源软件项目上对该方法进行实证,从数据集、数据预处理、实验结果多个角度针对不同的实验设定策略进行分析;从数据、预测模型以及模型适配层面分析预测模型的过拟合问题.实验结果表明,该方法性能优于同类方法,显著优于基准性能,且能够接近和达到项目内缺陷预测的性能.

关键词：软件缺陷预测软件缺陷度量元机器学习迁移学习领域适配

基于高效参数微调的生成式大模型领域适配技术

在线全文

学校读者我要写书评

暂无评论

人工智能 2023年第4期 1-9页

作者：丁鑫邹荣金潘志庚南京信息工程大学人工智能学院南京210044 南京信息工程大学元宇宙研究院南京210044

在深度学习中,“预训练+微调”范式是经典的模型领域适配技术,可有效将预训练模型的丰富知识迁移至新的任务中。然而,随着深度神经网络的规模不断增大,生成式大模型的参数规模往往动辄数十亿甚至数千亿。因此,本文指出在新任务中“全量... 详细信息

在深度学习中,“预训练+微调”范式是经典的模型领域适配技术,可有效将预训练模型的丰富知识迁移至新的任务中。然而,随着深度神经网络的规模不断增大,生成式大模型的参数规模往往动辄数十亿甚至数千亿。因此,本文指出在新任务中“全量微调”生成式大模型以实现领域适配不再具有可行性。接着,针对以上问题,本文介绍了一种“轻量化”的大模型领域适配技术——高效参数微调,并对三类主流算法进行综述,分析了算法的主要思想和优缺点。最后,本文借助两个成功案例展示了高效参数微调技术在生成式语言/视觉大模型上的应用效果,证明了高效参数调参技术仅需训练少量额外参数即可近似达到“全量微调”的领域适配效果。

关键词：高效参数微调生成式大模型领域适配有限算力

在线全文

学校读者我要写书评

暂无评论

基于领域适配的妇幼健康平台架构设计

电子技术与软件工程 2022年第8期 209-212页

作者：张磊九江市妇幼保健院信息科江西省九江市332000

本文设计了一种领域适配的系统架构,构建了通用数据解析构件,应用灵活的适配模式,实现了不同妇幼专题医疗服务的有效集成,系统实施的稳定性和可用性高,满足了医院业务实际需求。

关键词：妇幼平台领域适配系统架构

基于深度卷积神经网络的无监督领域适配算法研究

在线全文

学校读者我要写书评

暂无评论

基于深度卷积神经网络的无监督领域适配算法研究

作者：钱辉河北大学

学位级别：硕士

近几年深度神经网络在理论和实践两方面都取得了广泛的成功,然而深度神经网络模型的训练有两个约束条件:一是需要有大量的标记数据以防止模型过拟合,二是训练数据与测试数据的分布必须满足独立同分布约束,这两个约束条件严重制约了深度... 详细信息

近几年深度神经网络在理论和实践两方面都取得了广泛的成功,然而深度神经网络模型的训练有两个约束条件:一是需要有大量的标记数据以防止模型过拟合,二是训练数据与测试数据的分布必须满足独立同分布约束,这两个约束条件严重制约了深度学习模型的应用与扩展。为解决标记数据稀缺以及分布不同问题,一个流行的方法是无监督领域适配方法,此方法旨在利用已有领域的标记数据来解决数据分布不同的其它领域的分类问题。本文主要研究基于深度神经网络的无监督领域适配算法,使用深度神经网络抽取源领域中领域不变的深度特征表示来完成目标领域的图像分类问题。具体包含以下两个内容:一是基于金字塔池化层和门控机制提出了一个深度卷积神经网络模型并给出了使用此网络模型进行领域适配的算法。该模型使用金字塔池化层对卷积层特征进行不同级别的特征抽取以获取不同粒度的信息,然后使用门控机制保留分类任务中各个样本的任务相关知识为全局任务知识向量,并用此全局任务知识向量对各个样本的特征进行重新校准。在使用此模型进行领域适配的算法中,不同领域的样本通过使用不同的编码器进行特征抽取同时使用相同的全局任务知识向量对不同领域的样本特征进行重新校准,实现了知识的迁移和复用。二是提出了基于最大熵损失的领域适配算法来实现领域间特征的条件概率分布对齐。此方法结合聚类思想,将分类器的权重向量看做是各个类别的聚类中心向量,然后通过交替地更新分类器和编码器实现领域间的类别特征分布对齐。在分类器的更新步骤中,通过最大化神经网络对目标领域的样本预测概率的熵来调整分类器中权重向量的位置,使得分类器权重向量向目标领域聚类中心移动;在编码器的更新步骤中,通过最小化源领域的分类损失调整源领域的特征分布,使得源领域特征向分类器权重向量移动。为保证不同领域特征的边际概率分布的一致性,基于最大熵损失的领域适配方法结合了领域对抗神经网络中的梯度反转层思想,在一次梯度下降的过程中同时训练编码器和领域判别器。

关键词：深度学习领域适配卷积神经网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于领域适配CNN的轴承故障迁移诊断研究

基于领域适配CNN的轴承故障迁移诊断研究

作者：秦云可中南财经政法大学

学位级别：硕士

机械故障的智能诊断是工业环境中保证各项工程项目安全可靠运行的重要手段,开展先进故障诊断方法的研究必不可少。在工程项目的实际运作中,机械设备会受到许多因素的影响,其中旋转载荷的变化会对振动信号的波动产生直接的影响。所以,为... 详细信息

机械故障的智能诊断是工业环境中保证各项工程项目安全可靠运行的重要手段,开展先进故障诊断方法的研究必不可少。在工程项目的实际运作中,机械设备会受到许多因素的影响,其中旋转载荷的变化会对振动信号的波动产生直接的影响。所以,为了能够通过智能诊断方法精准的识别不同载荷设备的运行状态,本文利用加入领域适配项之后的CNN模型进行变负载轴承故障迁移诊断。首先,对轴承的振动信号数据进行重叠采样,产生不同故障类别样本;然后对样本数据进行傅里叶变换,提取信号数据的时频信息;最后将各状态振动信号的时频数据输入到CNN中,在一种负载数据下训练模型,用其他负载数据进行测试,实现对轴承振动数据的迁移故障诊断。实验结果表明:CNN深度迁移模型的故障诊断精度基本在第5、6次迭代趋于平稳,收敛速度很快,相对于基于信号分解的故障诊断方法可操作性更强,也保证了故障诊断的精度。在变负载轴承故障诊断中,CNN模型的故障诊断精度均值为81.49%。但上述轴承故障迁移诊断模型对多故障状态数据的特征获取能力仍有上升空间,故需对上述模型进行改进。其次,以往模型的训练一般都假设训练和测试数据具有相同的分布,而工程实际中滚动轴承振动信号数据常常是在不同负载下获得,数据之间存在分布差异,导致故障诊断模型精度不高。本文将基于领域适配的深度迁移故障诊断模型应用到变负载下滚动轴承故障迁移诊断中,致力于解决实际工程中的机械故障诊断问题。该方法首先将不同的两种负载振动信号数据进行拼接,利用拼接负载样本对CNN模型进行训练,对于目标域数据采用模型的预测标签作为其伪标签,用于模型训练过程中各个参数的更新,使深度迁移模型同时获得源域与目标域的故障特征。通过最小化源域和目标域数据的最大均值差异和条件分布差异,提高模型的跨负载自适应故障诊断能力。实验结果表明:采用与第二章相同的CNN网络结构,构造新的双负载数据集,领域适配深度迁移模型所提取的深度广义特征比标准CNN提取的特征故障诊断精度更高,有效地克服了不同负载对多状态故障识别的干扰,多次试验的平均迁移故障诊断精度均达到90.2%,对大型机械设备的轴承故障诊断具有重要借鉴意义。

关键词：滚动轴承故障诊断变负载深度迁移学习领域适配

基于数字孪生和深度迁移学习的电主轴热误差建模方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

机械工程学报 2024年

作者：马帅冷杰武陈祝云李巍华李波刘强襄阳华中科技大学先进制造工程研究院广东工业大学省部共建精密电子制造技术与装备国家重点实验室华南理工大学机械与汽车工程学院湖北文理学院机械工程学院

热误差是电主轴系统误差的主要来源之一，热误差建模是提高系统可靠性的重要手段。电主轴装载刀具加工时，需要在多个方向上运动，导致实时测量困难，难以采集足够的热误差样本。不同工况下的数据分布差异较大，在某一工况下训练的热误... 详细信息

热误差是电主轴系统误差的主要来源之一，热误差建模是提高系统可靠性的重要手段。电主轴装载刀具加工时，需要在多个方向上运动，导致实时测量困难，难以采集足够的热误差样本。不同工况下的数据分布差异较大，在某一工况下训练的热误差预测模型难以在其他工况下取得满意的预测精度。针对上述问题，提出了一种基于数字孪生和深度迁移学习的电主轴热误差建模方法。首先，建立电主轴系统热行为数字孪生模型，模拟出不同工况下的温度场和热变形数据，缓解实际场景中热误差样本缺失的限制。其次，开发基于领域对抗机制的卷积双向长短期记忆网络，数字孪生模型生成的虚拟数据用作源域，真实数据作为目标域，不同尺度的卷积层构成特征提取器，分别提取源域和目标域温度数据的空间特征，处理多维温度特征的共线性问题。构建双向长短期记忆网络作为预测器，处理温度与热误差的时序关系并输出预测值。同时，结合领域适配的对抗训练技术，利用域判别器混淆两域特征，最小化两域数据分布，提高模型的泛化能力。最后，搭建多源数据协同采集平台，获取不同工况下的真实数据，通过不同迁移任务验证，结果表明：在热误差标签样本缺失的情况下，该方法成功实现热误差建模，具备较好的预测性能。

关键词：电主轴热误差建模数字孪生深度迁移学习领域适配

基于时间序列迁移递归预测的未知工况下滚动轴承在线剩余寿命评估

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

控制与决策 2023年第1期38卷 112-122页

作者：陈佳鲜毛文涛刘京王港胜河南师范大学计算机与信息工程学院河南新乡453007 智慧商务与物联网技术河南省工程实验室河南新乡453007

深度迁移学习技术已经成功应用于跨工况的滚动轴承剩余寿命(remaining useful life,RUL)预测问题,但针对在线场景的RUL评估仍存在如下不足:在线工况存在漂移,无法确定同工况的历史数据,不能直接构建回归预测模型;在线目标轴承只有正常... 详细信息

深度迁移学习技术已经成功应用于跨工况的滚动轴承剩余寿命(remaining useful life,RUL)预测问题,但针对在线场景的RUL评估仍存在如下不足:在线工况存在漂移,无法确定同工况的历史数据,不能直接构建回归预测模型;在线目标轴承只有正常状态和早期故障数据,无法直接与离线轴承的快速退化期数据进行迁移学习.鉴于此,从时序退化信息迁移的角度提出一种面向未知工况的轴承在线RUL评估方法.首先,构建融合第三方退化信息的时间序列迁移递归预测模型,利用张量长短时记忆网络提取离线工况全寿命数据的单调性和趋势性等时序信息,并迁移到在线递归预测过程;然后,利用迁移成分分析对所预测的在线退化序列和已有离线序列进行公共特征空间适配,提取域无关特征,并构建支持向量机回归模型,实现在线轴承剩余寿命评估.在IEEE PHM Challenge 2012轴承数据集上的实验结果表明,所提出方法可在只有早期故障数据的情况下准确预测退化趋势,为未知工况下的轴承在线RUL评估提供一种有效的解决方案.

关键词：剩余寿命评估深度学习迁移学习时间序列递归预测领域适配滚动轴承