检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

多模态学习方法在滚动轴承故障诊断中的应用

机械科学与技术 2022年第8期41卷 1149-1153页

作者：薛阳雷文平岳帅旭徐向阳王坤郑州大学振动工程研究所郑州450001

滚动轴承在实际运行中负载多变且噪声干扰较大,导致故障特征提取及诊断困难,针对此问题本研究提出一种用于机械设备故障诊断的深度学习方法(MF⁃CNN),该方法将多模态融合技术(MFT)与卷积神经网络(CNN)结合,用卷积神经网络对一种工况下的... 详细信息

滚动轴承在实际运行中负载多变且噪声干扰较大,导致故障特征提取及诊断困难,针对此问题本研究提出一种用于机械设备故障诊断的深度学习方法(MF⁃CNN),该方法将多模态融合技术(MFT)与卷积神经网络(CNN)结合,用卷积神经网络对一种工况下的滚动轴承故障数据分别提取时域、频域两个模态特征并融合,将融合后的特征作为故障分类的依据来构建整个网络,对变工况下的未知故障类型的数据进行测试,实现时域、频域双模态对轴承故障类型的联合诊断。大量实验结果表明,在变载荷和噪声下,MF⁃CNN模型用于故障诊断的准确率相对传统单模态的时域CNN和频域CNN均有提高,对由重载荷向轻载荷变化的工况下准确率提升更为明显。

关键词：多模态学习故障诊断滚动轴承变载荷噪声

在线全文

学校读者我要写书评

暂无评论

多模态学习的研究进展与趋势:跨学科的透视

黑龙江高教研究 2024年第6期42卷 148-154页

作者：胡翰林冯瑞西南大学重庆400715

多模态学习注重信息的多样存在形式以及多种感知通道对认知与学习过程的积极影响,在智能技术助力教与学的时代具有重要价值,系统性地梳理多模态学习相关研究是其进一步理论与实践研究的关键。首先,从不同多模态学习的来源出发进行概念辨... 详细信息

多模态学习注重信息的多样存在形式以及多种感知通道对认知与学习过程的积极影响,在智能技术助力教与学的时代具有重要价值,系统性地梳理多模态学习相关研究是其进一步理论与实践研究的关键。首先,从不同多模态学习的来源出发进行概念辨析,并提出多模态学习的概念内涵;其次,从三个学科视角分析多模态学习的研究进展,即计算机科学视角的多模态数据表示、融合、对齐以及应用等研究,认知心理学视角的信息加工、学习注意以及数据采集等研究,教育学视角的多模态学习环境、学习分析以及学习效果等研究。最后,提出多模态学习的研究趋势,即推进多模态学习跨学科融合研究、优化多模态数据中的异质性、强化多模态学习的教育实践指导、解决多模态数据分析的伦理问题,为进一步多模态学习的理论与实践研究提供参考。

关键词：多模态多模态学习多模态数据跨学科研究

基于样本内外协同表示和自适应融合的多模态学习方法

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2024年第5期61卷 1310-1324页

作者：黄学坚马廷淮王根生江西财经大学虚拟现实(VR)现代产业学院南昌330013 南京信息工程大学计算机学院南京210044 江西财经大学信息管理学院南昌330013

多模态机器学习是一种新的人工智能范式,结合各种模态和智能处理算法以实现更高的性能.多模态表示和多模态融合是多模态机器学习的2个关键任务.目前,多模态表示方法很少考虑样本间的协同,导致特征表示缺乏鲁棒性,大部分多模态特征融合... 详细信息

多模态机器学习是一种新的人工智能范式,结合各种模态和智能处理算法以实现更高的性能.多模态表示和多模态融合是多模态机器学习的2个关键任务.目前,多模态表示方法很少考虑样本间的协同,导致特征表示缺乏鲁棒性,大部分多模态特征融合方法对噪声数据敏感.因此,在多模态表示方面,为了充分学习模态内和模态间的交互,提升特征表示的鲁棒性,提出一种基于样本内和样本间多模态协同的表示方法.首先,分别基于预训练的BERT,Wav2vec 2.0,Faster R-CNN提取文本特征、语音特征和视觉特征;其次,针对多模态数据的互补性和一致性,构建模态特定和模态共用2类编码器,分别学习模态特有和共享2种特征表示;然后,利用中心矩差异和正交性构建样本内协同损失函数,采用对比学习构建样本间协同损失函数;最后,基于样本内协同误差、样本间协同误差和样本重构误差设计表示学习函数.在多模态融合方面,针对每种模态可能在不同时刻表现出不同作用类型和不同级别的噪声,设计一种基于注意力机制和门控神经网络的自适应的多模态特征融合方法.在多模态意图识别数据集MIntRec和情感数据集CMU-MOSI,CMU-MOSEI上的实验结果表明,该多模态学习方法在多个评价指标上优于基线方法.

关键词：多模态表示多模态融合多模态学习协同表示自适应融合

在线全文

学校读者我要写书评

暂无评论

跨模态信息融合的端到端语音翻译

软件学报 2023年第4期34卷 1837-1849页

作者：刘宇宸宗成庆模式识别国家重点实验室(中国科学院自动化研究所) 北京100190 中国科学院大学人工智能学院北京100049

语音翻译旨在将一种语言的语音翻译成另一种语言的语音或文本.相比于级联式翻译系统,端到端的语音翻译方法具有时间延迟低、错误累积少和存储空间小等优势,因此越来越多地受到研究者们的关注.但是,端到端的语音翻译方法不仅需要处理较... 详细信息

语音翻译旨在将一种语言的语音翻译成另一种语言的语音或文本.相比于级联式翻译系统,端到端的语音翻译方法具有时间延迟低、错误累积少和存储空间小等优势,因此越来越多地受到研究者们的关注.但是,端到端的语音翻译方法不仅需要处理较长的语音序列,提取其中的声学信息,而且需要学习源语言语音和目标语言文本之间的对齐关系,从而导致建模困难,且性能欠佳.提出一种跨模态信息融合的端到端的语音翻译方法,该方法将文本机器翻译与语音翻译模型深度结合,针对语音序列长度与文本序列长度不一致的问题,通过过滤声学表示中的冗余信息,使过滤后的声学状态序列长度与对应的文本序列尽可能一致;针对对齐关系难学习的问题,采用基于参数共享的方法将文本机器翻译模型嵌入到语音翻译模型中,并通过多任务训练方法学习源语言语音与目标语言文本之间的对齐关系.在公开的语音翻译数据集上进行的实验表明,所提方法可以显著提升语音翻译的性能.

关键词：语音翻译神经机器翻译端到端模型多模态学习

在线全文

学校读者我要写书评

暂无评论

面向视觉语言理解与生成的多模态预训练方法

软件学报 2023年第5期34卷 2024-2034页

作者：刘天义吴祖煊陈静静姜育刚复旦大学计算机科学技术学院上海200438 上海市智能信息处理重点实验室(复旦大学) 上海200438 上海市智能视觉计算协同创新中心(复旦大学) 上海200438

大多数现有的视觉语言预训练方法侧重于理解任务,并在训练时使用类似于BERT的损失函数(掩码语言建模和图像文本匹配).尽管它们在许多理解类型的下游任务中表现良好,例如视觉问答、图像文本检索和视觉蕴涵,但它们不具备生成信息的能力.... 详细信息

大多数现有的视觉语言预训练方法侧重于理解任务,并在训练时使用类似于BERT的损失函数(掩码语言建模和图像文本匹配).尽管它们在许多理解类型的下游任务中表现良好,例如视觉问答、图像文本检索和视觉蕴涵,但它们不具备生成信息的能力.为了解决这个问题,提出了视觉语言理解和生成的统一多模态预训练(unified multimodal pre-training for vision-language understanding and generation,UniVL).UniVL能够处理理解任务和生成任务,并扩展了现有的预训练范式,同时使用随机掩码和因果掩码,因果掩码即掩盖未来标记的三角形掩码,这样预训练的模型可以具有自回归生成的能力.将几种视觉语言理解任务规范为文本生成任务,并使用基于模版提示的方法对不同的下游任务进行微调.实验表明,在使用同一个模型时,理解任务和生成任务之间存在权衡,而提升这两个任务的可行方法是使用更多的数据.UniVL框架在理解任务和生成任务方面的性能与最近的视觉语言预训练方法相当.此外,实验还证明了基于模版提示的生成方法更有效,甚至在少数场景中它优于判别方法.

关键词：计算机视觉多模态学习预训练

基于多级残差映射器的文本驱动人脸图像生成和编辑

在线全文

学校读者我要写书评

暂无评论

软件学报 2023年第5期34卷 2101-2115页

作者：李宗霖张盛平刘杨张兆心张维刚黄庆明哈尔滨工业大学计算机科学与技术学院山东威海264209 中国科学院大学计算机科学与技术学院北京100049

尽管生成对抗网络在人脸图像生成和编辑领域取得了巨大的成功,但在其潜在编码空间中寻找可以操作人脸语义属性的方向仍然是计算机视觉的一大挑战,这一挑战的实现需要大量标记数据不断进行网络调优,而搜集、标注类似数据存在诸多难点,比... 详细信息

尽管生成对抗网络在人脸图像生成和编辑领域取得了巨大的成功,但在其潜在编码空间中寻找可以操作人脸语义属性的方向仍然是计算机视觉的一大挑战,这一挑战的实现需要大量标记数据不断进行网络调优,而搜集、标注类似数据存在诸多难点,比如较高的技术门槛以及大量的人工成本.最近的一些工作都在试图借助预训练模型来克服标记数据短缺的问题.虽然这种做法已经被验证能够完成上述任务,但在操作的准确性和结果的真实性上都无法满足真实人脸编辑场景的需求.借助对比语言-图像预训练模型(CLIP)的图像文本联合表示能力将图像和文本内容编码在一个共享的潜在编码空间中,借助于精心设计的网络结构和损失函数,所提框架可以精准识别相关面部属性并学习一个多级残差映射网络,所提网络可根据图像和文本内容编码预测潜在编码残差,再借助图像生成预训练模型StyleGAN2完成高质量的人脸图像生成和编辑任务.大量实验也证明了所提方法在操作准确性、视觉真实性和无关属性保留方面的优异表现.

关键词：多模态学习预训练模型人脸图像生成人脸图像编辑对抗生成网络

深度域自适应加权多模态多任务学习声阻抗反演

在线全文

学校读者我要写书评

暂无评论

地球物理学报 2023年第10期66卷 4332-4348页

作者：唐杰高翔孟涛蔡瑞乾孙成禹中国石油大学(华东)地球科学与技术学院青岛266580 海洋国家实验室海洋矿产资源评价与探测技术功能实验室青岛266071

以往基于深度学习的叠后地震声阻抗反演通常仅限于利用单道地震数据,当地震数据中存在较强噪声或地下介质横向变化较大时反演结果中会面临横向连续性差和层位区分不清晰的问题.本文提出了一种深度域自适应加权多模态多任务学习声阻抗反... 详细信息

以往基于深度学习的叠后地震声阻抗反演通常仅限于利用单道地震数据,当地震数据中存在较强噪声或地下介质横向变化较大时反演结果中会面临横向连续性差和层位区分不清晰的问题.本文提出了一种深度域自适应加权多模态多任务学习声阻抗反演方法,采用GPU加速运算,在阻抗剖面的估计过程中加入井位置附近的空间背景信息,并在数据输入端加入初始阻抗模型.构建的网络包括阻抗反演和地震数据重建两个任务,网络训练过程中采用自适应权重调整策略能够同时优化各自输出的损失,实现数据增强,缓解网络的过拟合,提高网络的泛化能力;相比于传统最小二乘阻抗反演方法,该方法反演速度更快.针对井数据偏少的情况,本文引入其他可用训练数据并采用联合学习策略改善反演结果.模型和实际数据测试表明该方法能够在含有噪声的地震数据和测井数据有限的情况下估计深度域声阻抗,反演结果的横向连续性得到了明显的改善.

关键词：深度域自适应加权多任务学习声波阻抗反演多模态学习

在线全文

学校读者我要写书评

暂无评论

视觉语言预训练综述

软件学报 2023年第5期34卷 2000-2023页

作者：殷炯张哲东高宇涵杨智文李亮肖芒孙垚棋颜成钢杭州电子科技大学计算机学院浙江杭州310018 杭州电子科技大学丽水研究院浙江丽水323000 杭州电子科技大学自动化学院浙江杭州310018 中国科学院计算技术研究所北京100190 浙江大学医学院附属邵逸夫医院浙江杭州310016

近年来深度学习在计算机视觉(CV)和自然语言处理(NLP)等单模态领域都取得了十分优异的性能.随着技术的发展,多模态学习的重要性和必要性已经慢慢展现.视觉语言学习作为多模态学习的重要部分,得到国内外研究人员的广泛关注.得益于Transfo... 详细信息

近年来深度学习在计算机视觉(CV)和自然语言处理(NLP)等单模态领域都取得了十分优异的性能.随着技术的发展,多模态学习的重要性和必要性已经慢慢展现.视觉语言学习作为多模态学习的重要部分,得到国内外研究人员的广泛关注.得益于Transformer框架的发展,越来越多的预训练模型被运用到视觉语言多模态学习上,相关任务在性能上得到了质的飞跃.系统地梳理了当前视觉语言预训练模型相关的工作,首先介绍了预训练模型的相关知识,其次从两种不同的角度分析比较预训练模型结构,讨论了常用的视觉语言预训练技术,详细介绍了5类下游预训练任务,最后介绍了常用的图像和视频预训练任务的数据集,并比较和分析了常用预训练模型在不同任务下不同数据集上的性能.

关键词：多模态学习预训练模型 Transformer 视觉语言学习

在线全文

学校读者我要写书评

暂无评论

基于超图的多模态情绪识别

计算机学报 2023年第12期46卷 2520-2534页

作者：宗林林周佳慧谢秋婕张宪超徐博大连理工大学软件学院辽宁大连116000 复旦大学计算机科学技术学院上海200433 大连理工大学计算机科学与技术学院辽宁大连116000

近年来多模态情绪识别获得广泛关注,模态间的特征融合决定了情绪识别的效果,现有基于图的情绪特征融合方法多基于二元关系图,在处理三种及以上模态数据时难以实现有效的模态间特征融合,限制了多模态情绪识别的效果.为解决该问题,本文提... 详细信息

近年来多模态情绪识别获得广泛关注,模态间的特征融合决定了情绪识别的效果,现有基于图的情绪特征融合方法多基于二元关系图,在处理三种及以上模态数据时难以实现有效的模态间特征融合,限制了多模态情绪识别的效果.为解决该问题,本文提出基于超图的多模态情绪识别模型(Multi-modal Emotion Recognition Based on Hypergraph,MORAH),引入超图来建立多模态的多元关系,以此替代现有图结构采用的多个二元关系,实现更加充分、高效的多模态特征融合.具体来说,该模型将多模态特征融合分为两个阶段:超边构建阶段和超图学习阶段.在超边构建阶段,通过胶囊网络实现对序列中每个时间步的信息聚合,并建立单模态的图,然后使用图卷积进行第二次信息聚合,并以此作为下一阶段建立超图的基础,得益于图胶囊聚合方法的加入,MORAH可以同时处理对齐数据和未对齐数据,无需手动对齐;在超图学习阶段,模型建立同一样本不同模态节点之间的关联,以及同类样本所有模态之间的关联,同时,在超图卷积过程中,使用分层多级超边来避免过于平滑的节点嵌入,并使用简化的超图卷积方法来融合模型之间的高级特征,以确保所有节点特征仅在必要时更新.在两个基准数据集上的综合实验表明,本文模型利用超图实现了对多模态数据之间多元关系的充分利用.与现有的先进方法相比,在CMU-MOSI数据集的未对齐数据上,MORAH将二分类准确率提高了1.3%,F1得分提高了1.1%.在CMU-MOSEI数据集的未对齐数据上,MORAH将二分类准确率和F1分数分别提高了0.2%.

关键词：情绪识别多模态学习超图学习超边扩展胶囊网络