检索结果-南通市图书馆

重庆工商大学学报(自然科学版) 2024年

作者：张宇恒刘恒安徽工业大学计算机科学与技术学院

【目的】多模态核磁共振成像之间由于包含差异性和互补性信息，在临床实践上往往被综合运用来进行诊断和脑肿瘤分割。然而，在真实世界中，可能无法获取到完整模态的脑部核磁成像，而一种或者多种关键模态的缺失会导致分割性能的下降甚... 详细信息

【目的】多模态核磁共振成像之间由于包含差异性和互补性信息，在临床实践上往往被综合运用来进行诊断和脑肿瘤分割。然而，在真实世界中，可能无法获取到完整模态的脑部核磁成像，而一种或者多种关键模态的缺失会导致分割性能的下降甚至崩溃。为了解决这一问题，提出了一种引入基于注意力的解耦再重构模块的分割网络，希望能够在缺失模态下仍能保持对脑肿瘤的分割精度。【方法】网络使用U型架构，并引入基于注意力机制的解耦再重构模块。在解耦再重构模块中，首先通过各模态的高维特征融合获得共有基本特征，然后在此基础上借助差异注意力机制获得各模态的个性特征，最后将基本特征和个性特征经过交叉注意力整合重构后送入解码器中获取最终分割结果。同时，还设计了可学习的跳连接门，以使编码器中多种模态的浅层特征经过充分交互后传向解码器。【结果】在一系列实验中，分割网络在BraTS2020脑胶质瘤数据集上表现出了出色的性能，缺失模态下仍能完成对脑肿瘤的分割，评价指标相较其他先进的方法提高约2%以上，高达85.3%。【结论】因此，基于注意力机制的脑肿瘤分割网络能够有效地在缺失模态下完成对脑肿瘤的分割，具有重要的实际意义。

关键词：注意力机制脑肿瘤分割缺失模态核磁成像

来源：

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

一种基于张量分解的医学数据缺失模态的补全算法

引用

数据采集与处理 2021年第1期36卷 45-52页

作者：刘琚杜若画吴强何泽鲲于璐跃山东大学信息科学与工程学院青岛266237

多模态磁共振影像数据采集过程中会出现不同程度的模态数据缺失,现有的补全方法大多只针对随机缺失,无法较好地恢复条状及块状缺失。针对此问题,本文提出了一种基于多向延迟嵌入的平滑张量补全算法分类框架。首先,对缺失数据进行多向延... 详细信息

多模态磁共振影像数据采集过程中会出现不同程度的模态数据缺失,现有的补全方法大多只针对随机缺失,无法较好地恢复条状及块状缺失。针对此问题,本文提出了一种基于多向延迟嵌入的平滑张量补全算法分类框架。首先,对缺失数据进行多向延迟嵌入操作,得到折叠后的张量;然后通过平滑张量CP分解,得到补全的张量;最后利用多向延迟嵌入的逆向操作,得到补全的数据。该算法在BraTS脑胶质瘤影像数据集上进行了高低级别肿瘤分类实验,并与7种基线模型进行了比较。实验结果表明,本文提出方法的平均分类准确率可达91.31%,与传统补齐算法相比具有较好的准确性。

关键词：张量分解脑肿瘤分类缺失模态数据补全

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于机器学习的缺失模态影像分类研究

基于机器学习的缺失模态影像分类研究

引用

作者：杜若画山东大学

学位级别：硕士

核磁共振技术（MRI,Magnetic Resonance Imaging）可以提供体内组织的高清晰度图像,在医学成像领域中占据着越来越重要的地位。脑部胶质瘤作为一种癌症,是一种恶性肿瘤。在进行胶质瘤分类时,由于不同模态的MRI影像能够反映出肿瘤的不同... 详细信息

核磁共振技术（MRI,Magnetic Resonance Imaging）可以提供体内组织的高清晰度图像,在医学成像领域中占据着越来越重要的地位。脑部胶质瘤作为一种癌症,是一种恶性肿瘤。在进行胶质瘤分类时,由于不同模态的MRI影像能够反映出肿瘤的不同局部信息,因此医生在诊断时,需要综合多种模态的脑部MRI影像,从而得到最终的分类结果。通过已经由医生标注好的数据,目前已有多种自行分类的方法。遗憾的是,在实际临床数据采集过程中,会遇到很多问题,其中数据丢失成为使用多模态影像进行病理分析的关键阻碍,例如病人在拍片过程中出现头动现象,导致影像出现伪影,该类数据在筛查时会被丢弃,或者病人不愿意配合某项检查,导致该部分的多模态数据缺失。当使用多模态数据训练分类模型时,需要将不完整的病人数据丢弃,造成数据的极大浪费,并减少分析中的样本数量。因此,如何更好地利用观察数据补全缺失数据,从而实现更好的脑瘤分类成为一个非常具有实际意义的问题。目前,针对医学图像的缺失模态问题,主要利用机器学习的方法进行特征数据的补全,本论文以机器学习的方法为基础,针对多模态胶质瘤图像提取到的不完整特征数据,首先提出了一种基于多向延迟嵌入的平滑张量补全算法,然后在全变分低秩补全算法[45]的基础上,提出了基于全变分低秩补全的集成学习算法分类框架,提高了在数据缺失情况下的脑瘤分类准确率。本论文的主要创新和工作主要在以下两个方面:（1）提出了基于多向延迟嵌入的平滑张量补全算法分类框架。该算法在Yokota等人提出的多向延迟嵌入的Tucker分解算法[1]的基础上,对分解模型做了改进。将数据经过多向延迟嵌入操作后,得到折叠后的张量,对折叠后的张量进行平滑张量 CP 分解[2]（smoothCANDECOMP/PARAFAC decomposition,SPC）,得到补全的张量,最后进行多向延迟嵌入的逆向过程,最终得到补全的数据。改进后的算法弥补了 Tucker分解的不足,分类准确率得到了提升。（2）提出了基于全变分低秩补全的集成学习算法,通过对使用全变分低秩补全算法[3]（LRTV）、基于多向延迟嵌入的平滑张量补全（MDT-SPC）算法、多向延迟嵌入的Tucker分解[1]（MDT-Tucker）算法补全后的特征数据分别训练基分类器,并使用五折交叉验证进行预测,得到三组新的特征,将新的特征信息与LRTV算法补全的数据进行结合,从而取得了优于传统方法的识别准确率。

关键词：核磁共振脑瘤分类缺失模态数据补全

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多模态预训练模型的跨模态检索方法研究

基于多模态预训练模型的跨模态检索方法研究

引用

作者：夏鑫雨山东师范大学

学位级别：硕士

跨模态检索使用一种模态的数据作为查询,在另一种模态中检索语义相关的数据。依靠深度神经网络强大的语义表征能力,深度跨模态检索模型在跨模态检索任务上展现了优越的检索性能。近几年,多模态预训练模型通过自然语言监督学习视觉表示,... 详细信息

跨模态检索使用一种模态的数据作为查询,在另一种模态中检索语义相关的数据。依靠深度神经网络强大的语义表征能力,深度跨模态检索模型在跨模态检索任务上展现了优越的检索性能。近几年,多模态预训练模型通过自然语言监督学习视觉表示,在多个多模态任务中取得了显著的进展。然而,在跨模态检索方面的潜在影响尚未得到研究。另外,绝大多数的深度跨模态检索方法仅适用于模态数据完备下的跨模态检索场景,他们对模态数据的处理能力不足。针对这些挑战,本文对基于多模态预训练模型的跨模态检索方法展开了研究,主要包括两个工作:(1)本文首次探讨了多模态预训练模型CLIP对跨模态哈希检索性能的影响,并提出了一种简单但强大的无监督对比多模态融合哈希网络(UCMFH)作为基线。首先从CLIP模型中提取现成的视觉和语言特征,作为跨模态哈希函数的输入。为了进一步缩小图像和文本特征之间的语义差距,设计了一个有效的对比多模态学习模块,该模块利用多模态融合Transformer编码器,并受到对比损失的监督,以增强模态间的交互并提升每种模态的语义表示。此外,还设计了一个对比哈希学习模块来生成高质量的模态相关哈希码。实验结果表明,与现有的最先进的监督和无监督跨模态哈希方法相比,本文提出的新无监督基线UCMFH能够实现显著的性能提升。同时,实验也证明了CLIP特征在跨模态哈希检索任务上的性能,相较于现有方法中使用的深度视觉和语言特征具有显著的优势。(2)本文提出了一个融合多模态预训练网络的多模态Transformer模型,该模型能在模态缺失的情况下充分进行多模态细粒度语义交互,提取多模态融合语义并构造跨模态子空间,同时引导学习生成多模态典型概念。另外,本文使用典型概念作为跨注意力的键(Key)和值(Value)来驱动模态映射网络的训练,使模态映射网络可以自适应地感知查询模态数据中隐含的多模态语义概念,生成跨模态检索特征,充分保留训练提取的多模态融合语义。在四个基准跨模态检索数据集上的实验结果证明,本文提出的方法在模态完备和模态缺失下的跨模态检索任务上都取得了优越的性能。

关键词：跨模态检索缺失模态模态融合哈希 CLIP

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：