检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

注意力机制引导的多模态心脏图像分割

南京师大学报（自然科学版） 2019年第3期42卷 27-31,41页

作者：杨琬琪周子奇郭心娜南京师范大学计算机科学与技术学院

为有效挖掘模态间共享与模态特有的信息,本文提出一种注意力机制引导的半孪生网络,用于分割多模态(MRI与CT)心脏图像.具体地,首先运用循环一致的生成对抗网络(CycleGAN)进行双向的图像生成(即从MRI到CT以及从CT到MRI),这样可以解决模态... 详细信息

为有效挖掘模态间共享与模态特有的信息,本文提出一种注意力机制引导的半孪生网络,用于分割多模态(MRI与CT)心脏图像.具体地,首先运用循环一致的生成对抗网络(CycleGAN)进行双向的图像生成(即从MRI到CT以及从CT到MRI),这样可以解决模态间心脏图像不配对的问题;其次,设计一个新的半孪生网络,将原始的CT(或MR)图像及其生成的MR(或CT)图像进行配对并同时输入,先通过两个编码器(encoders)分别学习模态特有的特征,再经过一个跨模态的注意力模块将不同模态的特征进行融合,最后输入一个公共的解码器(decoder)来得到模态共享的特征,用于心脏图像分割.上述学习过程是端到端的方式进行训练.本文将所提方法在真实的CT与MR不配对的心脏图像数据集上进行实验评估,表明所提方法的分割精度超出基准方法.

关键词：注意力机制多模态心脏图像分割半孪生网络跨模态图像生成

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

一种强真实感的图像生成算法设计与仿真

计算机仿真 2022年第4期39卷 492-495,500页

作者：应卫强张帆张玲燕浙江大学城市学院浙江杭州310015 浙江大学软件学院浙江杭州310027

传统方法下生成的跨模态图像易造成目标部分重要信息缺失,生成的图像缺乏真实感,于是提出改进生成式对抗网络和半监督学习的跨模态图像生成方法。建立生成式对抗网络,分析半监督学习特征,经融合后组成半监督生成式对抗网络。在判别器中... 详细信息

传统方法下生成的跨模态图像易造成目标部分重要信息缺失,生成的图像缺乏真实感,于是提出改进生成式对抗网络和半监督学习的跨模态图像生成方法。建立生成式对抗网络,分析半监督学习特征,经融合后组成半监督生成式对抗网络。在判别器中使用卷积神经网络、在生成器中引入反卷积神经网络,在半监督生成式对抗网络中添加分类器,改进所建的网络模型,利用全变差正则化项建立伪判别损失函数。利用架构的随机梯度下降优化算法,完成散度似然比的直接优化,最后在三个网络的共同作用下,输出生成的跨模态图像。仿真阶段分别从视觉效果与评估指标两个角度,验证出所提方法的有效性,结果证明上述方法不仅使生成图像更具真实感,而且保留了大部分目标特征,能够满足图像的高质量需求。

关键词：生成式对抗网络半监督学习跨模态图像生成随机梯度下降优化算法损失函数

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于语义一致性的细节保持图像生成方法研究

基于语义一致性的细节保持图像生成方法研究

作者：崔怀磊山东师范大学

学位级别：硕士

计算机视觉在交通、教育、医疗、安全等诸多领域广泛应用,受益于大数据时代下数据的广泛流通。近年来,图像恢复、调整景物颜色、风格转换、照片艺术化等更广泛的图像制作和编辑需求引起了计算机视觉领域的极大关注。移除照片中某个部分... 详细信息

计算机视觉在交通、教育、医疗、安全等诸多领域广泛应用,受益于大数据时代下数据的广泛流通。近年来,图像恢复、调整景物颜色、风格转换、照片艺术化等更广泛的图像制作和编辑需求引起了计算机视觉领域的极大关注。移除照片中某个部分、改变图片部分颜色、照片艺术化等更广泛的图像制作和编辑需求使计算机视觉领域得到了广泛关注。文本模态到图像模态的主要任务是从一句描述性文本中生成一张图片,使生成的图像与文内容相对应。文字生成图像领域广泛使用生成对抗网络,使跨模态技术进步显著。使生成的图像模态具有较好的真实性和较高的语义一致性是一项挑战性任务,因为语言模态和图像模态是两种不同的模态,一段文字模态的描述可以生成各种不同的图像模态。文本模态生成图像模态任务面临生成图像的视觉真实性和语义一致性两个挑战。从文本模态到图像模态的跨模态生成任务的模型大都是通过添加上采样层,逐个阶段生成高质量图像。虽然最后生成的图像分辨率较高,图像真实性较好,但是有些图像的属性与细节与原始文本并不匹配,语义一致性较差的问题仍然存在。文本语义和视觉特征之间的匹配是衡量生成图像效果的显著标志,在文本生成图像的过程中,不可避免地出现语义鸿沟,即不能稳定地将单词与需要进行细节优化的图像相关联,导致生成图像的细节不准确。课题的研究内容是改进生成对抗网络,在图像生成方向提高文本模态与生成图像模态的匹配关系,进一步提高语义一致性。提出以下两种可以优化图像细节,提高文本模态与生成的图像模态之间语义一致性的生成网络,以此产生包含更多细节特征的细粒度图像:(1)提出一种以细节保持为基础的跨模态图像生成方法。首先,在文本模态描述中挖掘潜在语义,在文中引入特征提取模块,对重要词句进行筛选,在词句间获取语义结构信息;然后,构造细节保持模块关联图像与文本信息,结合混合注意力机制,对特定文本对应的图像模态区域进行定位,将定位区域与文本信息进行关联,对生成图像模态的细节进行增强和优化。实验结果显示,在CUB和COCO数据集中结果有较好的竞争性。(2)提出一种基于优化损失的跨模态图像生成方法。在基于细节保持的图像生成方法的基础上,融合语义损失和感知损失对结果进行优化。语义损失将生成的图像模态子区域和单词模态映射到同一个语义空间,共同计算文本模态和生成图像模态的相似度,为训练生成器提供文本-图像匹配损失。感知损失从生成图像和真实图像中提取语义特征,通过匹配特征空间来减少图像模态生成的随机性实验。结果表明,并且在CUB和COCO数据集上取得了较好的结果。

关键词：跨模态图像生成语义一致性注意力机制细节保持

基于多模态医学图像的阿尔茨海默症诊断方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多模态医学图像的阿尔茨海默症诊断方法研究

作者：熊星中南大学

学位级别：硕士

阿尔茨海默病(AD)是一种严重的且不可逆的神经退行性疾病。对AD进行及时而精确地诊断对患者的治疗至关重要。多模态医学图像(如结构性核磁磁共振成像(s MRI)和正电子发射断层扫描(PET))可以捕捉到大脑细微的结构和功能变化,它们与疾病... 详细信息

阿尔茨海默病(AD)是一种严重的且不可逆的神经退行性疾病。对AD进行及时而精确地诊断对患者的治疗至关重要。多模态医学图像(如结构性核磁磁共振成像(s MRI)和正电子发射断层扫描(PET))可以捕捉到大脑细微的结构和功能变化,它们与疾病相关的互补性信息有助于AD的诊断。但在临床实践中,由于高成本、辐射风险等原因,PET图像经常缺失。近年来,深度学习技术的发展为解决上述问题提供了可能。因此,本文旨在利用深度学习技术来解决AD诊断中的不足及研究中的困境,主要研究内容和贡献如下:(1)针对AD诊断效率低的问题,本文提出一个基于三维卷积神经网络(3DCNN)和Transformer的分类模型。该模型以多模态医学图像(s MRI和PET)作为实验数据,使用3DCNN提取医学图像的局部特征,并通过改进Transformer来渐进式学习单模态特征之间的全局相关性信息,最后融合这些来自不同模态的信息进行疾病诊断。该模型在公开数据集阿尔茨海默病神经成像倡议(ADNI)上进行了大量实验,获得了98.10%的AD分类准确率,优于先前的研究方法,证明了该模型的可行性。模型的可靠性也在大量的对比实验中得到了验证。此外,通过采用基于模型特性的方法进行可视化分析,提高了模型的可解释性。在可视化结果中,找到了各模态与AD诊断相关的大脑区域,可为AD病理研究提供参考信息。(2)针对临床中单模态(PET)图像缺失的问题,本文提出一个基于金字塔卷积和注意力机制的跨模态医学图像生成模型。该模型利用金字塔卷积结合通道注意力机制来提取s MRI中的多尺度局部特征,并使用自注意力机制为这些特征注入全局相关性信息,从而保证生成的PET图像在局部纹理和全局结构上的还原。最后,还通过引入联合损失函数来优化生成器模型。生成的图像在各项性能指标(平均绝对误差:0.0194,峰值信噪比:29.65,结构相似度:0.9486)上都优于先前研究方法,并接近于真实图像。在促进AD诊断方面,生成的图像在AD多模态诊断任务中也表现出了优异的性能(分类准确率:94.21%),并优于先前同类型的研究方法。该生成模型能用于减缓患者临床诊断中的经济压力、降低辐射暴露风险、简化诊断流程,并提高其临床的诊断效率。综上,本文旨在设计更高效的深度学习模型来解决当前AD研究中的不足。这些模型在大量的实验中展现出了优异的性能,能为AD的进一步研究提供新思路和新见解。图25幅,表15个,参考文献104篇

关键词：阿尔茨海默症多模态医学图像深度学习 Transformer 模型可视化跨模态图像生成金字塔卷积注意力机制

面向急性缺血性脑卒中CT到MRI的图像生成

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机技术与发展 2023年第10期33卷 135-142页

作者：冯二燕秦品乐柴锐曾建朝孟延锋山西省医学影像与数据分析工程研究中心(中北大学) 山西太原030051 中北大学计算机科学与技术学院山西太原030051 山西医科大学附属太原中心医院山西太原030009

急性缺血性脑卒中病灶很容易在磁共振成像(MRI)上表现为高信号区域。相较于MRI,计算机断层扫描(CT)成像速度快、价格低,不易受金属植入物干扰,但CT对缺血性脑卒中病灶不敏感,通常在CT上难以确定病灶的位置,且CT包含的信息量比MRI少。考... 详细信息

急性缺血性脑卒中病灶很容易在磁共振成像(MRI)上表现为高信号区域。相较于MRI,计算机断层扫描(CT)成像速度快、价格低,不易受金属植入物干扰,但CT对缺血性脑卒中病灶不敏感,通常在CT上难以确定病灶的位置,且CT包含的信息量比MRI少。考虑到速度与可用性的提升以及成本的降低,为了以CT生成的MRI代替真实的MRI对急性缺血性脑卒中进行诊断,提出一种CT到MRI的跨模态图像生成算法。首先,利用影像组学在CT上确定病灶区域并提取影像组学特征,筛选出信息增益最大的特征并可视化,然后将该特征图与CT一同作为生成对抗网络的输入。生成对抗网络在pix2pix生成器中引入残差块,鉴别器采用PatchGAN。最后在损失函数中引入病灶特征相似性损失函数,更加关注病灶区域的相似性。经两名放射科医生的主观判断与评估指标的客观分析,结果表明,该算法生成的MRI与真实MRI相似性极高,且病灶位置正确,形状相似,可为医生的诊疗提供帮助。

关键词：医学图像生成影像组学生成对抗网络计算机断层扫描(CT) 磁共振成像(MRI) 跨模态图像生成

RGB-to-NIR Image Translation Using Generative Adversarial Network

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

RGB-to-NIR Image Translation Using Generative Adversarial Ne...

作者：黄翼华中师范大学

学位级别：硕士

图像的模态指的是在不同的采集条件下获得的对同一对象不同属性特征的描述。例如:对于行人来说,相同姿态下,在可见光条件下使用普通相机拍摄得到的RGB图像和使用红外相机拍摄到的NIR图像就是该对象的两种不同模态图像。显然,对于同一个... 详细信息

图像的模态指的是在不同的采集条件下获得的对同一对象不同属性特征的描述。例如:对于行人来说,相同姿态下,在可见光条件下使用普通相机拍摄得到的RGB图像和使用红外相机拍摄到的NIR图像就是该对象的两种不同模态图像。显然,对于同一个对象,不停模态下的图像蕴含着不同的特征。而基于多模态协同的任务有助于提升对象的表达能力,获取更全面精确的信息,从而提升和扩展其余应用如跨模态行人识别等的处理能力。一般而言,跨模态图像生成要求学习两种模态图像之间一对一的映射关系,且对生成的目标模态图像具有严格的输出要求:尽可能达到与真实目标模态图像像素级别的“精确匹配”。然而,当模态之间差异较大的时候,跨模态图像之间的转换生成是非常困难的。这是因为在大多数情况下,图像到图像的转换是个不良定义的问题,即不同领域图像之间的转换关系是不明确的。也就是说,对于给定的源图像,可能存在多张符合定义的目标领域图像。早期的图像到图像转换可以追溯到图像类比算法。该算法从多对输入-输出图片中学习到对应像素点的转换关系,再把这种关系运用到新的图片转换上,从而得到对应的转换图片。近年来,卷积神经网络凭借其强大的多层次图像特征提取和表示能力,被广泛应用于计算机视觉领域的众多任务中,并表现出了优异的性能,随着基于深度学习的生成模型的发展,研究者开始将深度学习模型应用到该算法中,取得了较好的转换效果。此时,图像转换任务依然可以看作一种广义的实例分割任务。由于生成对抗网络在清晰图像生成上的优异表现,基于GAN的网络模型开始被用来处理图像转换任务。在该任务中,生成器输入的不再是随机噪声,而是一张需要进行转换的图像。研究者们使用大量一一配对的图像结合条件生成对抗网络,提出了一个通用的图像到图像转换架构并选择合适的损失函数对模型进行优化,在很多图像到图像转换任务中取得了很好的结果。根据不同的图像到图像转换任务,可以使用不同的网络结构结合不同的损失函数来训练模型。对于具有完全匹配的输入与输出的图像到图像转换任务来说,采用像素损失作为模型训练的损失函数能够尽可能达到图像内容上的一致。而对于那些更关注图像语义上的转换的图像转换任务,使用感知损失取代像素损失能够生成质量更好的图像,如图像风格迁移,图像超分辨率重建。此外,由于判别器的判别损失能够进一步提高图像的生成质量,生成对抗网络是实现图像到图像转换任务的绝佳网络架构。基于监督学习的图像到图像转换算法虽然具有良好的泛化性能,但需要大量的一一配对数据用于模型的训练当中。然而,在实际应用中,难以获得大量的训练数据集用于模型训练。基于此,一种不需要配对训练数据的通用模型——CycleGAN被提出,该模型通过添加循环一致性损失使生成的图像保持原图像的某些特征,能够防止模式崩塌问题,使得针对无配对图像的转换问题的图像转换成为可能。然而,基于无监督的图像到图像转换是一个艰难的问题,需要加入额外的假设进行约束。例如共享潜在空间假设,该假设认为将两张来自不同领域的对偶图像映射到某个共享潜在空间上时会得到相同的隐含编码,通过该隐含编码作为中间连接能够实现两张图像之间的相互转换。基于该假设结合变分自编码器（VAE）和对抗生成网络（GAN）的一种无监督图像到图像的转换模型在许多计算机视觉任务上取得了良好的效果。本文研究的跨模态图像生成是一种特殊的图像到图像转换,其要求学习两种模态图像之间一对一的映射关系,且对生成的目标模态图像具有严格的输出要求。虽然现有的图像到图像转换算法在很多任务中能够得到看上去比较真实的目标领域图像,但是生成的图像与真实图像之间的像素值及图像结构差异仍然比较大。因此,本文的跨模态图像生成要求生成的图像和真实图像之间尽可能达到像素级别的一致性同时尽可能的保留图像结构信息。并基于此提出了一种解决方案:利用边缘损失函数替代原模型中的内容损失函数,用于解决原模型中生成图像边缘模糊以及因为内容损失函数约束太强而造成的生成器泛化能力减弱的问题。同时,引入局部像素转换用于生成器的预训练中,提升生成器的像素转换精度。具体工作如以下各部分所述:（1）提出了一种边缘损失函数用于替代原CycleGAN模型中的内容损失函数。这是因为第一,边缘损失可有效提升生成图片的边缘精度。无论是RGB模态的图像还是NIR模态的图像,它们之间的边缘检测的结果是一致的。其次,对于内容损失函数,其约束使得生成器的输出与输入趋于一致,生成器的泛化能力减弱。具体来说,给定一个真实样本Xk,生成样本Xk依然对应着原真实样本。而最小化内容损失D（Xk,Xk）2是无意义的。相反的,对于边缘损失函数来说,即使给定的边缘与生成边缘完全一致,由于RGB图像与NIR图像的边缘一致性,最小化边缘损失依然有着实际意义。对于各区域间的像素转换,则由如下所述的使用局部像素的生成模型预训练完成。（2）通过图像分割,扩充对

关键词：跨模态图像生成生成对抗网络图像到图像转换卷积神经网络行人重识别