基于深度学习的医学图像增强与生成

作     者：胡泽斌 

作者单位：宁夏大学 

学位级别：硕士

导师姓名：刘昊;张克平

授予年度：2022年

学科分类：0831[工学-生物医学工程（可授工学、理学、医学学位）] 12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0836[工学-生物工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：跨模态医学图像生成 卷积神经网络 对抗生成网络 Transformer 

摘      要：多模态医学图像是临床诊断的重要参考,由于不同模态的医学图像对各组织突出特征的差异,临床诊断中通常需要综合多种模态的医学图像信息对疾病进行定性评估。为了减小重要模态医学图像的获取成本,跨模态医学图像生成技术至关重要,同时,获取多模态医学图像也是医学图像分割,医学图像跨模态检索等医学人工智能技术的基础。近年来,基于深度学习的医学图像生成方法在各种场景下表现出色,但受限于对多模态医学图像之间的复杂非线性关系的考虑欠缺和常规卷积网络的固有归纳偏置,现有的方法难以捕捉对医学图像生成最为重要的病理信息,针对这一难题,本文的主要工作如下:1、针对同一患者不同模态医学图像之间的空间结构一致性,提出了跨模态注意力图像增强机制。该方法旨在学习一种可迁移的注意力图,充分考虑高维特征空间形变引起的生成图片空间细节损失的问题,通过建模医学图像中的空间结构一致性对无损的医学图像显式地挖掘重要特征信息,让网络在不引入额外的人工标注下提取对医学图像生成最为重要的特征信息。实验结果证明该方法能有效地提取医学图像的重要特征,在主流医学图像数据集Brats 2019上测试的结果优于领域内经典方法。2、针对同一患者不同模态医学图像之间的全局特征相关性,提出了基于双流对抗生成神经网络的跨模态医学图像生成模型。该方法旨在同时学习医学图像病理信息的全局特征和局部特征,充分考虑因常规卷积神经网络的固有归纳偏置导致的全局特征缺失的问题,提出由Transformer构成的全局特征判别器,并通过双重判别器模块约束生成器同时关注全局和局部的病理结构信息。实验结果证明该方法综合医学图像病理信息中的全局特征和局部特征生成高质量的医学图像,在主流医学图像数据集IXI上测试的结果优于领域内前沿方法。3、根据所提出的两种模型,以易用性和可靠性为原则,基于软件工程的思想设计MRI跨模态医学图像生成系统,该系统基于MATLAB技术实现,包含模型选择模块、图像选择和显示模块、图像生成模块和生成图像保存模块,该系统可用于验证本文的有效性和实用性,方便用户操作。