基于深度学习的磁共振成像超分辨率重建

作     者：李光远 

作者单位：烟台大学 

学位级别：硕士

导师姓名：吕骏

授予年度：2023年

学科分类：0831[工学-生物医学工程（可授工学、理学、医学学位）] 08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

主      题：磁共振成像 超分辨率重建 生成对抗网络 Transformer 注意力机制 

摘      要：磁共振成像(Magnetic Resonance Imaging,MRI)是一项重要的医学成像技术,具备无创、无辐射和高对比度等特点。然而,它的成像速度较慢,这主要受限于物理因素,包括磁场强度、回转率。成像速度较慢已成为影响MRI技术发展的主要因素,因为较慢的成像速度导致长时间的数据采集,这样会给病人带来不适感。此外,在长时间的采集过程中,病人会不由自主的运动,而这些的运动会在磁共振图像中引入严重的运动伪影,进而影响MRI的诊断。因此,提高MRI的成像速度具有很大的临床价值和经济意义。受到超分辨率方法(Super-Resolution,SR)在自然图像领域应用的启发,研究人员将SR方法应用到MRI领域,用来加速MRI成像。具体来说,通过快速扫描的方式获得低分辨率(Low-Resolution,LR)图像,然后通过训练后的神经网络获得高分辨率(High-Resolution,HR)图像,达到加速MRI成像的目的。因此,针对上述问题,本文基于深度学习技术开展了如下研究:研究一:结合注意力机制和循环损失的生成对抗网络用于盆腔MRI SR重建目前的单对比度SR方法使用结构简单的卷积神经网络进行MRI的重建,而结构简单的卷积神经网络只能提取磁共振图像中有限的信息,重建能力较差。近期,注意力机制和循环损失在视觉任务中表现出了优异的性能。注意力机制可以帮助模型更好地理解输入数据中的重要部分,并将其集中在关键区域,从而提高模型的性能和精度。循环损失是指在序列生成任务中使用的一种损失函数,可以帮助模型更好地学习和保持输入和输出序列之间的一致性。因此,本研究提出了一种新颖的单对比度SR方法,使用具有循环损失和注意力驱动的生成对抗网络,将LR图像重建为HR图像。使用健康受试者和患者的盆腔数据,在上采样尺度为2倍和4倍下进行了实验。实验结果表明,研究一使用注意力机制和循环损失能更好地恢复原始图像中的细节。研究二:Transformer赋能的多尺度匹配和聚合网络用于多对比度MRI SR重建MRI可以呈现具有相同解剖结构但不同对比度的图像,利用这种特性可以进行多对比度MRI SR重建。与使用单一对比度的SR重建方法相比,多对比度的SR重建方法可以利用嵌入在不同成像模式中的不同但互补的信息,来重建出更高质量的图像。然而,现有的方法仍有两个缺点,缺点一:它们忽略了不同尺度下的多对比度特征包含不同的解剖信息,缺乏有效的机制来匹配和融合这些信息以得到更好的重建结果;缺点二:它们在捕捉长距离依赖方面仍有缺陷,而这些依赖对具有复杂解剖结构的区域是至关重要的。因此,在研究二中设计了一个Transformer赋能的多尺度上下文匹配和聚合网络来全面解决这些问题。首先,训练Transformer来模拟参考图像和目标图像中的长距离依赖关系。然后,在研究二中设计了一种新的多尺度上下文匹配方法,从不同尺度的参考特征中捕捉相应的特征信息。此外,在研究二中引入了一个多尺度聚合模块,逐步聚合多尺度的特征来重建目标图像。实验表明,Transformer赋能的多尺度匹配和聚合网络能够建模长依赖的关系,能够重建出可诊断的磁共振图像,在临床实践中具有很大的应用潜力。研究三:联合小波和交叉注意力Transformer用于多对比MRI SR重建当前的多对比度MRI方法通常利用卷积神经网络进行特征提取和融合。然而,现有模型有一些缺点,阻碍了它们产生更令人满意的结果。首先,在特征提取过程中,图像中的一些高频细节会丢失,导致重建图像中的边界比较模糊,这可能会妨碍后续的诊断和治疗。其次,有限的感受野使得神经网络难以捕捉远程/非局部特征。第三,这些方法缺少有效的多对比度特征融合机制,不能充分使用参考图像中的补充信息。因此,研究三提出了一个新颖的模型,结合小波变换与交叉注意力Transformer,来全面解决上述问题。首先,采用2D离散小波变换获得参考图像中的细节系数和近似系数。然后,在研究三中设计了一种新的残差交叉注意力Swin Transformer,用于提取和融合多对比度特征,以建立特征之间的长距离依赖关系,并最大限度地恢复目标图像中的高频信息。此外,在研究三中提出了一个多残差融合模块,将上采样后的目标图像与原始参考图像中的高频特征融合在一起,保证细节信息的还原。实验表明,联合小波和交叉注意力Transformer能够有效的重建出磁共振图像中的高频细节信息。首先,本文提出了结合注意力机制和循环损失的生成对抗网络,来提高单对比度磁共振图像的质量。其次,根据磁共振成像本身所具有的特性,本文设计了两种基于Transformer的多对比度MRI SR方法,来充分挖掘参考对比度图像中的信息,用于提高目标对比度图像的重建质量。最后,对全文内容进行了总结,并对未来的研究方向进行展望。