基于多模态磁共振图像融合的肝脏纤维化分级

作     者：曹鹏 

作者单位：南京信息工程大学 

学位级别：硕士

导师姓名：徐军

授予年度：2023年

学科分类：1002[医学-临床医学] 08[工学] 080203[工学-机械设计及理论] 100201[医学-内科学(含：心血管病、血液病、呼吸系病、消化系病、内分泌与代谢病、肾病、风湿病、传染病)] 0802[工学-机械工程] 10[医学] 

主      题：多模态 肝脏纤维化 卷积神经网络 自动分期 影像组学 

摘      要：肝脏纤维化是慢性肝病往肝硬化发展的必经阶段,在肝脏纤维化期间经过治疗,肝脏可以逆转为有活性的肝脏,而一旦发展为肝硬化,则会伴随患者终生。于是,及时的确定患者肝脏纤维化分期并且根据纤维化程度采取恰当的治疗方案十分具有临床意义。目前,临床上确定肝脏纤维化等级主要是通过肝脏活检,然而该方法对人体有较大的伤害,迫切需要无创方法评估肝脏纤维化的程度。血清学指标准确率较低,超声可重复性较差,而磁共振图像比CT包含更多的纹理信息,利用磁共振图像预测纤维化分期有更大的临床价值。目前,使用单模态T1或T2磁共振图像数据预测肝脏纤维化分期的准确率较差,而使用多模态磁共振图像融合可以综合模态之间的语义信息,更好的实现肝脏纤维化的预测。因此,本文重点在于利用患者的多模态磁共振图像数据,构建分类模型实现肝脏纤维化的自动分期,为医生的诊断提供支持。本文首先构建了临床显著肝脏纤维化自动分期的深度学习模型。首先利用深度交互式思想实现对肝脏区域的分割,以排除肝脏周边背景区域对模型分类的影响,接着设计了一种多通道多模态融合的肝脏纤维化自动分期网络,该网络分别以患者的不同模态的数据作为输入,以Resnet34为特征提取器,利用该网络的模态融合模块,提取T1、T2两个模态磁共振图像之间的共性特征,利用通道注意力机制将各个模态的特性特征一并提取,通过联合训练的思想,给定共性与特性特征一个权重系数,让网络自适应学习通道重要程度。通过实验证明,本文的多模态融合模块和联合训练的思想有效的实现了临床显著肝脏纤维化的自动分级,其AUC为0.803,准确率为0.840,敏感度0.749,特异度0.848,对比于仅使用单模态的数据,有了较多的提升。且通过对模型的深度特征可视化,发现该模型更多关注于血管和边缘,主要有两部分原因,一是由于显著纤维化患者的肝脏在边缘区域或多或少会出现锯齿形,二是由于纤维化导致蛋白的沉积使得血管发生一定程度的扭曲。为了解决第三章深度学习模型中基于切片层次分析和深度特征无临床可解释意义的问题,本文进一步构建了一种多模态融合的肝脏纤维化自动分期的影像组学模型。该模型通过从患者T1、T2模态的磁共振图像的肝脏区域提取形状、一阶特征、NGTDM、GLCM、GLSZM、GLRLM、GLDM特征,使用特征拼接和典型相关分析两种不同的融合方法实现多模态磁共振图像的融合,接着使用秩和检验、m RMR等特征选择方法实现特征降维,从而得到最佳特征子集,最后利用SVM和LDA两个分类器构建了临床显著肝脏纤维化自动分期的模型。为了显示多模态融合的有效性,本文与单模态构建的模型进行对比,最终使用典型相关分析融合的LDA模型在测试集上展现了最佳的预测性能,其AUC为0.823,准确率为0.834,敏感度0.813,特异度0.833。实验结果证明了多模态融合能够实现更好的分级,且在对影像特征可视化中,发现相同的影像组学特征在不同的肝段的肝脏表面区域上有明显的区别,这是由于严重的纤维化患者肝中静脉引流区体积下降明显,而其他区域的体积如组织细胞外容积相对增大,纹理特征对分级的影响较大。