基于多模态医学图像的青光眼智能诊断研究

作     者：孙润 

作者单位：北京化工大学 

学位级别：硕士

导师姓名：常延贞

授予年度：2024年

学科分类：1002[医学-临床医学] 08[工学] 080203[工学-机械设计及理论] 100212[医学-眼科学] 0802[工学-机械工程] 10[医学] 

主      题：青光眼 深度学习 多模态 眼底照 OCT报告单 

摘      要：基于深度学习的医学图像诊断,是通过对医学图像中的特征信息进行提取,并利用特征自身的变化和特征之间的关联性构建深度学习模型实现的。在临床实践中,青光眼诊断往往需要对多种要素同时进行判断,例如盘沿丢失、视神经纤维层缺损等,只考虑一种要素会导致青光眼诊断困难。基于深度学习的医学图像的关联性研究,是通过提取各种要素,利用要素之间的互补性,构建可解释性强、透明度高的智能诊断框架,使得在临床实践中更好的辅助医生完成诊断。 本文提出了一种双模态融合诊断青光眼的方法。该方法利用眼底照与OCT报告中的视神经纤维层厚度之间的关联性,设计了一个双模态融合网络,通过特征融合实现不同模态数据间的信息交流,更好地提升模型性能。在来自北京同仁医院的临床数据中,融合网络、单模态眼底照网络和单模态OCT网络的AUC分别为0.968、0.867和0.916,双模态融合网络的性能相比单模态网络具有明显的优势。 进一步,本文完全模拟青光眼专家的诊断思维,设计了一类可解释性强、透明度高的智能诊断算法。这一算法充分地考虑了多模态、多尺度下的不同特征,如全局尺度下的盘沿信息、局部尺度下的视神经纤维层信息等,利用特征之间的空间关联性,综合实现青光眼诊断。算法的诊断逻辑可以被医生理解,算法预测的AUC达到0.963。 同时,考虑到在基层医院中,受到技术和经济的限制,OCT检查无法大范围推广,大部分基层医院仍只能通过眼底照进行青光眼诊断的问题,本文提出了一种基于深度学习,利用眼底照进行视神经纤维层厚度预测的方法。本文利用局部化技术构建了眼底照局部图像与OCT中纤维层厚度的数据集,进而利用Swin Transformer建立两者之间的关联映射。在三个测试集上,算法预测的平均绝对误差分别达到12.75、13.95和17.3,表明算法具有一定的临床应用价值。