基于多模态深度学习的癌症生存期预测方法研究

作     者：李瑞清 

作者单位：中国科学技术大学 

学位级别：硕士

导师姓名：李骜

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 1002[医学-临床医学] 081104[工学-模式识别与智能系统] 08[工学] 100214[医学-肿瘤学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 10[医学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：癌症生存期预测 多模态深度学习 分解双线性模型 图注意力 组学数据 数字病理图像 

摘      要：癌症作为一种多病因、多过程的复杂疾病,已成为人类生命和健康的第一杀手。因此,实现对癌症患者生存期的精准预测,在辅助医生制定个性化的诊疗方案,以及改善患者的生存结局等方面具重要意义。根据现有研究,有效融合癌症组学和病理图像多模态数据对提升生存期预测的准确性具有重大意义。然而,现有基于克罗内克积的生存期预测方法不仅会引入大量参数,从而导致计算成本过高以及模型过拟合等诸多问题,而且现有方法采用的单次融合方式,难以充分融合组学和病理图像等不同模态的数据。针对上述问题,本研究提出了基于多模态深度学习的癌症生存期预测方法,通过对多模态癌症数据进行更加专业有效的融合,不仅显著提升了癌症生存期的预测性能,而且有效降低了计算成本。本研究主要完成以下几个方面的工作:(1)为有效融合多模态癌症数据,从而实现对患者生存期的准确预测,本研究提出了一种新颖的端到端多模态癌症生存期预测方法HFBSurv(hierarchical factorized bilinear fusion for cancer survival prediction)。该方法通过采用基于深度神经网络的分层融合框架,将多模态数据融合问题分解为低层和高层两个不同的融合层次。同时,分别在低层和高层融合中设计了参数更少的模态特异性注意力分解双线性模块和跨模态注意力分解双线性模块,用于捕获各个模态内部和不同模态之间的特征交互关系,在此基础上进一步结合预测模块进行癌症生存期的有效预测。通过多种性能指标对该方法进行评估,结果表明HFBSurv中各模块不仅有助于提升癌症生存期预测的准确性,而且大大降低了模型的计算复杂度,同时与现有方法的对比,也显示了 HFBSurv在生存期预测方面的优越性。(2)为对癌症患者间的潜在关系进行有效建模,从而提升癌症生存期的预测性能,本研究进一步提出了图注意力分解双线性分层癌症生存期预测方法G-HFBSurv(graph attention hierarchical factorized bilinear fusion for cancer survival prediction)。该方法在HFBSurv的基础上,首先有效融合患者的组学和病理图像数据并生成相应的多模态特征,然后利用上述多模态特征构建患者相似性图以有效建模患者间的潜在关系。最后通过基于患者相似性图的图注意力模块对患者的多模态特征进行精化,从而实现癌症生存期的准确预测。实验结果表明,G-HFBSurv通过对患者间的潜在关系进行有效建模,显著提升了癌症生存期的预测性能。