基于多角度深度特征挖掘的乳腺癌病理图像识别模型研究

作     者：李传秀 

作者单位：华东交通大学 

学位级别：硕士

导师姓名：李广丽

授予年度：2023年

学科分类：1002[医学-临床医学] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 100214[医学-肿瘤学] 10[医学] 

主      题：乳腺癌病理图像识别 深度特征挖掘 多示例学习 深度互学习 Transformer 注意力机制 

摘      要：乳腺癌是女性常见癌症之一,对女性身心健康危害严重。计算机辅助诊断模型可准确、高效地辅助病理医生的临床诊断,实现乳腺癌的快速诊断,为提升病人的生存质量奠定重要基础。然而,现有研究仍存在以下不足:一方面,仅使用单一模型挖掘病理信息,无法利用不同模型之间的特征互补性;另一方面,忽略了高分辨率病理图像的全局特征在乳腺病理图像识别中的重要性,且诊断结果缺乏可解释性;此外,传统Transformer无法充分利用高分辨率病理图像中的空间特征信息。为此,本研究从卷积神经网络、多示例学习、Transformer等多个角度对乳腺病理图像进行深度特征挖掘,提出了基于多角度深度特征挖掘的乳腺癌病理图像识别模型。主要工作如下:(1)基于在线相互知识迁移的融合模型:针对单一模型提取病理特征不充分、识别及泛化能力有限的问题。从真实病理诊断场景出发,提出基于在线相互知识迁移的融合模型(Model Fusion based on Online Mutual Knowledge Transfer,MF-OMKT)。MF-OMKT以深度互学习方式实现在线相互知识迁移,着力打破模型间的隔离,有助于完成深度特征挖掘,并为模型融合提供来自异构网络的互补信息。MF-OMKT还设计了自适应模型融合方法,对知识迁移后的异构网络特征进行融合,训练出识别性能和泛化能力都更强的模型。在Break His数据集上,MF-OMKT的二分类准确率达到99%以上,多分类准确率达到96%以上。MF-OMKT模型更贴近真实病理诊断场景:在线相互知识迁移模拟了病理医生之间的相互交流和学习,模型融合模拟了病理医生通过集中决策得出诊断结果的过程,同时MF-OMKT是一个通用的模型融合框架。(2)多视角注意力引导的多示例检测网络:MF-OMKT将从病理图像中提取的图像块作为模型输入,在中小分辨率图像中取得较好性能,由于无法将整张图像作为输入,它不适用于高分辨率病理图像。为应对该问题,提出多视角注意力引导的多实例检测网络(Multi-View Attention-Guided Multiple Instance Detection Network,MA-MIDN)。MAMIDN将传统图像分类问题转变为弱监督多示例学习问题,设计了多视角注意力算法对示例进行筛选,以定位图像中关键区域,并设计了多视角注意力引导的多示例池化方法来聚合示例特征,以获得更具判别性的图像级别的病理特征。MA-MIDN模型同时完成病变定位和图像分类,在三个公共乳腺癌病理图像数据集上MA-MIDN模型的准确率、AUC、Precision、Recall和F1指标均优于基线。它在不影响分类性能情况下实现精准定位,提供更具解释性的诊断结果,具备较高实用性。(3)基于深度混合的视觉Transformer识别模型:MA-MIDN在高分辨率病理图像的二分类任务中表现优异,但其多分类性能有待提高,高分辨率病理图像中的空间信息得不到有效利用。为此,提出基于深度混合的视觉Transformer(Deep Hybrid Vision Transformer,DH-Vi T)识别模型。DH-Vi T将Transformer和卷积神经网络相结合,在Transformer结构中加入金字塔卷积结构,充分提取高分辨率病理图像中的空间信息。此外,将在线知识蒸馏引入到DH-Vi T模型中,深度挖掘乳腺癌病理图像中的病理信息,提升模型精度。在三个公共乳腺癌病理图像数据集上,DH-Vi T模型优于主流基线,且在多分类任务上性能提升显著。