基于Transformer的乳腺组织病理图像自监督分类方法

作     者：丁维龙 刘津龙 朱峰龙 

作者机构：浙江工业大学计算机科学与技术学院 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2024年

核心收录：

学科分类：1002[医学-临床医学] 08[工学] 080203[工学-机械设计及理论] 100214[医学-肿瘤学] 0802[工学-机械工程] 10[医学] 

基　　金：浙江省基础公益研究计划(LTGY23F020005) 国家自然科学基金(32271983) 

主　　题：对比学习 自监督学习 组织病理图像 

摘      要：基于自监督学习的乳腺组织病理图像分类可以辅助病理医生对乳腺癌患者进行筛查. 当前的自监督学习方法通过构造辅助任务学习图像的特征表示， 但这种方式提取到的特征偏向于解决辅助任务， 难以挖掘病理图像自身的特征信息， 影响模型在下游任务中的性能表现. 为此， 提出一种基于Transformer的乳腺组织病理图像自监督分类方法. 首先借助卷积神经网络和视觉Transformer， 对病理图像的局部和全局信息的感知能力设计DenseSwinNet特征提取网络; 然后构建一种基于聚类和自注意力的分类器CSA-MIL， 用于将乳腺组织病理图像的局部和全局特征进行聚合， 预测其是否发生癌变. 在面向乳腺组织病理图像分类任务的公开数据集Camelyon16上的实验结果表明， 所提方法的准确率、F1-Score和AUC分别达到0.901 6， 0.857和0.924 7， 证明该方法可有效地提升分类性能; 此外， 通过对模型关注区域进行可视化分析， 证明了模型具有良好的可解释性.