基于混合知识蒸馏的轻量级胸部疾病分类算法

作     者：赖裕 李锵 聂为之 白云鹏 赵丰 LAI Yu;LI Qiang;NIE Weizhi;BAI Yunpeng;ZHAO Feng

作者机构：天津大学微电子学院天津300072 天津大学电气自动化与信息工程学院天津300072 天津市胸科医院心血管外科天津300222 

出 版 物：《光电子．激光》 (Journal of Optoelectronics·Laser)

年 卷 期：2024年第35卷第9期

页      面：993-1000页

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 081104[工学-模式识别与智能系统] 08[工学] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 

基　　金：国家自然科学基金(61471263,62272337) 天津市自然科学基金(16JCZDJC31100) 天津大学自主创新基金(2021XZC-0024)资助项目 

主　　题：ChestX-ray14 多标签分类 卷积神经网络(CNN) 医学图像处理 知识蒸馏(KD) 

摘      要：针对现有胸部疾病分类算法参数量较大、对运行设备的硬件资源要求较高的问题,本文基于混合知识蒸馏(knowledge distillation,KD)的训练策略提出一种轻量级胸部疾病分类算法RMSNet。首先,该算法将优化后的残差收缩模块加入到基础网络MobileViT中,利用软阈值化的方式过滤X光片中的背景噪声;其次,提出混合知识蒸馏训练策略,利用多层级注意力图和相似性激活矩阵作为监督信号,提升轻量级模型的分类性能;最后,使用焦点损失函数(focal loss,FL)缓解数据集正负样本不均衡的问题。在ChestX-ray14数据集上展开验证,蒸馏训练后的RMSNet学生模型识别14类胸部疾病的平均AUC值为0.836,而参数量和浮点计算量分别为0.96 M和0.27 G。实验结果表明,本文算法在保持轻量化的同时分类精度更高,能有效降低算法运行时的硬件要求。