可形变Transformer辅助的胸部X光影像疾病诊断模型
Chest X-ray imaging disease diagnosis model assisted bydeformable Transformer作者机构:天津大学电气自动化与信息工程学院天津300072 长春职业技术学院信息学院吉林长春130033 天津市胸科医院心血管外科天津300222
出 版 物:《浙江大学学报:工学版》 (Journal of Zhejiang University:Engineering Science)
年 卷 期:2023年第57卷第10期
页 面:1923-1932页
核心收录:
学科分类:081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术(可授工学、理学学位)]
基 金:国家自然科学基金资助项目(61902277 62272337)
主 题:胸部X光图像分类 可形变Transformer 压缩型双注意力 非对称损失函数 先验知识
摘 要:针对胸部X光影像中的灰雾现象、病变区域重叠等问题,提出可形变Transformer辅助的胸部X光影像疾病诊断模型.将扩展后的ResNet50作为特征提取网络,添加压缩型双注意力模块,增强病变区域与非病变区域之间的特征差异,降低冗余信息的干扰,提高图像数据的特征提取效果;通过可形变Transformer解码器内部的交叉注意力模块,引入类别表征作为先验知识,引导影像特征进一步融合,提高不同疾病在影像区域重叠情况下的特征区分度;将解码器的输出传入分类器中以获得最终的诊断结果.压缩型双注意力模块和可形变Transformer均起到降低模型计算复杂度的作用,引入非对称损失函数可以更好地解决正负样本不均衡.利用所提模型在公开数据集ChestX-Ray14和CheXpert上进行多组实验,在2个数据集上的受试者操作的特征曲线下面积值(AUC)分别达到0.8398和0.9061,表明该模型在胸部X光影像的疾病诊断方面具有正确性和有效性.