基于多模态图像融合的早期蕈样肉芽肿识别

作     者：谢凤英 赵丹培 王可 刘兆睿 王煜坤 张漪澜 刘洁 XIE Fengying;ZHAO Danpei;WANG Ke;LIU Zhaorui;WANG Yukun;ZHANG Yilan;LIU Jie

作者机构：北京航空航天大学宇航学院图像处理中心北京100191 北京协和医院皮肤科北京100730 中国医学科学院北京协和医学院北京100730 

出 版 物：《数据采集与处理》 (Journal of Data Acquisition and Processing)

年 卷 期：2023年第38卷第4期

页      面：792-801页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 1002[医学-临床医学] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 100206[医学-皮肤病与性病学] 10[医学] 

基　　金：国家自然科学基金(61871011,62071011,61971443,82173449) 中国医学科学院中央级公益性科研院所基本科研业务费专项资金(2019XK320024) 北京市自然科学基金(4192032) 

主　　题：皮肤镜图像 临床图像 多模态图像融合 临床应用 辅助诊断 

摘      要：早期蕈样肉芽肿(Mycosis fungoid,MF)可表现为红斑鳞屑性皮损,很难从银屑病及慢性湿疹等良性炎症性皮肤病中鉴别出来。本文提出了一种基于多模态图像融合的早期蕈样肉芽肿识别方法。该方法基于皮肤镜图像和临床图像,采用ResNet18网络提取单模态图像的特征;设计跨模态的注意力模块,实现两种模态图像的特征融合;并且设计自注意力模块提取融合特征中的关键信息,改善信息冗余,从而提高蕈样肉芽肿智能识别的准确度。实验结果表明,本文所提出的智能诊断模型优于对比算法。将本文模型应用于皮肤科医生的实际临床诊断,通过实验组医生和对照组医生平均诊断准确率的变化证实了本文模型能够有效提升临床诊断水平。