基于深度学习的皮肤镜图像自动分类与分割算法研究

作     者：韦春苗 

作者单位：兰州交通大学 

学位级别：硕士

导师姓名：徐岩;丁朴

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 1002[医学-临床医学] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 100214[医学-肿瘤学] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 10[医学] 

主      题：PiT Transformer 卷积神经网络 深度学习 图像处理 

摘      要：恶性黑色素瘤是一种致死率极高的的皮肤癌,因为黑色素瘤种类多样、病灶特征复杂,增加了其临床诊断的难度,早期的诊断和临床干预可大大减少患者的死亡率。而皮肤镜技术可以获取清晰放大的病灶特征信息,有利于帮助医生对病情进行分析诊断。若仅靠医生对皮肤镜图像进行肉眼诊断,因具有丰富临床经验的医生数量较少,而且医生个人主观因素会影响诊断结果,会出现成本高、准确率低的问题。而如今,借助计算机技术对皮肤镜图像进行自动辅助诊断(主要包括皮肤镜图像分类与分割任务)是最高效、节约成本的解决方式,但因皮肤镜图像本身存在颜色不均、边界模糊、异物遮挡等问题,给皮肤镜图像自动分类与分割增加了难度。近年来,随着计算机技术的不断发展,利用深度学习对数据进行深度训练可有效获取图像深层特征,在医学图像分类与分割领域表现突出。因此本文在现有算法的基础上对皮肤镜图像进行系统分析和研究,提出了基于深度学习的皮肤镜图像自动分类与分割算法,论文的主要成果如下:1、提出一种改进的基于PiT(pyramid pooling transformer)的网络模型来实现对七种皮肤病变类型的皮肤镜图像进行自动分类。本文模型主要由PiT模块和抗干扰模块两个部分组成,Pit继承了Vi T的优点,并通过池化进行空间尺寸转换来提高模型的鲁棒性,经过预训练的PiT网络拥有大量的自然图像特征,且PiT部分网络可为下游的分类任务提供所需的图像特征,本文设计出抗干扰模块,用来抵抗皮肤镜图像中的干扰因素(如毛发、异物遮挡)的影响,从而提高模型性能、提高分类精度。实验结果表明,本文模型在ISIC 2018验证集上的分类准确率、precision、召回率、Fl-score值分别高达91.58%、83.59%、89.92%、86.34%,每秒传输帧数(FPS)达到85HZ与现有的几种先进的分类网络相比,分类性能和模型效率都有所提高,具有相对优势,证明本文模型具有一定的实用价值。2、提出一种皮肤镜图像自动分割算法。首先使用Resnet-34提取多种分辨率特征,在上下文部分使用Transformer模块对输入的特征进行全局建模;后通过混合池化模块聚合上下文特征的多尺度信息,在对应连接编解码器的跳跃连接间设计一个高效卷积模块来提高跳跃路径的边缘细化和抗干扰能力;最后利用解码器恢复图像分辨率并逐层融合其他浅层分辨率特征。在ISIC 2017、ISIC 2018公开数据集上进行实验,利用Focal loss函数改善难分割目标的精度,并与其他皮肤分割模型做实验对比,结果表明该算法的有效性。多组实验证明,本文所提出来的皮肤镜图像自动分类与分割算法获得更高的精度,对计算机临床辅助诊断研究具有一定的参考价值。