基于卷积神经网络和Transformer的医学图像分割算法的研究

作     者：宋鹏斐 

作者单位：山东工商学院 

学位级别：硕士

导师姓名：范辉

授予年度：2023年

学科分类：12[管理学] 08[工学] 1010[医学-医学技术（可授医学、理学学位）] 0831[工学-生物医学工程（可授工学、理学、医学学位）] 100207[医学-影像医学与核医学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 1002[医学-临床医学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 10[医学] 

主      题：医学图像分割 深度学习 卷积神经网络 视觉Transformer 注意力机制 

摘      要：医学图像是反映人体内部结构的图像,是现代医疗诊断的主要基石之一。近年来,卷积神经网络(Convolutional Neural Network,CNN)在医学图像分割领域得到迅速发展和广泛应用,相较于传统机器学习方法有更好的性能,但是卷积神经网络存在长距离依赖捕获难的问题。凭借Transformer的短信息步长,视觉Transformer在一定程度上缓解了卷积神经网络的局限性,但由于不同医学图像存在着病灶形态各异、边界结构复杂且病灶和周围环境十分相似等问题,完全依靠视觉Transformer仍然无法实现对图像中病灶的定位和分割。本文重点开展了基于卷积神经网络和Transformer的医学图像分割算法的研究,针对医学图像分割中存在的难题,提出了两种高质量医学图像分割算法,主要研究内容如下:(1)针对医学图像中病灶形状不规则,边界模糊以及可能存在着大量的冗余信息干扰等问题,本文提出了一种双分支级联图网络(Dual Branch Cascade Graph Network,DBCGN)。在特征提取阶段,该方法利用Transformer分支对卷积神经网络分支的倒数三层特征建立跨尺度的全局上下文依赖并将局部信息与全局上下文信息融合。此外,为解决图像结构边界模糊且复杂多变的问题,本文提出了反向图推理方法,该方法通过低级特征中丰富的轮廓、边缘和纹理等特征对分割预测图的目标边界进行细化。在三个皮肤病变图像数据集ISIC2016、ISIC2017和PH上,对所提DBCGN方法的有效性进行了验证,充分的实验结果表明DBCGN可以有效解决目标病灶结构边界多变且形态差异性大的问题,有较好的性能。(2)现有的大多数医学图像分割方法是针对某一类医学图像中的病灶进行分割,设计的网络泛化能力较差,无法解决其他医学图像分割的问题。为此,本文提出了一种通用型的双分支上下文感知Transformer网络(Dual Path Context-aware Transformer Network,DPCTN)方法,来解决二维医学图像存在的普遍问题。具体而言,该方法通过建立双支路边界-区域的全局上下文指导,逐层细化和丰富目标边界及区域。此外,因注意力机制中存在维度坍塌的问题,本文提出一个新颖的三分支转置自注意力方法,该方法通过维度交换,计算跨维度交互的注意力,避免了特征在池化过程中产生的信息损失。为验证该方法的有效性和泛化性,本文在光学医学图像、病理学医学图像和声学医学图像三类数据集上,包括结肠内腔镜息肉图像(CVC-Clinic DB,Kvasir-SEG,CVC-Colon DB,ETIS和CVC-300)、皮肤病变图像(ISIC 2016和ISIC2017)、腺体分割(Gla S)和乳腺肿瘤超声图像(BUSI)数据集上开展了大量实验,实验结果表明所提出方法有较好的模型性能和模型泛化能力。