基于领域自适应的甲状腺超声图像结节诊断方法研究

作     者：赵俊 

作者单位：太原理工大学 

学位级别：硕士

导师姓名：赵涓涓;姚拓中

授予年度：2022年

学科分类：1002[医学-临床医学] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 10[医学] 

主      题：跨模态领域适应 语义一致性 领域知识 自注意力机制 甲状腺结节分类 

摘      要：深度神经网络已经广泛应用于包括医学图像分析在内的各种计算机视觉任务中。通常,大多数神经网络对来自相同分布的图像进行训练和评估,且假设数据集(训练集和测试集)共享相同的数据分布,但现有医学数据受固有的小数据集的影响,限制了大型深度学习模型的广泛临床采用。随着深度学习的深入,现实世界中研究的课题往往考虑收集具有不同场景分布的目标数据,但数据间的异质性严重受到领域转移的挑战。领域转移,即训练和测试数据特征之间的分布不匹配,导致测试误差成比例增加,在大规模图像数据集上训练的深度卷积神经网络亟待解决领域转移引起网络泛化性能下降的现实问题。甲状腺结节作为最常见的结节性医学病变之一,收集带有像素级标注的大规模甲状腺超声图像是困难的,需要昂贵的成本和大量的时间。针对甲状腺超声图像,如何有效的利用跨模态数据构建领域自适应框架进行结节的诊断工作尚未开展。本文提出了一个多任务级联系统框架,用于提高领域自适应学习模型对具有偏移分布的多源域数据的预测准确性。本研究受超声医师诊断超声图像的工作模式的启发,提出了一种结合文本信息和超声图像的生成对抗网络用于超声图像生成。这两种模态的数据在视觉层明显不同,在语义层趋于一致,普通的生成器-鉴别器模块更善于模拟捕捉源域的低级视觉层特征,忽略了语义对图像生成结果的指导性作用,结果与实验的预期相背离,为了发挥领域知识在定位超声图像重要区域方面的特长,同时增强跨域特征的可关联性,本文设计了语义一致生成对抗网络(SCGAN)。受甲状腺成像报告和图像系统(TI-RADS)中标准化术语的指导,将从超声诊断学报告中提取的病症关键词等文本信息作为领域知识,通过迁移领域知识中与图像相关的语义密集型特征表示,为生成网络的输入提供关键信息。同时,为防止扫描仪、患者个人标识等无关信息对输入图像的干扰,对图像感兴趣区域进行了归一化处理。在生成器模块中,增加了跨域对齐自注意力层(CASAM)同时在重要的图像特征和文本表示上产生注意力,以便为图像生成任务提供更显著和更有意义的嵌入。在CASAM中引入通用度量余弦相似度将图像特征映射到相应的细粒度文本表示中,利用语义关联来有效地指导对齐过程。在鉴别器模块,增加了用于映射数据分布的铰链损失、用于鼓励学习语义级内容的视觉差异性损失和用于增强网络泛化的跨域融合的零中心梯度惩罚函数为生成器提供更加明确的收敛目标,指导生成器生成更真实且和超声诊断学报告语义一致的图像。本文的目的是使用生成的超声图像来分类良性和恶性的甲状腺结节。为了评估SCGAN图像生成方法的有效性,同时也检验生成图像在甲状腺结节诊断任务上的泛化能力,引入了协作注意力机制改进预先训练的深度卷积神经网络SCG Res Net-50分类模型。该模型基于多组通道注意力和软性空间注意力来解耦局部和全局特征的线索。为有效控制参数数量,且不同程度地提高分类性能,在特征提取阶段将特征细化为多个分组。通道注意力模块传递的信息与图像识别相关,而空间注意力模块传递的信息与特征位置相关。两个子模块共同构成感知模型协作注意力机制。此外,在空间注意力中,采用带有权重约束惩罚项的软性特征聚合算子来微调特征图中的差异化位点信息,获取上下文内容,提高网络适应能力。本文在甲状腺超声图像数据集上评估了提出的方法,用于超声结节的图像合成和良恶性诊断。综合研究的实验结果表明,SCGAN方法对合成的甲状腺结节的初始分数达到了4.26±0.18,SCG Res Net-50模型的分类准确率达到了94.30%,AUC达到了97.02%,结果明显优于最先进的方法。