基于零样本学习的显微图像目标识别研究

作     者：李良炜 

作者单位：电子科技大学 

学位级别：硕士

导师姓名：刘霖

授予年度：2023年

学科分类：0831[工学-生物医学工程（可授工学、理学、医学学位）] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0836[工学-生物工程] 

主      题：医学影像处理 深度学习 零样本学习 图卷积神经网络 图对比学习 

摘      要：显微镜检的检查结果是现代医学诊断的重要依据,但长期以来,镜检主要依靠医师人工检查。人工检查存在操作繁琐、效率低和依赖医生经验等问题,因此以深度学习技术为主的目标识别技术已逐步成为医疗未来发展的新趋势。然而,相较传统的图像处理技术,深度学习方法对大量人工标注的优质训练数据仍存在很强的依赖性,往往带来较高的标注成本。这个问题在医学影像中的显微图像目标识别中更加明显,相较于传统目标识别任务中的自然图像,医学影像中的显微图像样本稀缺、采集困难、目标识别难度大且标注成本更高。最近几年,基于零样本学习的深度学习技术取得了长足的发展,甚至在一些特定任务上的检测性能已经能够与部分有监督训练得到的结果相提并论。因此,本文围绕基于知识图的显微图像零样本目标识别技术开展研究,提出一系列有利于提高识别准确率和减少标注需求的方法。本文主要研究内容如下:(1)提出一种基于自注意力图池化的深度U型图卷积神经网络(GUN-2A),针对深层图卷积网络中存在的拉普拉斯过平滑问题,本文引入一种U型结构的深度图卷积神经网络从图的全局角度进行消息聚合,并提出一种基于自注意力的图池化方法缓解深度图网络带来的过平滑。在ImageNet 21K上的测试结果表明,提出的方法在5个Hit@k指标上均超过基线方法。(2)提出基于拓扑对称对偶知识图的图对比学习方法(CGUN-2A)。针对零样本学习在单一知识图中存在的语义间隔问题,引入额外的CLIP知识图,建立拓扑对称对偶知识图,辅助视觉-语义空间流形的对齐;在前述GUN-2A基础上引入图对比学习范式,提出CGUN-2A,约束类表达,保持类内相似性并扩大类间可分性,缓解领域漂移。实验结果表明,在ImageNet 21K数据集上该方法在全部Hit@k指标下均达到最先进的性能。在缓解偏移问题上,较之前的方法在一般零样本学习和广义零样本学习的设定下,Hit@1相对分别提升33.3%和47.1%。(3)实现基于CGUN-2A的显微图像目标识别算法。建立医学显微图像知识图谱,引入超景深信息和光流信息首次从视觉侧对零样本学习进行优化。在两个医学显微细胞数据集上的实验结果表明,相较先前的方法,本文的方法实现了零样本学习性能的提高,在两个数据集上分别提升0.8%和2.0%。