多模态弱监督学习在肝癌图像生成与分割中的应用

作     者：潘依乐 高永彬 PAN Yile;GAO Yongbin

作者机构：上海工程技术大学电子电气工程学院上海201620 

出 版 物：《中国医学物理学杂志》 (Chinese Journal of Medical Physics)

年 卷 期：2024年第41卷第1期

页      面：8-17页

学科分类：0831[工学-生物医学工程（可授工学、理学、医学学位）] 081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0836[工学-生物工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家工业信息部和卫健委5G医疗示范项目 广州市科技项目(202206010093) 广东省重点研发项目(2020B010165004) 

主　　题：医学图像处理 模态转换 肝脏肿瘤分割 生成式对抗网络 混合注意力机制 

摘      要：针对MRI软组织对比度高但不是胸部成像护理标准,导致难以获得足够多专家标注的MRI数据的问题,通常将CT转换成MRI图像。由于难以获取对应模态的CT和MRI图像,结合生成式对抗网络的结构特点,提出CSCGAN生成网络模型。该模型以CycleGAN作为框架,由于CycleGAN可能存在模式坍塌问题,同时StyleGAN2能够控制合成图像的样式和特征的细节,实现高分辨率图像的合成,因此将其融入到CycleGAN中,重构了网络的生成器。同时为了减少外部干扰,引入了噪声模块,另外为了防止肿瘤在转换时丢失,修改了网络的鉴别器结构,并加入了混合注意力机制。实验结果显示,与文中其他方法相比,该模型生成的样本图像在Dice相似系数、Hausdorff距离、体积比和平均交并比各项指标上均有所提升,该方法有效实现了肝脏肿瘤病变图像的模态转换,生成的数据能够提高分割网络的准确性。