基于生成对抗网络探索潜在空间的医学图像融合算法

作     者：肖儿良 林化溪 简献忠 XIAO Erliang;LIN Huaxi;JIAN Xianzhong

作者机构：上海理工大学光电信息与计算机工程学院上海200093 上海市现代光学系统重点实验室上海200093 

出 版 物：《信息与控制》 (Information and Control)

年 卷 期：2021年第50卷第5期

页      面：538-549页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(11774017) 

主　　题：深度学习 生成对抗网络 潜在空间 特征解缠 医学图像融合 

摘      要：针对现有医学图像融合方法产生的图像,存在源图像潜在特征信息丢失而导致融合效果差的问题,提出一种利用生成对抗网络(generative adversarial network,GAN)来探索潜在空间的图像融合算法(GAN-ELS),用于提高计算机断层成像(CT)与T2加权核磁共振成像(MR-T2)融合图像的质量.该算法首先通过基于StyleGAN改进的对抗网络在训练进程中的特征解缠学习、多分辨率层级样式控制,来充分实现对CT与MR-T2图像特征分布的无监督学习;然后在训练得到的生成器的基础上,根据配准过的源图像与当前主流融合方法所产生的对应融合图像,来探索目标融合图像所在的潜在特征空间;最终获得语义信息丰富的高质量融合图像.在Havard Medical School的全脑图谱数据集上的实验表明,与5种性能良好的主流融合方法相比,GAN-ELS融合后的图像在结构相似性、归一化互信息、峰值信噪比、归一化均方根误差等多个指标上更优,融合质量更好.