基于深度展开网络的双相机压缩计算成像

作     者：陈枭阳 

作者单位：南京理工大学 

学位级别：硕士

导师姓名：肖亮

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：高光谱图像 计算成像 压缩重建 子空间学习 

摘      要：高光谱图像(hyperspectral images,HSI)通常有几十到上百个波段,包含丰富的光谱信息,因此在遥感、医疗诊断和各种计算机视觉任务中有着重要的应用。传统的高光谱成像技术通常依赖扫描策略来捕获分块的三维HSI,这很耗时而且不能用于动态场景。近年来,快照光谱成像系统已经得到了快速的发展,这些系统利用计算成像的方式,只需要一次曝光就能收集完整的HSI。在这些系统中,基于压缩传感理论的编码孔径快照光谱成像系统(coded aperture snapshot spectral imager,CASSI)引起了广泛关注和研究。为了提高成像质量,双相机压缩高光谱成像系统(dual-camera compressive hyperspectral imaging,DCCHI)在CASSI的基础上添加了一个对齐的全色相机或RGB相机。然而,由于从二维采样数据中恢复三维HSI是一个高度不适定的反问题,现有的重建算法主要存在以下瓶颈:1.重建精度较差,无法满足实际应用需求。2.重建时间过长,难以应用于实时成像系统。3.重建算法依赖的成像系统的感知矩阵,实际情况通常是未知的。本文基于模型和深度学习相结合的思想,利用神经网络作为深度先验实现DCCHI系统的重建,主要研究工作与创新点如下: (1)提出了一个用于双相机压缩重建的深度子空间投影网络。不同于传统方法使用的手工制作的正则化器,提出的方法利用数据驱动的深度先验来正则化双相机重建模型,并采用半二次分裂的方法来交替优化模型。首先,设计了一个深度先验网络作为数据驱动的深度先验,它可以学习HSI的低秩先验。进一步,将带有深度先验的迭代优化算法展开来构建深度展开网络。为了利用HSI的光谱相关性,设计了一个子空间投影模块,它可以学习一个低维的子空间并将特征投射到该空间。子空间投影模块被集成到深度先验网络中,并且模型的所有超参数和深度先验网络的参数都是从端到端学习中获得的。大量的实验表明,我们的方法在重建质量和重建时间上具有竞争力。 (2)提出了一个深度非局部子空间学习网络,它通过两个子网络分别学习相机前向矩阵和HSI的先验信息。通过子网络学习相机前向矩阵,提出的算法可以在相机编码孔径和光谱响应未知的情况下工作。为了利用HSI的先验,提出的方法通过学习低维子空间来描述HSI的低秩属性,并利用基于图像块的非局部模块来学习HSI在子空间中的非局部相似性,从而减少计算量,并学习了HSI的低秩先验和非局部相似性先验。此外,我们的网络是通过展开加速近似梯度(accelerated approximation gradient,APG)算法得到的,它可以以端到端的方式共同学习数据项和先验项。大量的实验验证了我们的方法比其他先进算法的性能。 (3)提出了一种基于扩散模型的双相机重建方法,通过将传统方法迭代重建的思想和扩散模型相结合,提升重建质量。该方法利用预训练好的扩散模型作为深度先验,从给定测量值的条件分布中采样数据,来解决成像中的逆问题。具体来说,提出的方法在扩散模型每一步反向扩散过程后利用投影来进行数据一致性约束,通过交替这两个步骤实现重建。进一步,由于二维扩散模型没有考虑HSI光谱间相关性,通过引入秩最小化模型来进行数据一致性约束。扩散模型利用了HSI的空间相关性,而秩最小化模型利用了HSI的光谱间相关性,从而在光谱维度实现对深度扩散模型先验的增强。经过多个数据集实验,表明该方法在重建性能上的优越性。