基于深度学习的彩色计算鬼成像方法

作     者：倪洋 

作者单位：四川大学 

学位级别：硕士

导师姓名：周昕

授予年度：2021年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：彩色鬼成像 深度学习 峰值信噪比 卷积神经网络 生成对抗网络 视觉感 

摘      要：鬼成像是近年来受到广泛关注的一种新型成像技术,它的成像过程是一个较为独特的过程。在这个过程中,光与物体的不涉及分辨率的相互作用过程被记录下来,但物体的形状却能被重新获得,这要归咎于这种相互作用的光与计算或检测到的随机信号之间的量子或经典关联。鬼成像的最大价值在于它可以应用于传统成像无法工作或性能较差的环境中。然而,在鬼成像中还存在一些潜在的问题。目前,鬼成像大多是基于灰度图像,而对彩色图像应用鬼成像方法进行成像的方法很少。而现实生活中的场景都是彩色的,因此研究彩色鬼成像无疑是很有必要的。如果将彩色图像的每个通道按照灰度鬼成像那样重建再进行合成,会导致成像系统过于复杂,重建时间过长。同时,由于探测器响应系数等因素也会导致彩色鬼成像恢复出的图像往往含有严重的噪声,存在颜色失真等问题。针对采用传统方法解决彩色鬼成像存在着采样装置复杂度高、采样效率和成像质量低等问题,本文对彩色鬼成像研究展开了以下研究工作:(1)对传统的彩色鬼成像方法进行了修改,提出一种新的成像方法。在该方法中,只用一个单像素探测器来测量红、绿、蓝三路的总光强,而不需要用三个探测器分别测量三个光路的光强。将投影仪投射的彩色散斑和对应的光照强度进行关联运算,可以初步重建出彩色图像。无论对成像时间还是对实验成像装置的要求,新提出的方法都大大降低。(2)提出利用深度学习中的神经网络模型对彩色鬼成像算法重建的图像的质量进行提升。首先将训练集中的原始图像和鬼成像算法重建图像组成的图像对输入神经网络进行训练,并不断优化网络模型的参数。待训练结束后,模型达到收敛,将测试集中的图像进行重建。计算机仿真和实际实验证明了这一点:利用深度学习网络模型重建的图像能够大大提高图像质量,很好地解决了彩色鬼成像中存在的严重噪声问题和颜色失真问题。(3)优化深度学习网络模型,让彩色鬼成像重建的图像更符合人类的视觉感受。由于目前的深度学习网络的设计旨在提高图像的峰值信噪比,这导致由网络模型恢复出的图像会丢失图像的高频信息,不符合人类的视觉感受。将生成对抗网络模型引入到彩色计算鬼成像中,并根据输出要求对模型的损失函数进行了修正。同时,将训练好的生成对抗网络模型对本文提出的彩色计算鬼成像初步恢复的图像进行重建,并与传统的旨在提高峰值信噪比的卷积神经网络模型重建的效果进行了对比。模拟和实际实验结果表明,利用生成对抗网络模型恢复出的彩色图像更加逼真,具有更详细的纹理细节,更符合人的视觉感受。