光场图像重定向和图像增强算法研究

作     者：谢柠宇 

作者单位：江南大学 

学位级别：硕士

导师姓名：刘渊;石小华

授予年度：2021年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：光场图像 深度学习 新视点生成 光场重聚焦 条件生成对抗网络 

摘      要：光场图像新视点生成是与光场图像重定向密切相关的科学问题。现有的新视点生成算法多针对光场内插,生成视点范围受限,且无法修改光场图像的基线（baseline）,同时当进行视点外插时,产生的空洞问题仍没有一个合理的解决办法。“先拍照,后对焦是光场图像的一大特点,光场图像重聚焦是光场图像增强算法中的热点问题。但传统重聚焦算法存在混叠现象,严重损害了重聚焦图像的视觉效果。据此,本文提出了一种光场图像基线编辑算法与一种光场图像新视点生成算法,并提出了一种光场图像重聚焦算法以解决混叠问题,主要内容包括:1)手持式光场相机拍摄的光场图像基线较短,为了提高基线,提出了一种光场图像基线编辑算法。首先对光场图像进行标定得到相机参数,并计算出光场子视点图像的视差图。然后利用DIBR算法对光场图像进行投影变换,完成初步的重定向处理。最后利用提出的深度神经网络对目标光场图像进行优化,主要包括空洞填充与纹理修复。实验结果表明,所提算法能够完成基线编辑的光场图像重定向任务,得到高质量的目标光场图像。2)传统的基于子视点叠加的重聚焦算法混叠现象严重,基于光场图像重构的重聚焦算法计算量太大,性能提升困难,为此,提出一种基于条件生成对抗网络的光场图像重聚焦算法。所提算法以光场图像为输入,首先计算视差图,再从视差图中计算出所需的弥散圆（circle of confusion,COC）图像。所提条件生成对抗网络根据COC图像对光场中心子视点图像进行散焦渲染,最终生成对焦平面和景深与COC图像相对应的重聚焦图像。实验结果表明,所提算法解决了混叠问题,优化了散焦效果,并显著降低了计算成本。3)针对现有的光场数据集数量不足以及可完成视点外插和视点旋转的光场新视点算法不足的问题,提出了一个基于条件生成对抗网络与角度空间卷积的光场图像新视点生成算法。所提算法将光场宏像素图像引入了新视点生成问题,将网络的生成器分为四部分,空间角度特征提取模块、位姿信息输入模块、融合特征的瓶颈模块以及光场重构模块。其中,我们创新性的利用角度特征计算深度,并提出了宏像素卷积注意力模块用于重构整个光场。实验结果表明,所提算法能够胜任视点外插与旋转任务,得到拥有较好视觉效果的新视点图像。