平面与立体图像重定向方法研究

作     者：李恬 

作者单位：宁波大学 

学位级别：硕士

导师姓名：邵枫;姜求平

授予年度：2021年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：图像重定向 平面与立体 深层特征 可缩放感知 内容感知 视差优化 

摘      要：随着数字媒体技术的发展,不同尺寸的2D和3D终端显示设备越来越多地被人们使用。为了在不同设备中保持理想的视觉质量,需要合适的图像尺寸调整方法。因此,图像重定向成为图像处理领域的热点问题。大多数基于内容感知的图像重定向算法只考虑了图像的低层特征,而忽略了重要的高级语义。此外,与2D图像相比,3D图像增加了额外的深度信息,如何在重定向过程中保持3D图像的立体感成为关键问题。因此,需要准确提取2D和3D图像的高级语义特征以及3D图像的立体特性,对基于深度学习的平面与立体图像重定向方法展开研究,提升用户的视觉体验。本学位论文主要包括以下两个方面的内容:(1)针对平面图像,本学位论文提出了一种特征域可缩放感知及细缝裁剪的图像重定向方法。首先从预先训练的VGG-19网络中提取输入图像的深度特征图,计算最深层特征图像的可缩放率;然后根据计算的可缩放率,采用基于特征域的细缝裁剪方法对最深层特征图像进行处理;再依次向浅层传播,得到所有特征层的重定向图像后,将输入图像对应于第一层特征图去缝位置处的像素去除,可得到初步的重定向结果。若未达到目标尺寸,再进行均匀缩放操作,从而得到图像最终的重定向结果。在RetargetMe数据集上分别进行主观与客观评估,结果表明,与其他方法相比,该方法可以更好地保存输入图像中的重要对象,在内容与结构保持等方面具有优势,总体上实现了更好的性能。(2)针对立体图像,本学位论文实现了一种基于卷积神经网络的内容感知与视差优化的立体图像重定向方法。该方法利用深度学习训练出一种重定向模型(Retargeting Model,RM)来实现立体图像重定向。首先通过前向重定向得到左右图像的重定向结果;然后通过后向重定向对前向重定向的结果进行复原;最后利用内容感知一致性与视差一致性约束对RM进行优化。整个重定向过程不需要任何监督,输入任意大小的左右图像和期望的宽高比,可以直接生成视觉上令人满意的目标图像。实验结果表明,该方法能够较好地保留输入图像中视觉感兴趣的区域,防止目标图像的严重失真和伪影并使视差得到保持。