全景图像视觉显著模型及评价方法研究

作     者：邱淼淼 

作者单位：宁波大学 

学位级别：硕士

导师姓名：邵枫;姜求平

授予年度：2021年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：全景图像 图像质量评价 卷积神经网络 显著性检测 

摘      要：近年来,随着网络传输技术和显示技术的飞速发展,虚拟现实(VR)凭借其逼真的沉浸感和全新的视觉体验逐渐成为视觉信息传递和表达的主要方式之一。全景作为VR的重要显示载体,对用户体验质量具有较高的研究价值。研究视觉注意机制模型并探索其在全景图像质量评价方法中的应用是目前全景的关键突破点。本文针对全景图像提出了显著性检测与质量评价方法,主要内容如下:(1)针对全景显著性问题,本学位论文提出了一种立体全景显著性检测模型。考虑到全景图像的投影特点,立方体投影图像有助于消除顶部与底部引起的扭曲及边框效果,利用等矩形投影图像中所有可用的上下文信息,以等矩形投影图像作为全局信息,立方体投影图像作为局部信息,融合了全局和局部的视觉显著图获得最终显著结果。提出的立体全景显著性检测模型由颜色相似度和区域对比度两部分组成。首先,对图像进行多尺度线性迭代聚类超像素分割;然后,根据像素块的颜色差异和空间分布紧凑性分别计算获得颜色对比和区域对比特征,通过两者线性组合得到图像显著图;最后,结合赤道偏移,融入深度信息获得最终的立体全景显著结果。实验结果表明,所提模型既能够充分利用图像信息,又能有效地抑制复杂的背景区域,得到更加符合视觉感知的显著图。(2)考虑到全景图像质量评价方法研究目前还很有限,本学位论文提出了一种显著性引导的用于全景图像质量评价的卷积神经网络(CNN)模型,该模型主要由显著性检测网络(SP-Net)和特征提取网络(F-Net)两部分组成。通过两个子网络一起训练,可以提取更多的判别特征,更准确地建立从特征表示到质量分数的映射。此外,由于缺乏足够大的全景图像数据库,本文使用预先训练好的网络模型代替初始的随机参数模型来克服这一局限性。在两个公开的全景图像质量评价数据库上的实验结果表明,本文提出的模型在泛化能力和评估精度方面优于目前最先进的全参考和无参考的质量评价指标。