基于变换域特征与彩色信息的立体视觉不舒适度预测

作     者：梁文青 

作者单位：杭州电子科技大学 

学位级别：硕士

导师姓名：周洋

授予年度：2021年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：立体图像 立体视频 视觉不舒适度预测 视差信息 彩色信息 小波变换 

摘      要：立体图像/视频可以给人们带来身临其境的观看感受,被认为是继二维图像/视频之后的新一代多媒体技术,但用户观看不自然的立体图像/视频会产生不同种类的视觉不适现象。立体图像/视频技术的发展是以保证用户的健康舒适为先决条件,因此有必要预先对立体图像/视频进行立体视觉不舒适度预测。若采用主观实验评价立体视觉不舒适度会耗时耗力,因此研究者们转向探求客观预测方法来评价视觉舒适度。但是,当前的立体视觉不舒适度客观预测方法未充分挖掘立体图像/视频的变换域特征信息与立体视觉不适度的关联性。基于上述研究背景,本学位论文主要研究基于变换域特征和彩色图信息来建立立体视觉不适度预测模型。主要工作内容如下:1.提出了基于变换域特征的立体图像视觉不舒适度预测模型（VDP-DWT）。该模型先对彩色图与视差图分别进行二维离散小波变换（Two Dimension-Discrete Wavelet Transformation,2D-DWT）,并从变换后的系数中提取视觉不适特征,然后结合彩色图信息进行立体图像视觉不舒适度预测。模型定义了立体图像的亮度矩特征和色度矩特征,并从小波变换域提取了多级空间频率特征、结构复杂度特征、多级视差幅值特征和多方向视差纹理特征;然后使用渐进梯度回归树（Gradient Boost Regression Tree,GBRT）作为回归工具来预测立体图像客观不舒适度分。在IEEE-SA立体图像数据库与NBU S3D-VCA立体图像数据库上的实验结果表明,相较于新近的预测模型,经本文特征训练后的GBRT模型预测的不舒适度与人类视觉系统更吻合,从而提升了立体图像视觉不舒适度预测性能。2.提出了一种基于多尺度高斯差分分解的立体视频不舒适度预测方法（VDP-MSDOG）。该方法利用多尺度高斯差分模型分解输入的彩色图和视差图;然后在多尺度高斯差分空间下分别提取视差图和彩色图的三类视觉不适特征,即多尺度高斯差分空间的幅度均值特征、多尺度高斯差分空间的幅值分布特征和多尺度高斯差分空间的流特征;最后利用GBRT回归模型进行特征融合获取不舒适度得分。在EPFL立体视频数据库和IVYLAB立体视频数据库上的实现结果表明,提出算法相较于其它对比算法,能更准确地反映立体视频的观看舒适程度。