面向屏幕内容图像的视觉冗余度量研究及应用

作     者：刘雪芹 

作者单位：深圳大学 

学位级别：硕士

导师姓名：王妙辉

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：视觉冗余度量 屏幕内容图像 感知无损压缩 深度学习 

摘      要：受到生理结构(视网膜细胞类型和数量)和认知过程(如知识、经验、情绪等)的影响,人类视觉系统(Human Visual System,HVS)的分辨能力是有限的,并且很难感知到低于一定阈值的像素变化。在这种情况下,不被感知到的增量变化被视为视觉冗余。视觉冗余检测对于图像和视频通信至关重要。屏幕内容数据,如计算机生成的图像、桌面共享、远程教育、视频游戏流和屏幕截图,是目前最流行的视觉信息载体之一。为此,我们通过考虑模糊掩蔽效应和方向校正,提出了一个有效的面向屏幕内容图像的视觉冗余度量方法。随后,我们基于所提出的视觉冗余度量方法设计了一个感知无损编码方案,来减缓视觉信息在通信和存储中所面临的有限资源压力。在屏幕内容图像压缩或滤波期间经常会出现模糊的现象。由于HVS对模糊程度的分辨能力有限,我们研究了人眼对模糊失真的最大容忍度,并进一步将模糊掩蔽效应的可见性阈值定义为原始图像与它的恰可察觉模糊版本之间的差异。为了更好地量化视觉冗余,我们利用HVS对不同方向的敏感性将屏幕图像像素分为三个敏感度集合。不同的敏感度集合赋予不同的权重,越不敏感的像素赋予越大的权重。在划分不同敏感度集合时,注意保护敏感边缘像素的完整性,使方向校正更符合人眼视觉特性。实验结果表明,与几种代表性的视觉冗余估计方法相比,所提方法具有较强失真容忍能力,并在注入相同的噪声能量下提供更好的视觉质量。感知无损压缩提供了一种低成本(调整硬件或软件编解码器)和高效率(考虑人类视觉特性)的方法,以同时保证视觉上质量无损和高压缩比。尽管无损压缩可以保证基于屏幕内容的工业应用程序的高服务质量,但它也会导致相当大的存储空间和传输带宽问题。为了缓解这些压力,我们提出了一种感知无损编码方法,有效提升编码效率并将压缩失真控制在可见性阈值以下。基于所提出的视觉冗余度量模型,我们设计了一种块级的最佳质量因子预测方法。利用卷积神经网络学习图像块内的视觉冗余与最佳质量因子的关系。实验结果表明,所提的卷积神经网络能实现良好的预测精度。在相同的感知质量下,与最新方案相比,所提编码方案节省的平均编码比特数高达23.15%。综上所述,针对屏幕内容图像的独特视觉特性,本论文首先提出了一个视觉冗余度量方案,随后提出一个感知无损编码框架以去除冗余数据并提升压缩性能。本论文所提的面向屏幕内容图像的视觉冗余度量研究及应用方法都具有一定的创新性和实用性,对基于屏幕内容数据的相关应用的发展与研究起到一定的促进作用。