基于深度学习的压缩人脸图像复原算法

作     者：赵强 

作者单位：南京邮电大学 

学位级别：硕士

导师姓名：干宗良

授予年度：2020年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：压缩人脸图像 深度残差网络 人脸结构 感知损失函数 生成对抗网络 

摘      要：有损压缩图像的复原一直是图像处理领域备受关注的话题,多年来针对压缩图像复原的研究也取得了显著的效果。但大多数压缩图像复原算法都是针对自然图像,并没有特别考虑人脸图像结构的特殊性,故对压缩人脸图像的复原效果并不理想。针对此问题,本文结合人脸组件先验信息,提出基于深度学习的压缩人脸图像复原算法,主要研究成果如下:1.基于面部结构残差网络的压缩人脸图像复原方法。由于域的特定属性,使用通用的压缩图像复原算法进行压缩人脸图像复原,往往会使复原出的人脸图像在面部组件附近出现严重的模糊。为了获得面部组件部分更加清晰的复原图像,提出一种结合面部结构先验信息的深度残差网路。在训练阶段,首先训练一个用于初步复原人脸图像整体结构的预复原网络,但是不具有任何先验信息的预复原网络并不能很好地处理具有精细结构的面部组件。因此,该算法在预复原网络的基础上提取五种面部组件:眼睛,眉毛,鼻子,嘴巴和脸廓,分别训练用于复原面部组件的细节增强网络。在复原阶段,再结合由Landmark关键点检测结果生成的面部掩膜,对不同的人脸组件使用相应的网络参数进行精准的复原。实验结果表明,该方法相比其他复原算法不仅具有更高的客观评价指标,且复原结果在人脸组件处拥有更加清晰的纹理细节。2.基于生成对抗网络的压缩人脸图像复原方法。使用MSE准则优化的模型通常具有较高的信噪比,但生成的图像会趋于平滑,且视觉感知效果较差。加入感知损失有助于恢复图像的语义结构,生成具有优秀感知质量的图像。因此,本文提出使用感知损失函数优化生成对抗网络的方法用于压缩人脸图像的复原。但如果直接使用压缩图像进行生成对抗训练,则低质图像中原本的噪声可能会被生成器误识别为图像本身的细节而被放大。因此本文首先训练一个融合了面部组件结构的去噪模型,用来去除输入图像中多余的噪声;然后再使用生成对抗网络来生成人脸组件处的纹理和细节。实验结果表明,去噪模型取得了最佳的PSNR和SSIM;生成对抗网络模型则生成了纹理更加丰富的人脸图像,具有最佳感知质量。