基于学习的幻构人脸技术研究

作     者：黎兆文 

作者单位：广州大学 

学位级别：硕士

导师姓名：胡晓

授予年度：2018年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：幻构人脸 稀疏表示 梯度估计 人脸成分 卷积神经网络 

摘      要：近年来,幻构人脸技术作为图像超分辨率(Super-Resolution,SR)的分支,受到了人脸图像邻域研究学者的重点关注。幻构人脸技术通过挖掘低分辨率(Low-Resolution,LR)人脸图像中的相关信息,并利用信息技术扩大目标人脸分辨率。该技术为从低质量图像系统获取高分辨率(High-Resolution,HR)人脸图像提供了行之有效的方法,且使用灵活,成本低廉。本文针对传统浅层学习方法在人脸图像重构过程中,对于人脸成分细节恢复效果不精细,以及目标高分辨率(HR)人脸真实性低的问题,分别设计了基于稀疏表示与人脸结构的方法以及基于残差卷积神经网络的方法。在稀疏表示与人脸结构联合幻构人脸技术(Sparse representation and facial components joint face hallucination,SrfcFH)中,首先将具有像素邻域相关性与低维特性的八方向梯度图作为稀疏字典的训练特征,并对由该字典得到的HR图像提取纹理梯度图。然后,结合由最相似眉毛、眼睛、鼻子、嘴巴高分辨率梯度组成的人脸成分梯度图,与由HR边缘梯度估计得到的轮廓梯度图,联合组成目标HR梯度图。最后,通过迭代反映射算法计算目标HR图像。在基于残差卷积神经网络的幻构人脸技术(Residual convolution neural network,RCNN)中,结合训练人脸残差图像的思想建立网络模型,通过训练LR图像与HR标签的映射关系确定网络模型,并根据该模型对低分辨率人脸进行超分辨率重构。为验证本文设计的方法在人脸重构中的有效性,作者结合了亚洲人脸与欧美人脸数据库,进行了算法性能对比仿真实验。以主观视觉质量与峰值信噪比(Peak Signal-toNoise Ratio,PSNR)以及结构相似性指标度量(Structural Similarity Index Measurement,SSIM)作为算法性能的综合评价指标,对本文方法进行评价分析。对于基于卷积神经网络的幻构人脸技术,建立5层网络结构与10层网络结构的两种网络模型,并根据Adam优化算法、AdamDelta优化算法与固定学习率、inv学习策略、poly学习策略的组合方案,进行6个网络模型训练,最后进行性能比较实验。实验表明:本文设计的SrfcFH方法在PSNR指标上平均水平达到31.32dB,比改进前的ScSR方法提高了0.25dB;而SrfcFH方法在主观视觉质量上,对于人脸成分的恢复效果有着极大的提高。本文设计的RCNN方法在PSNR指标上平均水平达到32.06dB,比SrfcFH方法提高了0.7dB;而在SSIM指标上平均水平达0.865,比SRfcFH提高了0.01;但在主观视觉质量上,RCNN方法优于传统方法,但逊色于SrfcFH方法。本文稀疏表示与人脸结构联合幻构人脸方法与基于残差卷积神经网络的幻构人脸方法分别利用了相似HR人脸成分的高频信息、LR人脸与HR人脸之间的深度映射关系,改善了传统幻构人脸技术在人脸成分恢复中信息欠缺以及高、低分辨率人脸之间映射关系不明确的问题,提高了重构HR人脸的视觉质量与保真度。