基于扩散模型的遮挡人脸修复研究

作     者：蔡宇浩 

作者单位：南昌大学 

学位级别：硕士

导师姓名：黄传华;罗穗

授予年度：2024年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：口罩遮挡 人脸图像修复 GAN模型 扩散模型 

摘      要：人脸修复及相关技术是图像处理领域一个热点且具挑战性的研究课题。人脸图像修复的目标是通过算法和模型还原图像中的细节和结构,以提高图像的质量和可用性。目前的大多数图像修复模型还存在诸多问题,例如:在面对大面积图像丢失的问题时,会出现修复区域图像模糊或单一甚至没有有效信息的修复结果;不能批量针对所有图像的某一个特征区域进行修复;修复结果与原图像的融合生硬,存在明显的交界线。 本文基于扩散模型,针对局部遮挡的人脸识别方法、修复技术开展研究,主要工作如下: （1）制定了“实例分割——文件格式转化——图像修复技术路线,由训练好的YOLOv8实例分割得到txt格式的掩膜文件,通过txt文件和原始图片得到黑色的掩膜图片,掩膜图片和遮挡的原始图像作为输入由不同的图像生成模型进行推理得到最后结果,使图像修复模型可以针对性的修复口罩遮挡区域,保护未遮挡的区域的人脸信息。 （2）使用重去噪方法,对Guided-Diffusion模型修复结果区域融合不和谐问题进行了改进实验。扩散模型修复图像是将修复的区域与已知区域加在一起得到,但这会导致修复区域与已知区域不认识,即体现在结果上的语义不融合。通过先重加噪,让不融合的中间结果X_t加噪得到的Xt+i中两部分的交界区域既有了已知区域的信息又有了未知区域的信息,再重去噪得到X,_t,X,_t相比于X_t在区域融合上和谐了许多,通过调节4)的大小和多次重复这样的步骤直至达到较好的效果。 通过多个对比实验和消融实验修复效果的量化比较表明,基于扩散模型的遮挡人脸修复研究技术路线和改进方法在人脸图像修复任务上效果良好。