实例分割下戴口罩人脸识别方法研究

作     者：吴思凡 

作者单位：长江大学 

学位级别：硕士

导师姓名：谢凯

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：人脸识别 人脸分割 区域卷积网络 戴口罩人脸 

摘      要：目前,基于深度学习的人脸识别技术取得不断突破的同时也日趋饱和,其发展现状已无法满足社会疫情新形势下的需求。新冠病毒席卷全球,我国已进入乙类乙管常态化防控阶段,戴口罩出行依旧是交通枢纽的刚需措施。面部的大面积遮挡给传统人脸检测技术精度大幅下降,类似口罩、眼镜等遮挡物严重干扰识别结果,人脸识别系统工作难以开展。戴口罩人脸的遮挡区域定位和眉眼关键特征提取是提升戴口罩人脸识别精度的关键要素。本文考虑识别精度与模型泛化的需求,研究人脸大面积遮挡下图像深度特征强化的建模与辨识模型。重点解决由于戴口罩人脸检测失效和有效特征不足导致的识别精度低的问题,本文跳脱出传统基于矩形框定位的人脸检测方法,提出结合实例分割的戴口罩人脸识别方法。具体研究内容如下:针对大面积遮挡导致的人脸检测方法失效的问题,提出了多阶段边缘分割下的戴口罩人脸实例分割方法替代。在掩模区域卷积网络(Mask Region-based Convolutional Neural Network,Mask R-CNN)的主干提取网络中添加了分组注意力的思想,增强了不同尺寸特征间的联系,提高不同大小人脸分割的泛化能力;另外设计一种新的交并比损失函数,从重叠度、中心点距离以及尺寸三个方面反馈给预测框,使预测框更精准的收敛至目标区域,最终生成粗分割掩模和对应的目标框。针对Mask R-CNN分割边界精度低,无法给人脸识别提供足够的有效区域特征的问题,提出了多阶段的边缘分割方法,建立遮挡与无遮挡人脸的线性逻辑关系存储至口罩遮挡字典中,基于遮挡特征和人脸边缘遮挡区域的特征掩模,提取出突变像素对边缘特征重新分配,使用双线性差分孪生网络(Res Ne StPairwise Differential Siamese Network,R-PDSN)训练遮挡分类器,结合多阶段迭代的优化方法对粗分割掩模进行再分割,不断优化目标边缘信息,逐步实现精细分割。针对戴口罩人脸识别精度低的问题,提出了基于眉眼注意力机制的网络模型和决策融合的训练方法,搭建完整人脸和遮挡人脸两种形态的鉴别性特征,增强模型针对随机形态人脸的辨识能力和适应性,提升人脸识别精度。综合以上方法,使用改进的Mask R-CNN和R-PDSN分割出戴口罩人脸的眉眼区域特征,再用特征提取网络重点关注此位置以完成人脸识别任务,使用公开的戴口罩人脸数据集进行训练与测试。在分割和检测精度上,改进的Mask RCNN和R-PDSN相比于基准模型的Mask R-CNN的平均像素精度提高了2.68%,目标检测精度达98%以上。在识别方面,本文方法相比传统人脸识别方法提高了15.70%。在此模型下设计了一款戴口罩人脸识别系统,具有较好的实时性,该系统识别效率明显高于现在流行的人脸识别技术。该系统给戴口罩人脸识别的落地提供了新的思路,易于移植到以人脸ID验证和安全监测等身份识别系统上,具有一定的研究意义和应用价值。