基于多分支网络的人脸属性分析

作     者：张建炜 

作者单位：浙江大学 

学位级别：硕士

导师姓名：罗小华

授予年度：2020年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：人脸分析 人脸关键点检测 多任务学习 人脸识别 性别判断 年龄估计 面部表情分类 

摘      要：人脸分析是计算机视觉领域中重要的研究方向,在安防监控、金融安全、直播互娱、辅助驾驶领域中有广泛的应用。现有的人脸多任务分析的研究工作主要有两种方式:一种为单任务学习方式,每一个任务设计一个专门的模型;另一种为多任务学习,设计一个模型同时解决两三个任务。单任务学习方式在解决多任务的时候叠加多个模型,会增加存储和运算耗时;多任务学习的任务数量比较有限,各子任务无法达到同时收敛,并且速度无法达到实时运行要求。本学位论文综合考虑了人脸属性之间的相关性,并基于现有的人脸分析方法进行了一系列改进研究,主要包括:1.通过对数据进行预处理,针对辅助驾驶场景下人物侧脸、戴眼镜等关键点较难定位的情况,使用公开人脸检测器进行人脸检测并裁剪扩大人脸区域,设计并实现了Mobile Net-Landmark网络,并与传统方法LBF和深度学习方法DAN网络进行平行对比,平均误差和错误率均达到最优效果,运行速度为180FPS。2.提出多分支人脸网络结构,同时执行人脸识别、性别判断、年龄估计、外貌属性判断和面部表情分类五大任务。将人脸识别网络作为骨干网络,并根据剩余四个任务需要的局部和全局人脸特征的差异性,将年龄估计和性别判断归为高级任务特征,将外貌属性判断和面部表情分类归为低级任务特征,分别从骨干网络不同深度的特征层引出分支进行训练。3.采用共享特征参数方式训练多分支人脸网络,对各任务与主流模型在通用测试集上测试比较:人脸识别任务在四个测试数据集（LFW、Age DB-30、CFP-FF、CFPFP）上均能取得目前最优效果;性别判断准确率在Celeb A、Faces of the World测试集上分别能达到98.7%和92.93%;年龄估计在Adience测试集上准确率达到60.1%,接近目前最优模型;外貌属性判断分支在所选的8个属性上的平均准确率达到94.5%;面部表情分类平均准确率为71.3%,比数据集基线实验结果高65.9%,仅比VEGAC模型准确率低0.9%。