基于局部特征的人脸表情识别算法

作     者：高达义 

作者单位：南京邮电大学 

学位级别：硕士

导师姓名：赵君喜

授予年度：2021年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：人脸表情识别 局部二值模式 梯度方向直方图 主成分分析 特征融合 

摘      要：二十一世纪以来人脸表情识别技术不断发展,在多个领域都取得了巨大成功,比如游戏休闲领域的智能语音机器人、医疗领域的医疗监控系统、交通领域的汽车辅助系统等等,极大的改善了人们生活质量。尽管现在人脸表情识别技术成绩斐然,但是仍面临着众多挑战,诸如人脸表情的复杂性、环境的因素的多样性、异物遮挡等等。因此如何设计出识别率高、识别速度快、鲁棒性高的表情图像特征提取方法,依然是一个充满挑战的难题。本文主要研究基于不同特征提取方法的人脸表情识别,具体研究内容如下:(1)分析LBP特征及扩展特征,总结各种LBP特征的优点与不足,提出了一种改进的LBP特征,针对计算传统的LBP特征时忽略了邻域内各像素点之间的联系,提出利用邻域像素点与中心点的差值的平均值作为阈值,增加邻域像素之间的联系;同时根据FACS理论,突出眼睛、嘴巴在对于表情的重要性,先将图像进行分块,然后引入权重的概念,将属于眼睛、嘴巴的分块增加一定的权重,将两处改进结合基础LBP特征的优势,构成了分块加权等价阈值圆形LBP特征。为了验证本文改进的有效性,两处改进点均与基础LBP特征进行了对照实验。实验表明本文提出的改进点能有效的提升LBP特征的识别率。(2)考虑到HOG特征不具有尺度不变性,不同尺度的HOG特征表达同一物体存在着差异,提出可以多尺度HOG特征来提取表情图像特征,更多的保留图像的信息。同时考虑多尺度HOG特征存在特征维数过高的风险,引入PCA算法,在尽可能多的保留特征主要信息的情况下,减少特征维度。结合多个尺度的HOG特征和PCA算法,探索两种多尺度融合方式识别效果。在CK+上的实验结果表明,两种融合方式得到的多尺度HOG特征均比任一单尺度HOG特征识别速度更快、识别率更高。(3)单一特征都是从某一个角度来提取表情图片的特征,比如LBP特征就缺少HOG特征的图像梯度信息,因此仅依靠单一的表情图像特征不能全面的表达图像的所有信息。本文基于串联融合,提出一种多特征融合的表情特征提取算法,将改进的LBP特征与多尺度HOG特征进行融合,同时利用PCA算法对融合特征进行降维处理。融合特征兼具了两种特征的图像信息,所包含的图像纹理信息更加丰富。通过JAFFE库上的对照实验,表明该融合特征的性能优于单一特征。