基于LBP算法的表情识别研究

作     者：范钰莹 

作者单位：曲阜师范大学 

学位级别：硕士

导师姓名：王化建

授予年度：2019年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：图像处理 眼睛区域 局部二值模式 局部颜色向量二进制模式 

摘      要：近年来,人脸表情识别领域的研究已经变得非常热门,该领域已成为创建社会智能系统的一个非常活跃的部分。表情识别比其他生物识别技术（虹膜识别、指纹识别等）发展慢,应用也并不广泛。但是,在人机交互领域,表情识别占有非常重要的意义。因此,表情识别方面的研究已成为了国内外众多学者和专家关注的焦点,研究也取得了一定的成果。心理学研究指出,眼睛和周围区域的动态特征与情绪波动高度相关,眼睛及周围区域随着表情的波动会有特定的变化。使用眼区图像作为输入信号适用于低成本、无损伤性的表情识别系统。本文提出了针对表情识别的两个系统框架。第一个框架使用局部二值模式（LBP）作为灰度人眼区域图像的特征提取器。该系统由三个主要模块组成:预处理、特征提取和分类。在预处理阶段,首先使用选定的基于亮度的肤色检测器对图像中的任意面部区域进行定位。然后,对局部面部区域内的眼睛区域进行提取。接下来,使用不同的LBP参数和两个不同的分类器(（x-NN）最近邻分类器和L-SVM支持向量机)来评估系统。研究结果证实,这改善了LBP算子从在面部图像到眼部区域图像中表情识别的适用性,通过使用LBP算法在眼睛区域进行表情识别是成功的,该系统还可以很好的在不同的环境条件下进行推广。在提出的第二个框架中,根据局部颜色向量二值模式（LCVBP）,提出了一种基于颜色的特征提取法在眼睛区域进行表情识别。基于LCVBP特征的系统由五个主要模块组成:预处理、特征提取、特征融合、训练和分类。LCVBP是一种新型有效的特征描述符,它从彩色图像中提取出颜色范数模式（CNP）和颜色角度模式（CAP）这两组颜色信息特征,扩展了灰度LBP特征的概念。通过对数据集的初步评估,展示了LCVBP特征描述符在表情识别领域潜在的向后兼容性,也是用于眼睛或面部图像上的表情识别的合适的特征描述符。LCVBP通过结合颜色信息来提取全面且具有高度分辨性的特征集,对传统的LBP进行了扩展,在表情识别中取得了良好的效果。