双模态及语义知识的三维人脸表情识别方法

作     者：胡步发 王金伟 Hu Bufa;Wang Jinwei

作者机构：福州大学机械工程及自动化学院福州350108 

出 版 物：《仪器仪表学报》 (Chinese Journal of Scientific Instrument)

年 卷 期：2013年第34卷第4期

页      面：873-880页

核心收录：

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 08[工学] 081104[工学-模式识别与智能系统] 0804[工学-仪器科学与技术] 0703[理学-化学] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 

基　　金：福建省自然科学基金项目(2012J01260)资助 

主　　题：三维人脸表情识别 高层语义知识 低层视觉特征 K—NN 

摘      要：目前,人脸表情识别的主要研究对象是二维图像,它所包含的信息有限,而且易受人脸姿态、光照等影响。其次,人脸表情识别方法大多是基于图像低层视觉特征,而人类对图像的理解是基于高层语义知识,这两者之间存在本质上的差异,即语义鸿沟。为此,在三维人脸表情图像和语义知识的基础上,创新地提出双模态及语义知识的三维人脸表情识别方法。该方法首先提出一种将三维的局部曲率和二维局部角点进行双模态融合的方法,自动提取准确的三维人脸表情低层视觉特征;然后,采用AHP和G1相结合计算高层语义知识向量;最后,采用K-NN算法将低层视觉特征和高层语义知识融合,缩小低层视觉特征和高层语义知识之间的语义鸿沟,提高人脸表情的识别率。