时空LBP矩和Dempster-Shafer证据融合的双模态情感识别

作     者：王晓华 侯登永 胡敏 任福继 王家勇 WANG Xiaohua;HOU Dengyong;HU Min;REN Fuji;WANG Jiayong

作者机构：合肥工业大学计算机与信息学院情感计算与先进智能机器安徽省重点实验室合肥230009 德岛大学先端技术科学教育部日本德岛77085020 

出 版 物：《光电工程》 (Opto-Electronic Engineering)

年 卷 期：2016年第43卷第12期

页      面：154-161页

核心收录：

学科分类：070207[理学-光学] 07[理学] 08[工学] 0803[工学-光学工程] 0702[理学-物理学] 

基　　金：国家自然科学青年基金项目(61300119) 国家自然科学基金重点项目(61432004) 安徽省自然科学基金项目(1408085MKL16) 

主　　题：视频感情识别 双模态情感识别 时空局部二值模式矩 Dempster-Shafer证据理论 

摘      要：针对视频情感识别中存在运算复杂度高的缺点,提出一种基于时空局部二值模式矩(Temporal-Spatial Local Binary Pattern Moment,TSLBPM)的双模态情感识别方法。首先对视频进行预处理获得表情和姿态序列;然后对表情和姿态序列分别提取TSLBPM特征,计算测试序列与已标记的情感训练集特征间的最小欧氏距离,并将其作为独立证据来构造基本概率分配(Basic Probability Assignment,BPA);最后使用Dempster-Shafer证据理论联合规则得到情感识别结果。在双模态表情和姿态情感数据库上的实验结果表明,本文提出的时空局部二值模式矩可以快速提取视频图像的时空特征,能有效识别情感状态。与其他方法的对比实验也验证了本文融合方法的优越性。