基于多模态视觉特征的自然人机交互

作     者：管业鹏 GUAN Ye-peng

作者机构：上海大学通信与信息工程学院上海200072 新型显示技术及应用集成教育部重点实验室上海200072 

出 版 物：《电子学报》 (Acta Electronica Sinica)

年 卷 期：2013年第41卷第11期

页      面：2223-2229页

核心收录：

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 0808[工学-电气工程] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 081104[工学-模式识别与智能系统] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 

基　　金：国家自然科学基金(No.11176016 No.60872117) 高等学校博士学科点专项科研基金(No.20123108110014) 

主　　题：人机交互 多模态视觉特征 非穿戴 机器学习 

摘      要：针对目前人机交互中存在的问题与不足,提出了一种基于多模态视觉特征的人机交互新方法.采用二维Gabor小波提取全局人脸朝向视觉特征,克服人脸显著特征提取困难,以及不同人脸朝向特征区分的难度性;基于人脸几何分布特征,快速定位人眼中心,无需考虑人脸图像分辨率和人眼闭合及其配戴情况;通过对视觉特征的重要性评价,选取分类特性显著的多模态视觉特征进行机器学习与训练,确定用户所指目标,实现非穿戴自然人机交互,用户无需佩戴任何标记,且其活动不受约束,便于充分发挥其日常技能.通过实验对比,验证了文中所提方法有效、可行,可应用于实时非穿戴自然人机交互中.