基于地址事件表示信号的动态手势识别方法

作     者：张姝 

作者单位：西安电子科技大学 

学位级别：硕士

导师姓名：谢雪梅

授予年度：2019年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：地址事件表示 事件相机 动态手势识别 特征事件 时空特征 

摘      要：手势识别提供了人机之间进行自然、直观交互的手段,具有很高的理论意义和实用价值。目前手势图像数据多由帧率为30fps的普通相机拍摄,这种基于帧的数据形式,在较为快速的手势运动情况下,会有运动模糊现象,影响手势识别效果。并且这种非需求驱动拍摄的方式记录了场景中复杂的背景环境,使得当前手势识别依然面临复杂背景下手势识别难问题。因此,受生物启发并结合了人类视觉系统中某些特定功能的事件相机逐渐受到了更多学者的关注。事件相机是一种基于地址事件表示（Address Event Representation,AER）的新型仿生相机,具有去除冗余信息特性、快速感知能力、集成处理方式、高动态范围的感光能力和低功耗特性等优势。其需求驱动拍摄的方式只记录场景中因手势变化引起的光照变化数据。本文主要研究了一种基于事件相机AER信号的动态手势识别方法。利用事件相机DAVIS240C拍摄预先设定的手势类型,得到相关的动态手势数据。手势运动过程中显著运动信息是产生AER信号的重要因素,因此利用运动信息提取预设手势中的关键手势,然后对关键手势进行识别。本文主要研究内容包括:1.利用卷积神经网络（Convolutional Neural Network,CNN）对设定手势进行识别。首先将三维AER信号进行转换,然后利用基于CNN计算光流的FlowNet2.0对转换后的信号进行划分提取关键手势,最后依然利用CNN网络提取关键手势特征进行手势识别。实验结果表明,事件相机的AER信号比普通相机的图像帧有更高的准确率,进一步说明,事件相机在一定程度上削弱了对训练数据的依赖,可以用相比于普通相机更少的数据取得相当的结果。与此同时,利用CNN网络搭建了动态手势识别平台。2.针对AER信号异步特性更合理的利用以及关键手势AER信号数据的更有效提取。本文利用事件相机优异的时间分辨率隐式带来的运动信息,以及筛选AER事件流中带有重要信息的特征事件,联合这两者灵活的提取关键手势事件流,然后在关键手势事件流的特征事件基础上,提取每个特征事件的时空特征,借助词袋（Bag-of-Words,BOW）模型完成最终的手势识别。由实验结果表明,在基于事件层面的动态手势识别方法获得了97.86%的识别准确率。