基于深度学习的FMCW雷达手势识别方法研究

作     者：吴涵旭 

作者单位：沈阳航空航天大学 

学位级别：硕士

导师姓名：屈乐乐;张涛

授予年度：2023年

学科分类：080904[工学-电磁场与微波技术] 12[管理学] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 0810[工学-信息与通信工程] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 081105[工学-导航、制导与控制] 081001[工学-通信与信息系统] 0835[工学-软件工程] 081002[工学-信号与信息处理] 0825[工学-航空宇航科学与技术] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：调频连续波雷达 手势识别 深度学习 多域融合 

摘      要：手势识别技术在人机交互领域具有重要的应用价值,可用于智能家居、智能驾驶、手语实时翻译和游戏控制等多种应用场景。基于调频连续波(Frequency Modulated Continuous Wave,FMCW)雷达的深度学习手势识别方法利用雷达发射频率随周期变化的电磁波并接收不同手势动作对应的回波,将回波数据进行预处理获取手势对应的特征,再将其输入到深度学习卷积神经网络(Convolutional Neural Network,CNN)中进行特征提取,得到最终的识别结果。本文参考现有的手势识别研究工作,提出了三种手势识别算法。主要研究内容如下:(1)研究FMCW雷达的工作原理,自主设计包括画圆、打响指等八类动态手势。使用具有不同接收天线数量的雷达采集手势数据,研究对回波数据不同的预处理方法并分别构建了三种算法对应的手势数据集。(2)研究基于多域特征加权融合的手势识别方法,对单发单收的FMCW雷达采集的回波数据进行预处理得到三种域数据矩阵,然后将每个手势动作对应的三种域数据矩阵输入到三通道CNN中进行手势特征提取。此外,本文在网络中加入可训练的权值矩阵,反映三种特征对识别结果重要性的不同影响,然后将分配权值的特征向量融合,得到最终手势的分类结果。实测数据结果表明所提基于加权融合的三通道CNN手势识别方法与传统的平均融合和拼接融合方式相比有效地提高了对手势动作的分类能力。(3)研究基于一个发射通道两个接收通道FMCW雷达的手势识别方法,对每个接收天线采集的回波数据预处理得到三类特征图像,再将其堆叠并利用双通道CNN实现分类。实测数据结果表明基于双通道CNN手势识别方法与传统的单通道CNN或单一数据特征方法相比有效地提高了对手势动作的分类能力。(4)研究基于一维原始回波数据的多基地FMCW雷达手势识别方法,无需复杂的预处理,直接将雷达原始回波数据输入到包含Inception模块和LSTM模块的多流融合一维CNN中提取其特征。实测数据结果表明,当手势与雷达的夹角和距离较大时,所提出的多通道雷达分类方法可以提高分类精度。此外,该方法还可以降低网络参数和计算复杂度,具有在商用嵌入式系统上实现的潜力。