基于毫米波点云的人体关键点检测算法研究

作     者：杨大林 

作者单位：北方工业大学 

学位级别：硕士

导师姓名：张远

授予年度：2024年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：毫米波雷达 人体关键点检测 对抗域适应 注意力机制 

摘      要：人体关键点检测在人机交互,虚拟现实,行为检测领域有重要作用,目前主流的人体关键点检测算法主要是基于视觉和深度神经网络的算法。但是基于视觉的方法存在隐私问题,当光线环境恶劣或者有遮挡的情况下,基于视觉的方法可能会给出错误的检测结果。毫米波雷达具有穿透力强,对光线环境不敏感等特点,使用毫米波雷达进行人体关键点检测,可以弥补基于视觉的方法在上述条件下的问题,是一个值得研究的课题。 本文首先介绍了毫米波雷达的测距、测角、测速原理,在此基础上介绍了毫米波雷达点云的形成原理。接着本文提出使用聚类的方法对雷达点云进行噪声滤除以及目标提取。 为了使用基于视觉的神经网络模型对雷达点云进行特征提取,本文提出一种毫米波点云二维化方法,使用相机成像原理,将三维空间中的点云映射为一张二维图像,并且将深度,速度,强度作为像素值,在二维化之后,本文还对图像中包含人体信息的像素在大小为pad的邻域内进行像素扩散操作,将像素值在pad邻域内进行复制,旨在增加图像中的人体信息密度,以增强关键点检测的精度。 为了探究包含深度,速度,强度信息的二维图像在人体关键点检测任务中产生的影响,本文分别在Open Pose模型和YOLOv7-Pose模型中对三种毫米波点云二维图像进行单独训练和组合训练,得出结论:包含深度信息的二维图像对所有关键点有比较均衡的检测精度,包含速度信息的二维图像则对相对速度较高的肢体部分有着较高的检测精度,包含强度信息的二维图像对反射强度较高的身体部位有着较高的检测精度,组合三种二维图像,能够取长补短,得出精度最高的结果。 为了探究不同大小pad的像素扩散对检测精度的影响,本文分别在两个视觉模型中对不同pad的图像进行训练和测试,得出结论:适当大小的pad能够增加模型的检测精度,但是pad过大会导致像素信息混叠,反而降低检测精度。 为了增强模型的泛化能力,本文提出使用对抗域适应算法辅助模型训练,本文在通过使用两个视觉模型在有域适应模块和没有域适应模块的情况下进行训练和测试,得出结论:使用对抗域适算法辅助模型进行训练,有助于抑制模型中特征提取模块对非目标任务特征的提取,从而增强模型的泛化能力。