基于毫米波雷达和视觉融合的智慧锥桶设计与实现

作     者：王超 

作者单位：太原科技大学 

学位级别：硕士

导师姓名：李小松

授予年度：2024年

学科分类：080904[工学-电磁场与微波技术] 0810[工学-信息与通信工程] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 081105[工学-导航、制导与控制] 080203[工学-机械设计及理论] 0838[工学-公安技术] 081001[工学-通信与信息系统] 0802[工学-机械工程] 081002[工学-信号与信息处理] 0825[工学-航空宇航科学与技术] 0811[工学-控制科学与工程] 

主      题：毫米波雷达 YOLO 传感器融合 长短时记忆网络 轨迹预测 

摘      要：近年来,随着交通道路规模的不断扩大,道路的建设、维护和修整工程也不断增加,道路施工的交通事故屡见不鲜。若遇道路前方来车疲劳驾驶、错误驾驶、失控等行为,车辆可能会闯入施工区域内,施工人员常因躲闪不及时,致使恶性伤亡事件的发生。 针对上述问题,本论文对传统交通锥桶进行智能化改造,研究了基于毫米波雷达和视觉融合的目标检测方法,并基于检测结果对车辆目标进行轨迹预测,进而判断其在未来一段时间是否会闯入施工区域。一旦预测到潜在的危险,系统将发出预警提示,给施工人员更多的反应时间进行逃生。论文的主要工作如下: 1、针对本论文的应用背景分别对毫米波雷达和视觉传感器的目标检测进行研究。其中包括:建立ROS节点解析雷达原始数据,并剔除无关数据完成道路目标筛选,同时针对雷达检测点的聚类效果不佳,在传统DBSCAN聚类算法的基础上进行改进,根据雷达与检测点的距离自适应调整Eps和Min Pts参数以达到更好的聚类效果,获得更加准确的雷达数据信息;构建道路车辆图像数据集对YOLOv5模型进行训练,同时考虑实验数据处理平台为嵌入式移动设备,计算资源有限,在保证检测准确性和实时性的前提下,对模型进行剪枝及微调训练,最终模型的大小为219MB,平均精度为0.818,推理时间为24.2ms,基本满足实验需求。 2、研究了基于毫米波雷达和视觉融合的目标检测方法。完成了对两个传感器的时空对齐,并针对传感器的数据特点,设计了基于检测框交并比和匈牙利算法的数据关联方法,通过将关联目标进行决策级融合,输出目标融合信息。对比实验结果表明,在多目标融合检测应用中,采用基于匈牙利算法的数据关联方法比基于检测框交并比的方法检测准确率提高4.2%。 3、设计了基于传感器融合检测的道路施工预警策略。自建毫米波雷达数据集训练长短时记忆网络轨迹预测模型,通过对比实验对模型性能进行分析,最终模型的评估指标RMSE为11.68,MAE为6.3,R2为0.70;设计基于预测结果的预警等级评估模型,根据预警等级做出相应的预警措施。通过单车辆和多车辆目标实验来验证道路施工预警策略的有效性,结果表明,该策略能够根据不同的预测结果给出合理的预警信号。