基于深度学习的行人追踪与姿态识别算法研究

作     者：翟蔚 

作者单位：浙江科技学院 

学位级别：硕士

导师姓名：项小东

授予年度：2022年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 080204[工学-车辆工程] 0838[工学-公安技术] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：行人检测 行人追踪 姿态识别 Jetson Nano 自动驾驶 辅助驾驶 

摘      要：面向智能交通领域,道路中的目标一直是研究的热点方向。行人是道路交通中的运动主体,也是交通工具的主要服务对象,因此对行人的检测与识别是交通中的重点。随着计算机视觉技术的发展,深度学习在检测和识别方向的应用越来越广泛。在识别设备方面,也有新的技术的创新,由原来的单目摄像头发展成多目摄像头,还有新的激光雷达和点云去获取前方的道路信息。本文基于自动驾驶和辅助驾驶车载摄像头获取图像,对行人检测、行人追踪和行人姿态识别进行展开研究:(1)针对自动驾驶和辅助驾驶车载摄像头获取行人图像,存在背景复杂和行人数量多且密集等现象和车载硬件系统相对经济型,本文在检测速度较快的Yolov3-tiny算法上增加扩大感受野模块,有效的提高了检测的精度;将IOU值检测框回归改为增加中心点距离和长宽比的CIOU值检测框回归,起到加快模型收敛和检测框准确定位行人位置信息作用;在算法预测阶段采用将非极大值抑制和加入中心点距离的IOU结合的形式筛选检测结果,避免了暴力剔除检测框现象,算法在行人遮挡和密集场景下得到了显著提升。(2)针对检测算法中存在检测框不稳定和不连续现象,提出在行人检测器的基础上增加行人追踪器,从而弥补检测算法的缺陷。本文采用TBD策略,在改进Yolov3-tiny行人检测器的基础上结合改进的Deep SORT行人追踪器,实现了对行人的实时和准确的定位。主要在Mars数据集上采用轻量化的Shufflenetv2重新训练行人外观特征进行匹配;采用DIOU替换IOU进行目标匹配,最后根据本文的应用场景对追踪器进行调参,实现多目标追踪准确度更高的行人追踪算法。(3)针对检测追踪算法无法对存在危险系数的行人进行识别,提出在行人检测追踪的基础上增加行人姿态识别和行人距离测量,有利于提高自动驾驶和辅助驾驶系统的安全性,对存在危险状态和制动距离内的行人信息产生反馈作用。本文采用轻量化的Lightweight OpenPose算法得到人体关键图,提出根据关键点物理位置、关键点连成的人体检测框长宽比和姿态识别网络这三种方法完成对行人的四个方向和三种状态的姿态识别,最后基于双目摄像头成像原理,提出行人姿态识别和行人测距算法。最终将以上方法部署在嵌入式平台Jetson Nano上,完成算法在移动端的实现。本文中的算法能够对无人驾驶和智能驾驶技术的发展起到积极促进作用,并且实际硬件应用也能推动产业化的发展。