旋翼机单目视觉图像目标检测与跟踪研究

作     者：周子衿 

作者单位：电子科技大学 

学位级别：硕士

导师姓名：李滚

授予年度：2021年

学科分类：08[工学] 080203[工学-机械设计及理论] 082503[工学-航空宇航制造工程] 0802[工学-机械工程] 0825[工学-航空宇航科学与技术] 

主      题：旋翼机 目标检测与跟踪 YOLO Deep SORT 

摘      要：旋翼无人机具有其体积小、灵活性高等优点,可在空中进行视觉方面的图像处理任务,相比固定监控设备在交通状况的检测中具有部署成本低的优势。但现阶段应用于旋翼机平台的检测与跟踪算法尚有不足之处,一是当前的检测与跟踪相关算法主要基于深度学习,网络结构复杂,而适用于旋翼机平台的机载设备性能有限,无法满足计算资源等相关需求;二是旋翼机航拍视角下的小目标居多,导致对图像特征信息提取难度较大,相应地会出现漏检或错检等问题,给检测算法带来了极大的挑战。针对相关问题,本文的主要研究工作有以下三点:（1）基于YOLO系列检测算法进行了轻量化改进。针对旋翼机平台算力低的缺点对网络结构进行了优化,基于BN层的稀疏化通道剪枝方法对性能高但模型较大的YOLO-V3进行了网络轻量化处理,同时通过K-means++算法重新定义先验框提高对航拍目标的检测效率。改进后的网络加快了推理速度,降低了模型体积,并且提高了对航拍目标的检测精度。对性能较低的小型网络模型YOLO-tiny进行了增强处理,增加了网络卷积层数的同时利用NIN层抑制模型的增大,在维持实时性的基础上提高了检测精度。（2）将Deep SORT跟踪算法与改进后的YOLO检测算法进行融合。针对漏检的情况,在检测结果中结合目标在时间序列上的特征信息,用改进后YOLO检测算法的结果作为Deep SORT算法跟踪器的输入,利用前后帧的关系对目标的位置进行预测。同时设定了合理的检测置信度阈值,增加了可视化的目标运动轨迹用于辅助分析,在降低错检率的同时提高了跟踪速度。（3）以M100旋翼机为平台搭建了基于单目视觉的目标检测与跟踪系统。制作了DOTA-like数据集,将改进算法分别部署在机载和地面两个实验平台上,最后在超低空高度下进行了试飞,在不同程度的背景干扰情况下对多目标进行了检测与跟踪测试。实验结果表明,在以行人和车辆为主的交通情况分析中,该系统具有较好的稳定性和可靠性。