基于深度学习的无人机航拍图像车辆目标检测算法研究
作者单位：杭州电子科技大学
学位级别：硕士
导师姓名：潘勉
授予年度：2023年
主 题：无人机 车辆目标检测 注意力机制 数据增强 特征融合
摘 要：无人机航拍图像车辆目标检测是车辆跟踪、交通监控的核心技术,被广泛地应用于高速公路巡查、交通流量监控等领域。与通用目标检测不同的是,无人机航拍图片中存在车辆目标尺度差异较大、小目标车辆较多、车辆背景信息复杂和车辆目标类别数量分布不均衡等问题,给无人机航拍图像车辆目标检测造成困难;此外,由于无人机体积小、运算资源有限,多数基于深度神经网络的目标检测模型难以满足无人机边缘部署对模型轻量性和实时性的要求。本文从上述难点出发,提出一系列基于深度学习的目标检测模型,通过针对性地设计模型中的数据处理、特征融合和目标检测模块等环节,有效地改善了车辆目标尺度相差较大、小目标较多、车辆目标类别分布不均衡等问题,使之可更好地在工程中得以应用。本文主要贡献包括以下内容:1)针对车辆小目标较多、车辆目标尺度差异较大以及车辆目标背景信息复杂等问题,本文提出了一种锚框自适应高清特征融合的无人机航拍图像车辆目标检测模型。首先,该模型根据无人机航拍图像数据集中的目标尺度分布自适应地调整模型锚框的大小,适应不同的车辆目标尺度,提高目标检测精度。其次,提出了一种新颖的上采样模块,提高小目标检测的精确度。最后,利用通道注意力机制,减少背景信息的干扰。实验结果表明,上述的车辆目标检测算法能够较大程度改善实际场景下的无人机航拍图像中车辆目标尺度差异较大、小目标较多和背景信息复杂导致的检测问题。2)针对锚框自适应高清特征融合模型中浅层信息传递和空间信息考虑不足、难以完全满足车辆的尺度判别特性等问题,本文提出了双重注意力机制和多尺度高清特征融合无人机航拍车辆目标检测算法。首先,算法设计了一种基于跳跃连接和双重注意力机制的特征融合网络,该网络利用跳跃连接改善了目标浅层特征信息的传递。其次,算法设计了双重注意力机制,增强对特征空间信息的考虑,减弱背景信息的干扰。最后,算法设计了多头检测模块,进一步增强模型在不同尺度车辆的判别性特性。实验结果证明,所述算法在目标检测的抗干扰能力和自适应能力上效果提升显著。3)针对小型和低功耗设备的边缘部署对模型实时性和轻量性的要求,本文提出了一种基于Transformer联合图像增强的多尺度无人机航拍图像车辆目标检测模型。首先,该模型选用轻量级的单阶段检测模型作为基线。其次,该模型融合车辆特征的空间与通道信息,突出车辆特征,减弱背景噪音的影响,并通过Transformer模块提高小目标检测精度。最后,提出图像增强模块,在不增加模型复杂度的同时提高数据集中少样本类别的样本数,平衡各类目标数量,并降低图像输入尺寸,保证模型推理的实时性。实验结果表明,此模型能够大幅度提升车辆目标检测的总体性能,能够满足边缘部署对实时性和轻量性的要求。为了使本课题所述算法能够更好地部署于低算力、低功耗以及低成本的无人机设备上。本文分别在Jeston Xavier NX与i TOP-RK3588低功耗开发板搭建了无人机航拍图像端到端车辆目标检测框架,并对模型进行优化和压缩,最后测试了上述车辆目标检测模型的实际运行性能。实验表明,模型在算力有限的无人机设备上仍然能表现出较高的检测速度与精度,并且在不同应用场景下表现良好。相较于工作站检测方式,无人机边缘端的部署可极大降低车辆目标检测成本和提高完成实际工程任务的灵活性,扩大了模型的工程领域应用范围,为未来可能的实际工程应用奠定了坚实的基础。综上所述,本文所述的模型针对无人机航拍车辆目标检测具有强抗干扰、高稳定性、轻量化以及兼顾精度和效率等特点,可改善实际工程中存在的车辆目标尺度差异较大、小目标车辆较多、车辆背景信息复杂、车辆目标类别数量分布不均衡和模型难以部署于无人机边缘端等问题,并且根据实际工程的应用需要,设计了车辆目标检测模型在边缘设备上的硬件部署框架,为在复杂环境下无人机航拍车辆目标检测的工程化应用提供了新的思路。
同方学位论文库