基于音视融合的交通量检测方法

作     者：吴跃川 

作者单位：重庆交通大学 

学位级别：硕士

导师姓名：任其亮

授予年度：2024年

学科分类：0711[理学-系统科学] 07[理学] 08[工学] 080203[工学-机械设计及理论] 082303[工学-交通运输规划与管理] 0802[工学-机械工程] 082302[工学-交通信息工程及控制] 0823[工学-交通运输工程] 

主      题：交通量检测 特征提取 数据融合 音视融合 

摘      要：准确的交通量检测对于评估交通状况、制定交通政策和进行交通规划至关重要。为了克服单一传感器本身局限性和环境因素的影响,结合音频检测具有低成本、对光照条件不敏感及适应性强的特点与视频检测具有实时性高、信息详细及技术相对成熟等特点,提出一种基于音视融合的交通量检测方法,以提高交通量检测的准确率,具体内容如下: 研究不同数据融合方法的理论基础,分析各融合方法的优势与局限,并结合音频检测与视频检测的优缺点,确定音视频融合策略。通过数据采集设备获取重庆市巴南区龙洲大道不同交通场景下的音视频同步数据,建立实验数据集,设计音视频交通量检测系统。针对传统音频交通量检测方法在特征提取上的不足,通过分析道路行驶车辆音频信号的时域和频域特征,提出一种基于音频的交通量检测方法,该方法利用ECA-Net注意力机制改进Res2Net特征提取网络,帮助网络更好地提取和区分车辆音频特征。针对当前视频交通量检测方法在特征提取和目标跟踪上的不足,利用DCNv3特征提取网络和Deep SORT多目标跟踪算法对YOLOv8交通量检测方法进行改进,确保在目标检测算法暂时失效导致未能识别车辆的情况下,当车辆再次被识别时可以快速重新锁定并跟踪,实现车辆目标的连续监测。提出基于音视融合的交通量检测方法,该方法利用多头自注意力模块捕获音频和视频数据特征序列中的关联关系、双向长短期记忆循环网络模块捕获音频和视频数据时间序列中的长期依赖性、跨模态注意力模块来分析不同模态之间的相互作用,以解决单一音频或视频的局限性,实现了交通音视频数据的融合。 实验结果表明,在基于音频数据的交通量检测中,改进方法与Res2Net网络和Res2Net+SE网络相比,检测精度分别提升了6.80%和2.01%,但当面对较大的环境噪声或车流量增加的情况时其检测性能仍有待提高。在基于视频数据的交通量检测中,改进模型的交通量检测精度相较于原YOLOv8网络提高了2.11%,而与Faster-RCNN网络相比,改进模型显示出了3.33%的提升,然而在光照不足的环境下的检测性能仍有待提高。基于音视融合的交通量检测方法比单独使用音频或视频时的交通量检测准确率分别提高了4.41%和2.96%,显著提高了交通量检测准确率,展示了多模态融合技术在提升交通监测系统性能方面的巨大潜力。