基于上下文语义联合YOLOv7的分心驾驶检测算法

作     者：李富 徐凯 朱灵龙 沈昊君 王泉 Li Fu;Xu Kai;Zhu Linglong;Shen Haojun;Wang Quan

作者机构：无锡学院物联网工程学院无锡214105 南京信息工程大学自动化学院南京210044 

出 版 物：《国外电子测量技术》 (Foreign Electronic Measurement Technology)

年 卷 期：2024年第43卷第3期

页      面：121-128页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金青年科学基金(42305158)项目资助 

主　　题：YOLOv7 分心驾驶检测 CoT Biformer Triplet Attention 

摘      要：针对分心驾驶检测方法存在实时性差、精度低、可部署性差的问题,提出了一种基于上下文语义增强联合YOLOv7的分心驾驶检测算法。首先将模型backbone和head部分的ELAN模块替换成语义上下文增强模块(contextual transformer,CoT),提高上下文语义信息的捕获能力。其次,将语义关联增强机制(triplet attention)融入卷积块中,插入backbone和head的连接头之间以及融合MP2模块,强化目标间的关联关系以及提升目标特征提取能力。最后,将自注意力双向Transformer模块(Biformer)模块融合SPPCSPC模块,提升模型对分心驾驶中的复杂场景和遮挡目标的处理能力。改进的YOLOv7算法在分心驾驶数据集下平均精度均值(mean average precision,mAP)达到了87.3%,比原算法提高了4.3%,模型参数量减少了4.7%,每秒传输帧数达到了90 fps,具有较好的检测精度与速度。