基于重参数卷积块和编码器预测头的行人检测算法研究

作     者：闵聪 

作者单位：西安电子科技大学 

学位级别：硕士

导师姓名：宁贝佳;杨晓云

授予年度：2022年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：行人检测 重参数卷积块 Mish-FReLU激活函数 T-BiFPN特征融合模块 D-NMS框抑制算法 

摘      要：行人检测是利用计算机视觉技术判断图像或者视频序列中是否存在行人并确定行人位置,是计算机视觉领域内的研究热点。其中基于深度学习的目标检测算法是当前的研究前沿。本文选择基于锚框(Anchor-based)的YOLOv5和无需锚框(Anchor-free)的YOLOX作为研究对象,针对小目标漏检问题以及遮挡目标漏检问题展开研究,具体内容如下:(1)通常小尺度行人目标范围小,难以捕捉细节特征,从而容易导致漏检。当前的YOLOv5和YOLOX中的卷积块是由卷积层、归一化层和激活函数层组成的单路结构,其特征提取能力不强,易导致行人小目标漏检;而且,YOLOv5和YOLOX使用的Swish激活函数平滑性不足以及空间不敏感,导致目标定位精度降低。针对这种情况,本文设计了两种基于残差的多支路卷积块,代替YOLOv5和YOLOX网络中的传统卷积块,提高目标检测性能并且避免过拟合,降低漏检率;并在推理阶段对多支路卷积块进行重参数,转化成单路卷积块(重参数卷积块RepBlock),减少推理时间和显存占用率;然后利用融入空间条件的Mish-FReLU激活函数,提高目标检测的定位精度,减少小目标漏检。总之,本文将重参数卷积块和Mish-FReLU激活函数分别应用到YOLOv5、YOLOX得到Rep-YOLOv5和Rep-YOLOX。在自建VOC数据集和Crowd Human数据集的实验结果表明,与YOLOv5相比,Rep-YOLOv5的平均精度分别提高了1.82和2.70个百分点;与YOLOX相比,Rep-YOLOX的平均精度分别提高了1.56和2.34个百分点。而且,Rep-YOLOv5适用于小目标较多的视频检测;Rep-YOLOX适用于需求高精度的小目标检测场景。(2)行人间遮挡和其他遮挡均会导致行人信息减少,特征提取困难,易造成漏检。Rep-YOLOv5和Rep-YOLOX使用的特征融合模块平等地对待贡献不同的特征,而且忽略了图像区域之间存在的关系,导致目标在遮挡场景下检测精度降低。此外,基于锚框的Rep-YOLOv5算法使用单阈值的非极大抑制(NMS)来去除冗余框,难以应对有严重遮挡的两个目标框情况,导致漏检。针对这种情况,本文在特征融合模块为每个特征增加一个额外的权重,学习不同特征的重要性,并在特征融合模块的顶部融入基于自注意机制的Transformer编码器,捕获全局信息和丰富的上下文信息,提升对遮挡场景下的目标识别准确率,改善漏检。本文将改进的特征融合模块(T-BiFPN)应用到Rep-YOLOX得到TRep-YOLOX。此外,本文引入双阈值的D-NMS,在遮挡部分使用变形的双曲正切函数进行分数衰减,使得Rep-YOLOv5在不增加误检的情况下减少遮挡目标的漏检率;并将改进的特征融合模块(T-BiFPN)和D-NMS结合,应用到Rep-YOLOv5得到TRep-YOLOv5。在自建VOC数据集和Crowd Human数据集的实验结果表明,与Rep-YOLOv5相比,TRep-YOLOv5的平均精度分别提高了1.25和1.72个百分点;与Rep-YOLOX相比,TRep-YOLOX的平均精度分别提高了0.98和1.55个百分点。而且,TRep-YOLOv5适用于遮挡场景的视频检测;而TRep-YOLOX适用于需求高精度的遮挡场景检测。