端到端的行人搜索方法研究

作     者：冯国平 

作者单位：北京交通大学 

学位级别：硕士

导师姓名：岑翼刚

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：端到端 深度互学习 行人搜索 完全监督 弱监督 

摘      要：行人搜索任务(Person Search)旨在从不同的户外监控摄像头采集到的监控视频帧中,对目标行人进行识别和匹配。这项技术在寻找失踪人员、提高公共安全意识以及增强社区凝聚力等方面具有重要的现实意义。但是,基于深度学习的行人搜索任务在实际应用中面临着挑战。首先,行人搜索是对搜索实时性要求较高的计算机视觉任务。传统的两阶段行人搜索算法采取先在一个神经网络中进行目标行人检测,再裁剪好图片开始行人重识别训练的策略,这种策略会带来较大的内存和时间开销。其次行人搜索任务的数据集标注较为复杂,标注行人身份标签往往会带来巨大的人工成本开销,而且可能会出现标注错误的情况。因此,本文将从完全监督和弱监督两个场景进行端到端的行人搜索方法研究。其中,主要的工作和取得的成果包括:(1)提出了端到端的单阶段行人搜索算法。首先,相较于主流的基于两阶段目标检测网络设计的端到端行人搜索算法,基于单阶段目标检测算法设计的行人搜索算法具有更加简洁的网络结构。其次,设计了特征编码模块能融合骨干网络输出的多层不同尺度的特征。此外,设计了特征解码模块,在行人重识别检测头结构中引入了可变形卷积,采取与行人检测头并行的方式进行训练。所提出的面向完全监督场景的算法,在CUHK-SYSU和PRW数据集上m AP指标值分别达到了92.5%和43.8%,结果表明该算法能以更简洁的网络结构实现有效的行人搜索。最后,在实验中分别探索了不同结构的特征编码模块和不同结构的特征解码模块对算法的影响。(2)提出了端到端的弱监督行人搜索算法。首先,提出的算法不再需要读取行人身份的真实标签,采用聚类的方式生成伪标签,标签在弱监督损失函数的监督下进行更新。其次,引入了深度互学习网络结构用于行人搜索,其中一个分支进行有锚框的两阶段目标检测网络的特征处理,另一个分支进行无锚框单阶段目标检测网络的特征处理。其次,使用了Res2Net作为骨干网络提取特征,使用了CIo U Loss作为位置回归损失函数。所提出的面向弱监督场景的算法,在CUHKSYSU和PRW数据集上m AP指标值分别达到了81.7%和20.9%,结果表明该算法无需行人身份标签也能实现端到端的行人搜索。最后,在实验中分别探索了不同的行人搜索网络结构、不同的骨干网络、不同的损失函数对算法的影响。