基于鲁棒特征与相似性度量的行人再识别方法研究

作     者：肖禛禛 

作者单位：河南理工大学 

学位级别：硕士

导师姓名：姜国权;王静

授予年度：2020年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：行人再识别 深度学习 双残差网络 RGB信息 灰度信息增强 相似性度量 PrGCN 链接可能性 

摘      要：行人再识别技术是计算机视觉领域中极为重要又富有挑战性的课题,已成为当今智能视频分析领域的一个研究热点。它的任务是将非重叠摄相机视图中观察到的行人图像与特定的行人视觉特征进行匹配,在疑犯追踪、智能安防、灾难预警等工作中发挥着重要作用。但在实际应用中,一方面由于受到低分辨率、光照变化、行人姿态、遮挡等因素的影响,行人图像在视觉观感上存在较大差异,导致行人再识别的匹配过程十分困难。另一方面鲁棒的相似性估计对行人再识别非常重要,而现有算法多是计算特征间的欧式距离获取相似性,忽略了不同样本间的相互关系,造成相似性估计不准确。针对上述问题,本文从特征提取和相似性度量两个角度出发,提出一种基于双残差网络的灰度信息增强的特征提取方法和一种新颖的相似性度量方法。本文的主要内容和创新点如下:(1)针对现有行人再识别算法中,使用单一的RGB图像提取行人特征造成算法对颜色信息过于敏感的问题,提出一种灰度信息增强的行人特征提取方法,提升了特征对颜色变化的鲁棒性,用于提高算法在现有数据集上的识别准确率。该方法首先将RGB图像和对应灰度图像作为双残差网络的输入,分别提取行人图像的RGB特征和灰度特征。然后将两个特征在通道方向上进行拼接获得融合特征,该融合特征增加了灰度信息比重,从而削弱颜色信息,有效减少了网络对颜色的敏感度。随后对融合特征以水平均匀分割的方式进行学习。最后将RGB特征、灰度特征和融合特征沿水平方向进行拼接得到更鲁棒的组合特征用于行人再识别的测试过程。在训练过程中对每个特征使用独立的损失函数进行模型优化。实验表明,本文提出的特征提取方法能够有效解决颜色相似和颜色不一致问题对行人再识别任务造成的不利影响,同时提升算法的平均性能(mAP)和首位命中率(Top-1)。(2)针对现有行人再识别算法中存在的相似性度量不准确问题,提出一种新颖的基于图卷积网络(Graph Convolutional Network,GCN)的相似性度量方法PrGCN(Probability GCN)。该方法把每个行人看作是一个实例节点,将行人相似性的计算过程看作节点之间存在链接可能性的预测问题,链接可能性越大则表明两者越相似。首先,以每个实例节点为中心构造实例子图,这些子图描述了该节点丰富的上下文信息。然后,将这些子图输入到图卷积网络中,利用图卷积网络推理和预测节点间的链接可能性。最后,根据预测得到的链接可能性得到待查询图像在候选行人数据库图像中的相似性排序。实验表明,PrGCN能够显著提高行人再识别算法的mAP和Top-1准确率,获得与目前先进ReID算法相媲美的结果。此外,PrGCN可以代替欧式距离度量嵌入到其他深度学习体系结构中,为行人再识别算法带来性能提升。