融合空间相关性和局部特征转换器的遮挡行人重识别

作     者：朱松豪 赵云斌 焦淼 ZHU Songhao;ZHAO Yunbin;JIAO Miao

作者机构：南京邮电大学自动化学院、人工智能学院江苏南京210023 山东鲁能泰山电缆有限公司特变电工山东新泰271219 

出 版 物：《南京邮电大学学报（自然科学版）》 (Journal of Nanjing University of Posts and Telecommunications：Natural Science Edition)

年 卷 期：2022年第42卷第5期

页      面：62-73页

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：南京邮电大学自然科学基金(NY221077)资助项目 

主　　题：遮挡行人重识别 局部特征 图像块序列 视觉转换器 

摘      要：遮挡的行人重识别是计算机视觉中的一个挑战性领域,它面临着特征表示效率低下和识别准确率低等问题。卷积神经网络方法更注重局部特征的提取,因此难以提取被遮挡行人的特征,效果也不尽如人意。最近,视觉转换器被引入到重识别领域,并通过构建图像块序列之间的全局特征联系取得了最先进的结果。然而,视觉转换器在提取局部特征方面的性能不如卷积神经网络。因此,设计了一个基于空间相关性和局部特征序列的行人重识别网络。所提出的网络利用3个模块来提高视觉转换器的效率:(1)图像块全维度增强模块。设计了一个与图像块序列大小相同的可学习张量,该张量是全维的,并可完全嵌入到图像块序列中,用以丰富训练样本的多样性;(2)图像块序列融合重构模块。提取已经获得的图像块序列中不太重要的部分,并将它们与原始的图像块序列融合以重构原始图像块序列;(3)空间切割模块。从空间方向上对图像块序列进行切片和分组,并引入身份损失,可以有效提高图像块序列的短程相关性。对遮挡和整体重识别数据集的实验结果表明,所提网络的性能优于其他先进方法。