结合特征约束学习的可见光-红外行人重识别

作     者：张镜 陈广锋 Zhang Jing;Chen Guangfeng

作者机构：东华大学机械工程学院上海201620 

出 版 物：《激光与光电子学进展》 (Laser & Optoelectronics Progress)

年 卷 期：2024年第61卷第12期

页      面：211-218页

核心收录：

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 081104[工学-模式识别与智能系统] 08[工学] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 

主　　题：图像处理 行人重识别 跨模态 双流网络 损失函数 

摘      要：由于可见光图和红外光图存在巨大的模态差异,可见光-红外光行人重识别是一个艰巨的任务。当前可见光-红外光行人重识别面临的主要问题是如何有效提取模态共享特征中的有用信息。为解决这个问题,提出了一个基于视觉Transformer的双流跨模态行人重识别网络,通过使用模态令牌嵌入模块和多分辨率特征提取模块来监督模型提取有辨别力的模态共享信息。此外,为了增强模型的辨别力,设计了模态一致性约束损失和特征中心约束损失。模态一致性损失会引导模型学习模态间的不变特征;特征中心约束损失会监督模型降低类内特征的差异性,增加类间特征的差异性。在SYSU-MM01数据集和RegDB数据集上的大量实验结果表明,所提方法优于大多数现有方法。在SYSU-MM01大型数据集上,所提模型的首位命中率和均值平均精度分别达到了67.69%和66.82%。