邻级特征融合驱动的跨模态行人重识别

作     者：葛斌 许诺 夏晨星 郑海君 

作者机构：安徽理工大学计算机科学与工程学院 合肥综合性国家科学中心能源研究院 

出 版 物：《光电子·激光》 (Journal of Optoelectronics·Laser)

年 卷 期：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(62102003) 安徽省自然科学基金(2108085QF258) 安徽省博士后基金(2022B623) 

主　　题：跨模态 行人重识别 红外 邻级特征 

摘      要：可见光和红外图像之间存在着巨大的模态差异，学习模态共享显著性特征仍然是跨模态行人重识别（visible-infrared person re-identification， VI-ReID）任务中一个具有挑战性的问题。现有的方法在学习模态共享特征时忽略了低级和高级特征之间的关联性且训练样本有限，不能充分挖掘跨模态线索。因此本文提出一种邻级特征融合指导网络(adjacent level feature fusion guides the network， AFGNet)。首先，邻级交叉注意力融合模块(adjacent-level cross attention fusion module， ACFM)通过交叉注意力挖掘相邻特征空间和通道之间的潜在关系，引导邻级特征融合，有效的生成模态共享特征。其次，多特征生成模块(multi-feature generation module， MFGM)使用多分支空洞卷积生成结构在特征嵌入空间生成不同的样本，缓解训练数据不足的问题。本文在SYSU-MM01数据集的全搜索模式中rank-1和mAP分别达到了76.26%和73.56%，验证了本文方法的有效性。