面向跨模态行人重识别的双向动态交互网络

作     者：郑爱华 冯孟雅 李成龙 汤进 罗斌 Zheng Aihua;Feng Mengya;Li Chenglong;Tang Jin;Luo Bin

作者机构：多模态认知计算安徽省重点实验室合肥230601 安徽大学人工智能学院合肥230601 安徽大学计算机科学与技术学院合肥230601 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2023年第35卷第3期

页      面：371-382页

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金(61976002,62076003) 安徽省高校协调创新项目(GXXT-2021-038,GXXT-2019-025) 安徽省重点研究与开发计划(202104d07020008) 安徽省高等学校省级自然科学研究项目(KJ2020A0033). 

主　　题：行人重识别 跨模态 动态卷积 跨层多分辨率 卷积神经网络 

摘      要：为了解决当前跨模态行人重识别算法因采用权值共享的卷积核而造成模型针对不同输入动态调整能力差,以及现有方法因仅使用高层粗分辨率的语义特征而造成信息丢失的问题,提出一种双向动态交互网络的跨模态行人重识别方法.首先通过双流网络分别提取不同模态各个残差块后的全局特征;然后根据不同模态的全局内容动态地生成定制化卷积核,提取模态特有信息,并将其作为模态互补信息在模态间进行双向传递以缓解模态异质性;最后对各层不同分辨率的特征进行相关性建模,联合学习跨层的多分辨率特征以获取更具有判别性和鲁棒性的特征表示.在SYSU-MM01和RegDB跨模态行人重识别数据集上的实验结果表明,所提方法在第一命中率(R1)分别高于当前最好方法4.70%和2.12%;在平均检索精度(mAP)上分别高于当前最好方法4.30%和2.67%,验证了该方法的有效性.