Transformer-CNN特征跨注意力融合学习的行人重识别

作     者：项俊 张金城 江小平 侯建华 XIANG Jun;ZHANG Jincheng;JIANG Xiaoping;HOU Jianhua

作者机构：中南民族大学智能无线通信湖北省重点实验室武汉430074 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2024年第60卷第16期

页      面：94-104页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划(2020YFC1522900) 湖北省知识创新专项(自然科学基金)(2022CFB454) 中南民族大学中央高校基本科研业务费专项资金(CZQ23033) 

主　　题：行人重识别 卷积神经网络(CNN) Transformer 跨注意力融合学习 

摘      要：卷积神经网络(convolutional neural network,CNN)关注局部特征,难以获得全局结构信息,Transformer网络建模长距离的特征依赖,但易忽略局部特征细节。提出了一种跨注意力融合学习的行人重识别算法,利用CNN和Transformer特征学习网络的特点,在丰富行人局部特征的同时改善特征的全局表达能力。该模型由三个部分构成:CNN分支主要提取局部细节信息;Transformer分支侧重于关注全局特征信息;跨注意力融合分支通过自注意力机制计算上述两个分支特征的相关性,进而实现特征融合,最终提高模型的表征能力。剥离实验以及在Market1501和DukeMTMC-reID数据集的实验结果证明了所提方法的有效性。