基于灾难性遗忘及组合叠加擦除的跨模态行人重识别预训练方法

作     者：孙锐 谢瑞瑞 张磊 张旭东 高隽 SUN Rui;XIE Rui-rui;ZHANG Lei;ZHANG Xu-dong;GAO Jun

作者机构：合肥工业大学计算机与信息学院安徽合肥230601 工业安全与应急技术安徽省重点实验室安徽合肥230009 

出 版 物：《电子学报》 (Acta Electronica Sinica)

年 卷 期：2023年第51卷第10期

页      面：2925-2935页

核心收录：

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 08[工学] 081104[工学-模式识别与智能系统] 0837[工学-安全科学与工程] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 0702[理学-物理学] 

基　　金：国家自然科学基金面上项目(No.61876057) 安徽省自然科学基金(No.2208085MF158) 安徽省重点研发计划-科技强警专项项目(No.202004d07020012) 

主　　题：自监督 行人重识别 跨模态 预训练 灾难性遗忘 组合叠加擦除 

摘      要：面向构建24小时全时段视频监控系统的需要,基于可见光与近红外的跨模态行人重识别受到工业界与学术界的广泛关注.然而,目前大部分跨模态行人重识别任务都试图利用在ImageNet上预训练的模型来提前学习模态内共性特征,但ImageNet与跨模态行人数据模态差异较大,且预训练过程中将颜色信息作为判别特征之一,导致预训练中学习到的共性特征并不适用于无色彩红外图像的信息表示.本文提出了一种基于灾难性遗忘及组合叠加擦除的自监督跨模态行人重识别预训练方法,首先利用提出的灾难性遗忘评分来对预训练数据进行筛选,旨在减小预训练数据与后续任务数据存在的域间差距,进一步减少模型训练时间.其次,针对传统跨模态识别中的关键区分性特征提取,本文设计了一种强通道数据增强策略,通过对R、G、B三通道的通道级擦除与组合,生成了颜色迥异的多类型样本,有利于促使模型关注于纹理信息而非颜色信息.最后基于本文提出的跨模态数据筛选指标以及通道增强策略,构建了跨模态任务的自监督学习框架.实验结果表明,本文提出的预训练方法所训练的ResNet50网络在迁移到众多跨模态行人重识别方法时优于目前主流自监督预训练方法,其中在经典方法AGW的基础上Rank1与mAP分别提高了8.02%与5.81%.