泛化迁移深度学习下的跨模态图像行人识别算法

作     者：蔡现龙 李阳 陈曦 CAI Xianlong;LI Yang;CHEN Xi

作者机构：西安明德理工学院信息工程学院西安710124 

出 版 物：《吉林大学学报（信息科学版）》 (Journal of Jilin University（Information Science Edition）)

年 卷 期：2024年第42卷第1期

页      面：137-142页

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：西安明德理工学院科研基金资助项目(2021XY01L09) 

主　　题：泛化迁移深度学习 跨模态图像 行人识别 特征提取 

摘      要：针对由于受光照条件变化、行人身高差异等影响,致使监控视频图像在不同时刻的成像存在较大的跨模态差异问题,为准确识别跨模态图像中的行人,提出基于泛化迁移深度学习的跨模态图像行人识别算法。通过循环生成对抗网络(Cyele GAN:Cycle Generative Adversarial Network)形成跨模态图像,采用单目标图像处理对基准图分割处理,得到人体候选区域,在匹配图中搜索和其匹配的区域,得到人体区域的视差,通过视差提取人体区域的深度和透视特征。将注意力机制和跨模态行人识别相结合,分析两种不同类型图像的差异,将两个子空间映射到同一个特征空间,同时引入泛化迁移深度学习算法对损失函数度量学习,自动筛选跨模态图像的行人特征,最终通过模态融合模块将筛选的特征融合处理完成行人识别。实验结果表明,所提算法可以快速、准确地提取不同模态图像中的行人,识别效果较好。