基于注意力双分支网络的跨模态足迹检索

作     者：鲍文霞 茅丽丽 王年 杨先军 刘晋 瞿金杰 Bao Wenxia;Mao Lili;Wang Nian;Yang Xianjun;Liu Jin;Qu Jinjie

作者机构：安徽大学电子信息工程学院合肥230601 中国科学院合肥物质科学研究院合肥230031 公安部物证鉴定中心北京100038 

出 版 物：《东南大学学报（自然科学版）》 (Journal of Southeast University：Natural Science Edition)

年 卷 期：2021年第51卷第5期

页      面：914-922页

核心收录：

学科分类：0710[理学-生物学] 1205[管理学-图书情报与档案管理] 12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划资助项目(2018YFC0807302) 国家自然科学基金资助项目(61772032) 

主　　题：足迹图像 跨模态检索 双分支网络 空间注意力机制 

摘      要：为了提高跨模态足迹检索精度,提出一种基于注意力双分支深度卷积神经网络的检索方法.该方法以赤足足迹的光学和压力2个模态图像为研究对象,采集并构建了一个包含138人5520幅足迹图像的跨模态检索数据集;在网络的特征提取模块采用ResNet50作为基础网络搭建双分支结构,并引入空间注意力机制,以提取各模态具有辨别性的特征;在网络的特征嵌入模块,通过部分参数共享学习跨模态共享空间;在双约束损失模块采用交叉熵损失(ID loss)和异质中心损失(HC loss)以增大跨模态足迹特征的类间差异,减小类内差异.实验结果表明:互检索模式下的平均精度均值(mAP)均值和Rank1均值分别为70.83%和87.50%,优于其他一些跨模态检索方法.采用注意力双分支网络模型能够有效进行跨模态足迹检索,可以为现场足迹对比鉴定等应用提供理论基础.