基于表示学习的跨模态检索方法研究进展

作     者：杜锦丰 王海荣 梁焕 王栋 DU Jinfeng;WANG Hairong;LIANG Huan;WANG Dong

作者机构：北方民族大学计算机科学与工程学院宁夏银川750021 

出 版 物：《广西师范大学学报（自然科学版）》 (Journal of Guangxi Normal University:Natural Science Edition)

年 卷 期：2022年第40卷第3期

页      面：1-12页

学科分类：08[工学] 081104[工学-模式识别与智能系统] 081203[工学-计算机应用技术] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：宁夏自然科学基金(2020AAC03218) 宁夏省级培育项目(PY1906) 宁夏人才项目(KJT2019002)。 

主　　题：多模态数据 跨模态检索 统计相关分析 图正则化 度量学习 

摘      要：多模态数据的急剧增长带来了跨模态检索的应用需求,促进了对跨模态检索方法的研究。本文追溯该领域最新进展,跟踪并深入研究国内外基于表示学习的跨模态检索方法,对跨模态检索问题进行定义并梳理该领域常用技术方法、主流模型、常用数据集、评价方法和面临的主要挑战。主要从统计相关分析、图正则化和度量学习3方面介绍基于表示学习跨模态检索方法,并分析其优缺点。为了分析上述方法的优劣性,实验分别在4个数据集上复现14种方法进行对比评价。实验结果表明:基于统计相关分析方法训练效率较高且易于实施;基于图正则化方法通过挖掘模态内和模态间的相似性,实现语义关联;基于度量学习方法是在公共子空间中尽可能保留数据语义相似/不相似的信息。本文介绍基于表示学习的跨模态检索方法的研究现状,为跨模态检索方法研究提供参考。