面向跨模态检索的查询感知双重对比学习网络

作     者：尹梦冉 梁美玉 于洋 曹晓雯 杜军平 薛哲 YIN Meng-Ran;LIANG Mei-Yu;YU Yang;CAO Xiao-Wen;DU Jun-Ping;XUE Zhe

作者机构：北京邮电大学计算机学院(国家示范性软件学院)北京100876 智能通信软件与多媒体北京市重点实验室(北京邮电大学)北京100876 

出 版 物：《软件学报》 (Journal of Software)

年 卷 期：2024年第35卷第5期

页      面：2120-2132页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(62192784,U22B2038,62172056,62272058) 中国人工智能学会-华为MindSpore学术奖励基金(CAAIXSJLJJ-2021-007B) 

主　　题：跨模态语义融合 跨模态检索 视频时刻定位 对比学习 

摘      要：近期,跨模态视频语料库时刻检索(VCMR)这一新任务被提出,它的目标是从未分段的视频语料库中检索出与查询语句相对应的一小段视频片段.现有的跨模态视频文本检索工作的关键点在于不同模态特征的对齐和融合,然而,简单地执行跨模态对齐和融合不能确保来自相同模态且语义相似的数据在联合特征空间下保持接近,也未考虑查询语句的语义.为了解决上述问题,提出一种面向多模态视频片段检索的查询感知跨模态双重对比学习网络(QACLN),该网络通过结合模态间和模态内的双重对比学习来获取不同模态数据的统一语义表示.具体地,提出一种查询感知的跨模态语义融合策略,根据感知到的查询语义自适应地融合视频的视觉模态特征和字幕模态特征等多模态特征,获得视频的查询感知多模态联合表示.此外,提出一种面向视频和查询语句的模态间及模态内双重对比学习机制,以增强不同模态的语义对齐和融合,从而提高不同模态数据表示的可分辨性和语义一致性.最后,采用一维卷积边界回归和跨模态语义相似度计算来完成时刻定位和视频检索.大量实验验证表明,所提出的QACLN优于基准方法.