指代视频分割方法研究综述

作     者：魏彩颖 贾磊 WEI Caiying;JIA Lei

作者机构：硅湖职业技术学院计算机科学与技术学院江苏苏州215332 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2025年第61卷第2期

页      面：73-83页

核心收录：

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 081104[工学-模式识别与智能系统] 08[工学] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 

主　　题：跨模态检索 指代视频分割 跨模态理解 

摘      要：指代视频分割是计算机视觉和自然语言处理交叉领域的热点研究任务。目标是通过理解文本语义分割出给定视频的相关实体。与传统需预定义待分割物体类别的视觉分割任务不同,该任务不依赖于预定义的物体类别,而是通过理解给定的描述语句定位目标并分割。由于文本描述的内容随机且无分割好的视频帧当作参考,使得该任务极具挑战。虽然是新兴的跨媒体理解任务,但在安防监控、车辆追踪以及行人重识别等领域具有极高的应用前景并已有较多性能显著的方法提出。由于缺乏指代视频分割方法的研究综述,因此现有的指代视频分割方法被系统梳理和分析。具体地,根据研究思路的不同粗略地将解决方法分为四类:基于动态卷积、基于注意力机制、基于多层次信息学习和基于端到端序列预测的指代视频分割;对各类及各类内具体方法的性能进行定量和定性的分析;总结现有工作的不足以及未来可进行改进的思路。