基于动态嵌入特征的鲁棒半监督视频目标分割

作     者：陈亚当 赵翊冰 吴恩华 

作者机构：中国科学院软件研究所 南京信息工程大学计算机学院 南京信息工程大学数字取证教育部研究中心 

出 版 物：《北京航空航天大学学报》 (Journal of Beijing University of Aeronautics and Astronautics)

年 卷 期：2024年

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金(62332015 62072449) 

主　　题：视频目标分割 时空记忆网络 时空约束 内存更新感应 动态嵌入特征 

摘      要：针对半监督视频目标分割方法存在推理时内存占用不断增加以及仅依赖低级像素特征训练困难的问题，提出了一种基于动态嵌入特征和辅助损失函数的半监督视频目标分割方法。使用一种动态嵌入特征，建立一个恒定大小的记忆库。通过时空聚合方法，利用历史信息生成和更新动态嵌入特征。同时使用内存更新感应器来自适应控制记忆库的更新间隔，适应不同视频的运动模式。使用一种辅助损失函数以在高级语义特征层面上给网络提供辅助指导，并通过在多重特征层面多方面指导，提高模型精度和训练效率。针对视频前背景中相似目标误匹配的问题，设计了一种空间约束模块，以利用视频的时间连续性特性，更好捕获前一帧掩码信息和当前帧之间的关联。实验结果表明，本方法在DAVIS 2017验证集上达到了84.5 J&F的精度，在YouTube-VOS 2019验证集达到了82.4 J&F的精度。