基于运动引导的高效无监督视频目标分割网络

作     者：赵子成 张开华 樊佳庆 刘青山 ZHAO Zi-Cheng;ZHANG Kai-Hua;FAN Jia-Qing;LIU Qing-Shan

作者机构：南京信息工程大学自动化学院南京210044 

出 版 物：《自动化学报》 (Acta Automatica Sinica)

年 卷 期：2023年第49卷第4期

页      面：872-880页

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：科技创新2030——“新一代人工智能”重大项目(2018AAA0100400) 国家自然科学基金(61876088,U20B2065,61532009) 江苏省333工程人才项目(BRA2020291)资助 

主　　题：无监督视频目标分割 运动引导 局部注意力 互注意力 

摘      要：大量基于深度学习的无监督视频目标分割(Unsupervised video object segmentation,UVOS)算法存在模型参数量与计算量较大的问题,这显著限制了算法在实际中的应用.提出了基于运动引导的视频目标分割网络,在大幅降低模型参数量与计算量的同时,提升视频目标分割性能.整个模型由双流网络、运动引导模块、多尺度渐进融合模块三部分组成.具体地,首先,RGB图像与光流估计输入双流网络提取物体外观特征与运动特征;然后,运动引导模块通过局部注意力提取运动特征中的语义信息,用于引导外观特征学习丰富的语义信息;最后,多尺度渐进融合模块获取双流网络的各个阶段输出的特征,将深层特征渐进地融入浅层特征,最终提升边缘分割效果.在3个标准数据集上进行了大量评测,实验结果表明了该方法的优越性能.