外观融合运动感知的运动目标分割算法

作     者：徐邦武 吴秦 周浩杰 XU Bangwu;WU Qin;ZHOU Haojie

作者机构：江南大学人工智能与计算机学院江苏无锡214122 江苏省模式识别与计算智能工程实验室江苏无锡214122 

出 版 物：《计算机科学》 (Computer Science)

年 卷 期：2024年第51卷第3期

页      面：155-164页

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金(61972180) 

主　　题：运动目标分割 均衡重投影代价 多角度光流对比代价 多模态共同注意力门控 多层运动注意力模块 

摘      要：现实场景中的运动目标分割旨在分割当前场景下的运动物体,对于许多计算机视觉应用有着至关重要的作用。现有的运动目标分割算法大多通过2D光流图中的运动信息来分割运动物体,然而,这些方法还存在一些问题。当运动物体在极面内运动或者其3D运动方向和背景一致时,很难通过光流图分割得到;另外,错误的光流预测也会影响分割的结果。为了解决以上问题,提出了不同的运动代价,以提升运动目标分割的正确率。针对和背景共线或共面运动的物体,设计均衡重投影代价和多角度光流对比代价,通过运动物体的2D光流与背景2D光流的差异来检测运动物体。针对自我运动退化,设计差异单应性代价。最后,提出了一种基于外观融合的运动感知结构,以分割各种场景下的运动物体。采用多模态共同注意力门控,更有效地捕获运动特征和外观特征的关系,以促进外观特征和运动特征更好地交互。此外,为了突出运动的物体,提出了多层运动注意力模块,以减少冗余的外观特征对结果的影响。实验结果表明,所提方法在KITTI,JNU-UISEE,KittiMoSeg和Davis-2016数据集上均能获得较优的运动目标分割结果。