融合时空信息的视频实例分割算法研究

作     者：朱泓钰 

作者单位：北方工业大学 

学位级别：硕士

导师姓名：李琛;李红

授予年度：2024年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：视频实例分割 空间特征增强 时间融合 实例跟踪 

摘      要：视频实例分割因其在自动驾驶和视频理解等领域的内在潜力而受到广泛关注。作为一个难以解决的多任务问题,由实例遮挡或运动模糊导致的不完整分割、跟踪失败一直是提升视频实例分割精度的主要挑战。为此,本文提出了一个融合时空信息的视频实例分割算法,设计了一种空间特征增强策略,运用多层注意力来提取视频帧中的关键空间特征,从而帮助实例定位并获得高精度的分割结果。该算法还包含了一个时间融合模块,利用时间卷积与特征融合以捕捉时间信息生成实例偏移量,从而对单帧分割出的实例掩码进行完善,在一定程度上提升了分割效果。 为了能获取到更好的分割效果,本文针对融合时空信息的视频实例分割网络进行优化。由于空间特征增强策略侧重于增强全局特征,忽视了局部特征的重要性,本文提出了一种新的空间自注意力机制,以关注像素点特征之间的关联强度并建立丰富的上下文信息。双重融合模块用来优化特征融合,结合时间卷积特征和初始特征的联合跨帧偏移量优化预测实例,其中偏移量模块共享权重以避免增加额外的网络参数。同时考虑到在实际应用当中,视频实例分割作为各类任务的前置步骤需要具有快速分割的性能。针对于此,本文对跟踪算法进行了改进以加快实例分割速度,跟踪算法首先根据边界框尺寸筛选进行匹配的实例,然后再根据相似度分数和掩码交并比来推理实例的标识,以减少不必要的计算。 为了验证所以提出算法的有效性,本文在国际主流数据集You Tube-VIS-2019和You Tube-VIS-2021上进行了大量的实验,最终模型的结果优于其他优秀的算法,其平均精度相较于基线提升3.2%。除此之外,本文还对模型在数据集上的分割结果进行了可视化,并构建了一个视频实例分割系统。