视频运动向量和片段时序行为的弱监督感知方法研究

作     者：黄晓萍 

作者单位：华南理工大学 

学位级别：硕士

导师姓名：马丽红

授予年度：2021年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：时序行为检测 弱监督学习 非平衡自监督约束 时序行为类条件概率估计 片段度量学习 

摘      要：时序行为检测是海量视频信号内容分析的关键技术,它往往需要大量带有行为起止时间和行为类别标注的视频样本来训练,而获得这些标注数据的代价极高。为减少标注成本,弱监督时序行为检测(WTAD)只利用粗粒度的视频行为类别标签进行训练,并推断未剪辑视频信号内部每个行为片段的开始时间、结束时间及行为类别。其中主要的挑战有:行为边界标注的缺失增加了准确检测每个行为片段的难度;主流的弱监督时序行为检测算法大都基于“由分类器定位动作的思想,即先训练视频行为分类器,再对视频片段分类,实现动作定位。但以视频行为分类器来分类信息有限的视频片段,识别精度难以保证。针对行为边界信息缺失和视频片段准确分类问题,本文完成了以下工作:1、提出了运动传播向量感知和非平衡自监督的弱监督行为推断算法,利用时序视觉变化推断缺失的行为边界信息。首先,基于构造的视频残差运动传播向量(MPV)和时序运动感知网(TAP),学习“时序变化——片段关注度的映射关系,解决弱监督下视频内部动作的感知问题;然后提出非平衡自监督的关注度调整函数(USSL),通过激活次显著动作区域,和增大“背景——动作片段关注度的差异,解决TAP的侧抑制和缓慢动作捕捉失败的问题。在THUMOS14数据集上,相比于未利用时序变化信息的STPN,本文的运动感知算法的行为检测准确率至少提高2%m AP;在Activity Net-v1.2数据集上,比用时序信息直接剪辑视频的UNT,提高20.8%m AP(t Io U=0.5)。2、提出了一个弱监督下视频片段行为类别的迭代求解模型,实现片段级行为检测的近似监督学习。它借助两步交替迭代训练,获得模型的稳定解。第一步,估计时序行为类条件概率(T-CAP),并根据T-CAP产生每个视频片段的行为伪标签;第二步,在行为类别空间下,学习在伪标签下同类片段的视觉特征共性,和背景片段与动作片段的差异性。通过三元组损失和直接中心损失增大背景与动作片段的分离度,以及同类数据的聚集度,从而降低片段的分类不确定性,最终提高T-CAP的可靠性。在THUMOS14数据集上,对比基于视频级行为分类器的W-TALC,视频片段类别迭代求解方法的平均行为检测精度提高了2.5%m AP。