多时间尺度一致性的弱监督时序动作定位

作     者：郭文斌 杨兴明 蒋哲远 吴克伟 谢昭 GUO Wenbin;YANG Xingming;JIANG Zheyuan;WU Kewei;XIE Zhao

作者机构：合肥工业大学计算机与信息学院合肥230009 合肥工业大学工业安全与应急技术安徽省重点实验室合肥230009 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2023年第59卷第10期

页      面：151-161页

核心收录：

学科分类：08[工学] 081203[工学-计算机应用技术] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：安徽省重点研究与开发计划(202004d07020004) 安徽省自然科学基金(2108085MF203) 中央高校基本科研业务费专项资金(PA2021GDSK0072,JZ2021HGQA0219)。 

主　　题：弱监督 时序动作定位 多时间尺度 一致性 

摘      要：由于弱监督时序动作定位模型使用视频级的标签作为监督信号,模型在识别出动作实例中最具区分性的视频片段时,也会将和视频级标签有关的背景片段误认为是动作,难以产生完整的动作提议。为了进一步检测动作片段,通过分析动作片段在多时间尺度上标记的一致性,提出了一种多时间尺度一致性的弱监督时序动作定位方法。对输入的视频帧提取RGB和光流的特征,设计一种多时间尺度的模块,使用不同尺寸的卷积核建模视频的时序关系。通过估计多时间尺度特征的时间类激活图,并对多分支的时间类激活图进行融合,获得多时间尺度一致性的动作预测标签。为了进一步优化模型预测的动作标签,采用迭代优化策略,在每次迭代中更新预测标签,并为模型训练提供有效的帧级监督信号。在THUMOS14和ActivityNet1.3数据集上进行实验验证,实验结果表明,方法性能优于现有弱监督时序动作定位方法。