基于深度学习的视频动作检测算法研究

作     者：薛茜 

作者单位：北京邮电大学 

学位级别：硕士

导师姓名：王洪波

授予年度：2020年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：深度学习 视频动作检测 3D卷积 光流 

摘      要：随着互联网多媒体技术的不断发展,网络中的视频数据量急剧增长。因此,对海量视频进行快速、准确的内容理解与分析需求巨大,并逐渐成为计算机视觉领域近年来的研究热点。其中,视频动作检测是视频内容理解的一个重要研究分支,目的是从未经裁剪的视频中检测出动作发生的时间位置,并识别出动作的类别。但是目前的视频动作检测算法存在检测准确率低和检测耗时长的问题。本文通过对现有的视频内容理解领域的相关问题,包括视频动作识别、视频动作候选框生成、视频动作检测进行总结和分析,设计了一个Anchor Free的视频动作检测网络。本文的主要工作及贡献如下:(1)将视频动作分类网络融合在视频动作候选框生成算法的网络结构中,利用网络共享、特征共享,预测一个分类分数的分支,同时得到动作分类结果,降低了算法的时间复杂度。(2)在网络中加入嵌入向量和边界补偿分支,通过预测每一个视频单元的嵌入向量可以匹配到更加准确的视频动作候选框,预测边界补偿以提高视频检测边界结果的精确度。(3)对本文的视频动作检测算法进行具体设计与实现,在视频特征提取模块改进Non-Local模块算法,最后使用Greedy-NMS后处理得到更精确的输出结果。本文的Anchor Free的视频动作检测网络在THUMOS-2014和ActivityNet-1.3数据集上进行测试,实验结果显示准确率提高0.84%和时间性能提高18%,改进的Non-Local模块和Greedy-NMS 后处理模块对算法整体性能也均有提升。