基于注意力机制的视频检索技术研究

作     者：苏清松 

作者单位：北方工业大学 

学位级别：硕士

导师姓名：曾凡锋;王建凯

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：视频检索 深度学习 特征提取 注意力机制 循环神经网络 

摘      要：互联网技术的发展给视频传播带来了极大的便利,抖音、B站等视频平台的出现也使得视频数量急剧增长。面对数量巨大且结构复杂的视频数据,如何高效检索出用户需要的内容成为目前检索领域研究的热点和难点,传统基于文本的视频检索方法已经难以满足人们日益增长的需要。因此,基于内容的视频检索方法随之产生并得到广泛应用,本文主要对该方法中的视频特征提取部分进行改进,主要做了以下工作:第一,视频数据相较于文本和图片携带了更加丰富的内容,视频可以理解为由视频帧按一定时间关系排列而成的集合。因此,视频数据相对于图像的检索也变得更加困难,目前大多数视频检索方法并没有对视频帧之间的时序关系进行学习。针对这一问题,本文使用卷积神经网络与双向LSTM网络相结合的方式对视频特征信息进行提取,传统的单向LSTM网络能够提取视频的时序信息但不够全面,通过改用双向LSTM网络能够获取过去和以后更为完整的特征信息。通过使用该网络不仅能获得视频的空间特征,还能对视频帧与帧之间的时序信息进行提取,使得视频内容得到充分表达。第二,对于视频而言,不同视频帧对于视频内容的表达作用是不同的,但目前大多数视频检索方法对此不加区分,这样会对视频特征提取带来大量冗余信息,进而对视频检索的效率和准确度产生影响。本文通过使用基于注意力机制的视频检索方法,在Res Net50网络基础上,将SE模块嵌入其中实现对不同通道特征进行加权计算,使能够促进视频表达的内容获得更大的权重,同时减小对视频表达作用较小内容的权重,从而减少特征信息中的冗余信息,并进一步提升视频特征的表达能力。最后,使用本文方法在公开数据集上进行相关实验,相较于之前的视频检索方法效果有所提升,同时设计并实现了基于该方法的视频检索系统,证明了本文研究的可行性和实用性。