结合多尺度注意力机制和双向门控循环网络的视频摘要模型

作     者：闫河 刘灵坤 黄俊滨 张烨 段思宇 YAN He;LIU Lingkun;HUANG Junbin;ZHANG Ye;DUAN Siyu

作者机构：重庆理工大学两江人工智能学院重庆401135 

出 版 物：《智能系统学报》 (CAAI Transactions on Intelligent Systems)

年 卷 期：2024年第19卷第2期

页      面：446-454页

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家重点研发计划“智能机器人”重点专项项目(2018YFB1308602) 国家自然科学基金面上项目(61173184) 重庆市自然科学基金项目(cstc2018jcyjAX0694) 

主　　题：视频摘要 自注意力机制 重要性分数 长程依赖 计算机视觉 双向门控循环神经网络 非极大值抑制 核时序分割方法 

摘      要：任务中全局注意力在长距离视频序列上注意力值分布的方差较大,生成关键帧的重要性分数偏差较大,且时间序列节点边界值缺乏长程依赖导致的片段语义连贯性较差等问题,通过改进注意力模块,采用分段局部自注意力和全局自注意力机制相结合来获取局部和全局视频序列关键特征,降低注意力值的方差。同时通过并行地引入双向门控循环网络(bidirectional recurrent neural network,BiGRU),二者的输出分别输入到改进的分类回归模块后再将结果进行加性融合,最后利用非极大值抑制(non-maximum suppression,NMS)和核时序分割方法(kernel temporal segmentation,KTS)筛选片段并分割为高质量代表性镜头,通过背包组合优化算法生成最终摘要,从而提出一种结合多尺度注意力机制和双向门控循环网络的视频摘要模型(local and global attentions combine with the BiGRU,LG-RU)。该模型在TvSum和SumMe的标准和增强数据集上进行了对比试验,结果表明该模型取得了更高的F-score,证实了该视频摘要模型保持高准确率的同时可鲁棒地对视频完成摘要。