区域时间变化学习的行为识别

作     者：杨兴明 徐浩 汪智文 高旭杰 吴克伟 谢昭 

作者机构：合肥工业大学计算机与信息学院 

出 版 物：《计算机应用研究》 (Application Research of Computers)

年 卷 期：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：安徽省自然科学基金资助项目(2108085MF203) 

主　　题：行为识别 区域级特征 卷积神经网络 深度学习 

摘      要：针对现有的行为识别方法缺少对视频帧中区域级特征的学习，造成识别过程中对相似的行为类别混淆的问题，提出一种区域级时间变化网络。该网络包括局部-全局时间特征学习模块、区域语义学习模块、区域语义融合模块。局部-全局时间特征学习模块学习局部时间注意力，以增强局部视频帧的运动特征，并将其聚合为全局时间区域特征。区域语义学习模块通过计算区域中像素之间的相似度来构建可变化的区域语义卷积核，从而学习随时间变化的行为语义特征。区域语义融合模块将可变化区域特征和全局时间区域特征作为两个独立分支，分别学习每个分支特征的通道注意力用于特征融合。在Something-Something V1&V2与Kinetics-400数据集上的实验结果显示，区域级时间变化网络表现优于多数行为识别方法，证明了该网络能够有效提升行为识别的性能。