空—地多视角行为识别的判别信息增量学习方法

作     者：刘文璇 钟忺 徐晓玉 周卓 江奎 王正 白翔 Liu Wenxuan;Zhong Xian;Xu Xiaoyu;Zhou Zhuo;Jiang Kui;Wang Zheng;Bai Xiang

作者机构：武汉理工大学计算机与人工智能学院武汉430070 水路交通控制全国重点实验室武汉430063 武汉大学计算机学院武汉430072 哈尔滨工业大学计算机科学与技术学院哈尔滨150001 华中科技大学软件学院武汉430074 

出 版 物：《中国图象图形学报》 (Journal of Image and Graphics)

年 卷 期：2025年第30卷第1期

页      面：130-147页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(62271361) 湖北省科技计划项目(2024BAB039) 

主　　题：多视角行为识别 增量学习 样本分类 判别行为信息 蒸馏学习 

摘      要：目的随着社会民生需求的日益增长,地面设备联合无人机等空中设备进行空—地多视角场景下的行为识别应运而生。现有方法只关注水平空间视角变化时的视角关系,忽视了垂直空间变化带来的巨大判别行为差异。由于高度不同,同一物体的观测特征差异显著,对传统的多视角动作识别方法在应对垂直空间视角变化时构成了重大挑战。方法本文将显著的动作外观差异定义为辨别动作信息的差异,提出了一种基于判别行为信息增量学习(discriminative action information incremental learning,DAIL)的空—地场景多视角行为识别方法,根据视角高度和信息量判别地面视角和空中视角。引入类脑“由易到难,循序渐进的思想,分别蒸馏不同视角的判别行为信息,将地面视角(简单)样本的判别行为信息增量到空中视角(困难)样本中,辅助网络学习空中视角样本。结果在DroneAction和UAV(unmanned aerial vehicle)两个数据集上进行了实验,对比于当前先进方法SBP(stochastic backpropagation),在两个数据集上准确率分别提高了18.0%和16.2%;对比于强基线方法,本文方法在UAV数据集上参数量减少了2.4 M,计算量减少了6.9 G。结论所提出的方法表明通过使用简单样本增强复杂样本,显著提高了网络的特征学习能力。相反,尝试反向操作会导致准确性下降。本文从新角度讨论多视角行为识别任务,兼具效果和性能,在常见的高空视角数据集中优于代表性的方法且可拓展到其他多视角任务。