基于小样本学习的视频动作分类模型研究

作     者：方鑫 

作者单位：燕山大学 

学位级别：硕士

导师姓名：胡正平;卢云山

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：小样本学习 动作分类 置信度排序 图神经网络 边标记信息 

摘      要：小样本视频动作分类研究是视频理解领域中的一个热门研究方向,目的是在标注样本较少的情况下完成动作分类任务。现有的小样本分类倾向于在训练阶段模仿小样本推理过程并进行表征学习,尝试学习待分类样本与标注样本之间的相似性,但缺乏对标注样本之间类别关系的挖掘和样本信息传递方式的思考。本文围绕小样本分类网络的数据增强、关系推理以及信息挖掘等方面展开研究,主要研究内容如下:首先,针对小样本视频动作分类任务中标记数据有限,训练得到的分类器对新类别分类效果较差,模型泛化能力较弱的问题,提出基于实例置信度推断视频数据增强的分类模型。将实例置信度推断模型应用到视频空间,通过置信度排序标记样本和获得伪标签的未标记样本,选择可信实例作为训练集进行数据增强,从数据层面增加训练分类器的实例。其次,针对小样本分类任务中训练样本较少,模型信息传递能力较弱,分类准确率较低的问题,提出图神经网络视频空间小样本动作分类模型。依据图数据点之间的关系进行查询集类别预测,将小样本学习视为有监督的消息传递任务,利用图模型计算视频动作之间的关系,使网络在适应新任务的同时更好地学习度量空间中的信息,提高了分类准确率。最后,针对小样本分类任务中信息利用不充分,模型分类准确率不高的问题,提出融入边标记信息的图神经网络视频小样本分类模型。模型共包含三个模块:全连通图构建模块、节点更新模块和边标记更新模块。节点更新模块与边标记更新模块相结合,使得网络可进行对类内相似性和类间不相似性直接连接状态的探索,更加直观有效地推断出和查询集相关联的类别,更加高效地完成小样本分类任务。