检索结果-南通市图书馆

检索条件"主题词=三元自适应图卷积"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于特征融合和注意力的多模态人体行为识别研究

基于特征融合和注意力的多模态人体行为识别研究

引用

作者：王圣全江南大学

学位级别：硕士

人体行为识别旨在针对数据中人体的行为和意图进行识别和理解,是计算机视觉领域一个重要且热门的研究课题,并在机器人技术、人机交互和智能监控等领域起着至关重要的作用。虽然行为识别算法在早期的研究中已经取得了极大的进步,但仍会... 详细信息

人体行为识别旨在针对数据中人体的行为和意图进行识别和理解,是计算机视觉领域一个重要且热门的研究课题,并在机器人技术、人机交互和智能监控等领域起着至关重要的作用。虽然行为识别算法在早期的研究中已经取得了极大的进步,但仍会受到光照改变、尺度变化、细粒度动作多等因素的影响。随着行为识别数据日趋丰富多样,利用多模态数据间的互补优势实现联合预测来提升识别性能逐渐成为许多研究者的重点研究方向。许多现有工作倾向于通过分数融合方式来融合最高层次特征,使得更深层次的信息交互受到限制。此外,在基于深度学习的行为识别技术研究中,许多研究者通过增加网络的深度来建模长期依赖关系,带来性能的提升的同时也伴随着高昂的计算代价和过拟合问题。因此,针对上述问题,本文通过提取多层次混合特征来实现更深层次交互,并借助于注意力机制对特征中关键信息进行增强,进而实现网络对长期依赖关系建模能力的提升。其中本文主要研究工作及成果如下:(1)本文提出了一个基于多深度层次特征融合增强网络(Multiple Depth-levels Features Fusion Enhanced Network,MDFFEN),以解决两类问题。其一,现有多数双流行为识别网络方法仅在最后层次融合两个支流的预测结果,难以充分利用双流互补特性。其二,特征中存在一些干扰模型训练的无关噪声信息。首先,为更高效地利用RGB及光流两模态数据间的互补特性,本文提出多深度层次特征融合(Multiple Depth-levels Features Fusion,MDFF)通过将提出的时空特征融合(Spatial-Temporal Features Fusion,STFF)模块嵌入至双流不同层次以捕获多层次的混合特征,之后进一步聚合以挖掘更深层次的混合特征。其次,本文设计了一个组级空间通道增强(Group-wise Spatial-Channel Enhance,GSE)模块,分别在特征的空间及通道域进行权重分配,进而提炼出更具判别性的加权强化特征。最终本文由加权分数融合联合双流及其融合支流的预测结果,进一步实现识别性能的优化。(2)本文提出了一个基于三元图卷积增强的双流网络(Two-Stream Ternary Graph Convolutional Enhanced Network,2S-TGCEN)用于解决骨架行为识别中骨架数据有效信息提取问题以及特征强化问题。首先,本文设计了一个三元自适应图卷积(Ternary Adaptive Graph Convolution,TAGC)模块,通过图卷积操作由骨架特征的空间域拓展至时间域及通道域进行上下文关系建模。此外,为增强骨架特征,本文设计了一个基于图的三元增强(Graph-based Ternary Enhance,GTE)模块,其以并联方式联合提出的基于图的空间注意力(Graph-based Spatial Attention,GSA)模块、时间注意力(Temporal Attention,TA)模块及通道注意力(Channel Attention,CA)模块,以进一步精炼判别性骨架特征。其中本文提出的GSA模块通过对骨架特征中的节点及其邻域间的依赖关系进行建模,进而挖掘出判别性局部空间信息。(3)本文提出了一个基于三元图卷积融合的多流网络(Multi-Stream Ternary Graph Convolutional Fusion Network,MS-TGCFN),用以解决现有多模态骨架行为识别中骨架数据信息交互及联合预测问题。首先,为提取更丰富的判别性信息,本文基于关节数据或骨骼数据构造包含帧间差异信息的运动数据和包含视角差异信息的视差数据。此外,为实现不同模态间更深层次的信息交互,本文设计了多流特征融合(Multi-Stream Features Fusion,MSFF)机制,通过将不同支流中不同层次特征视为顶点并通过三元自适应图卷积(Ternary Adaptive Graph Convolution,TAGC)模块来挖掘出不同层次的混合特征。最终通过联合基础流以及融合流的预测结果得到最终的分类结果。综上所述,本文基于特征融合以及有效注意力强化的行为识别技术进行深入研究,提出了三种行为识别网络:MDFFEN,2S-TGCEN以及MS-TGCFN,且在多个公开数据集上通过大量实验论证了本文所提算法的优良性能。

关键词：行为识别多流特征融合组级空间通道增强三元自适应图卷积

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：