检索结果-南通市图书馆

检索条件"主题词=交互特征生成算法"

共 2 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于多模态特征的人物交互检测方法研究

基于多模态特征的人物交互检测方法研究

引用

作者：徐秀菊北方工业大学

学位级别：硕士

人物交互检测作为计算机视觉领域的一个重要子任务,在人机交互、智能监控、自动驾驶和信息检索等领域有广泛的应用前景。图像中存在场景复杂多样和人物遮挡问题,如何有效提取与利用交互区域的视觉特征信息是该领域的研究难点。图像中存... 详细信息

人物交互检测作为计算机视觉领域的一个重要子任务,在人机交互、智能监控、自动驾驶和信息检索等领域有广泛的应用前景。图像中存在场景复杂多样和人物遮挡问题,如何有效提取与利用交互区域的视觉特征信息是该领域的研究难点。图像中存在人物交互类别繁多和小样本数据不足问题,如何有效提升小样本数据泛化能力仍是该领域的研究难点。针对以上问题,本文对基于多模态特征的人物交互检测方法进行研究,具体内容如下:(1)针对图像中人物遮挡导致的交互区域视觉特征提取与利用不足问题,本文提出了一种基于视觉特征增强的多流人物交互检测网络。该网络由图、人物和姿态三个分支组成。在图分支中,为了更好地理解和推理人体与物体之间的交互关系,解决人物交互信息利用不足的问题,本文提出了一种基于图模型的人物交互特征生成算法。该算法首先将人物实例视为节点,连接所有节点来构建一个初始密集图,然后将图模型输入图卷积网络进行节点和边的更新,最后将更新后的边作为人物交互特征。在人物分支中,将目标检测网络生成的人体、物体、空间位置及背景信息特征输入卷积神经网络进行二次特征提取。在姿态分支中,为了解决人物遮挡和空间位置信息提取与利用不足问题,本文基于级联金字塔网络,提出了一种优化姿态算法(Optimized Pose Algorithm,OPA),该算法通过多尺度定位人体关键点位置信息来获取最终的人体姿态特征,并将物体边界框和人体姿态特征图通过二值法映射到全局特征图上,以捕获全局上下文中最具辨别力的交互相关区域特征。(2)针对人物交互类别繁多导致的小样本泛化能力不足问题,本文在已构建的基于视觉特征增强的多流人物交互检测网络上继续深入研究,提出了基于多模态特征的人物交互检测算法。该算法构建了人-物语义增强模块,该模块利用语义先验知识对目标检测器生成的人物实例类别标签和训练数据样本进行潜在的语义组合,实现训练样本数据的扩充。算法还基于外部注意力网络,构建了视觉-语义外部注意力(Visual-Semantics External Attention,VSEA)模块,该模块将样本词向量和对应的相似度值作为视觉-语义外部注意力的关键字和值,将多流网络提取的人物交互区域视觉特征作为查询条件,进行点乘运算,获取原始图像中人物最相关的交互区域特征,使全局交互信息达到利用最大化,有效提升交互检测的准确率。本文在HICO-DET和V-COCO数据集上对基于多模态特征的人物交互检测方法进行实验验证,得到的人物交互检测准确率分别为30.67%和60.3%。实验结果表明,本文方法能显著提升人物交互检测的准确率。

关键词：视觉特征增强多流人物交互检测网络优化姿态算法交互特征生成算法人-物语义增强视觉-语义外部注意力

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的人物行为分析关键技术研究

基于深度学习的人物行为分析关键技术研究

引用

作者：李汭北方工业大学

学位级别：硕士

人物行为分析技术是人工智能中计算机视觉领域的重要研究方向。深度学习因其具有学习能力的特点被广泛应用于人物行为分析中。然而目前人物行为分析技术中仍存在人物之间交互特征利用不充分及复杂背景下人物行为对象不明确或缺失问题有... 详细信息

人物行为分析技术是人工智能中计算机视觉领域的重要研究方向。深度学习因其具有学习能力的特点被广泛应用于人物行为分析中。然而目前人物行为分析技术中仍存在人物之间交互特征利用不充分及复杂背景下人物行为对象不明确或缺失问题有待解决。针对这些难点,本文对基于深度学习的人物行为分析关键技术进行研究,具体内容如下:（1）针对人物之间交互特征信息利用不充分的问题,本文提出了基于交互特征生成算法的双流网络。该双流网络分别提取了人物特征信息和人物之间交互特征信息。在提取人物特征信息时,考虑到ResNeXt网络具有强大的特征表达能力,利用该网络对图像中人物特征进行提取;在提取人物之间交互特征信息时,利用图卷积神经网络的特征推理能力提出交互特征生成算法。将人和物体的特征作为节点、人物之间的交互行为关系作为边构建图模型。根据交互特征生成算法将输入的图模型通过遍历节点的方式进行交互关系更新,并在更新过程中产生新的交互特征。最后将人物特征信息和人物交互特征信息进行特征融合并送入分类网络进行行为分析,实现对图像中人物特征信息和人物之间交互特征信息的充分利用。（2）针对复杂背景下人物行为对象不明确或缺失问题,本文在已构建的双流网络上进行研究,对人物特征提取网络进行改进,提出基于交互特征生成和关键人物增强的人物行为分析方法。针对复杂背景下人物行为对象缺失问题,提出优化区域快速生成卷积神经网络（Optimized Faster Region Convolutional Neural Network,OFR-CNN）网络,解决了小目标及被遮挡目标的难检测问题。该网络利用多尺度特征优化算法对Faster R-CNN网络进行优化。对ResNeXt特征提取网络中的浅层特征进行最大值池化,深层特征进行反卷积,将特征层进行融合得到最终图像特征。针对复杂背景下人物行为对象不明确问题,本文提出关键人物增强算法,解决了分析过程中目标人物对的模糊问题。利用关键人物增强算法对已获取的人物特征目标框进行空间位置注意力增强,遍历图像目标找到目标人物对形成权值矩阵,对已获得的图像特征权值分配,得到最终识别所需要的特征信息。将改进网络得到的人物特征与交互生成网络得到的人物之间交互特征进行特征融合得到最终特征信息,将其送入分类网络得到人物行为分析结果。本文在HICO-DET数据集和V-COCO数据集上对提出的基于交互特征生成和关键人物增强的人物行为分析方法进行实验验证。结果表明,对比现有的人物行为分析技术,本文方法在两个数据库上的人物行为分析准确率都有了明显的提升。

关键词：人物行为分析深度学习双流网络交互特征生成算法关键人物增强算法

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：