检索结果-南通市图书馆

作者：张润秀内蒙古工业大学

学位级别：硕士

人工智能和边缘计算的结合为深度行为识别提供了新的研究方向,在新型边缘智能环境中,支撑识别任务的深度模型可以直接在终端设备上部署和应用。但由于边缘环境下场景的复杂,现阶段基于单一视角的深度行为识别方法无法达到较好的识别效... 详细信息

人工智能和边缘计算的结合为深度行为识别提供了新的研究方向,在新型边缘智能环境中,支撑识别任务的深度模型可以直接在终端设备上部署和应用。但由于边缘环境下场景的复杂,现阶段基于单一视角的深度行为识别方法无法达到较好的识别效果。因此,可以利用场景下多个摄像设备收集的数据,通过对比学习的方式完成多视角行为识别任务用以提高识别性能。然而,深度网络模型的计算任务通常数据量较大,计算复杂度较高。在边缘设备部署深度行为识别网络模型考虑到资源受限这一问题,使用知识蒸馏可以在保证识别精度的情况下减少部署模型的复杂度。由于模型自我更新时需要大量的人工标签,真实的边缘环境中无法提供,因此,有监督的深度行为识别模型无法进一步提高识别性能。需要研究半、自监督的深度行为识别方法应用于边缘行为识别任务。针对上述问题,首先,本文提出了基于对比学习的自监督多视角人体行为表示学习方法(Multi-view Action Recognition based on Contrastive Learning,MAR-NET),以提高边缘智能环境中行为识别任务的识别性能。MAR-NET采用多视角数据输入方式,使用自监督方式训练,仅在空间流上处理视频数据提取行为特征。同时本文为MARNET设计了多视角自监督行为对比识别策略,在互信息最大化的情况下学习多个视角下的视角无关行为特征以提高识别效果。其次,本文提出了基于跨模态蒸馏的多视角人体行为识别方法(Cross-Model Distillation for Multi-View Action Recognition,CMMVL),进一步提高实际边缘场景下行为识别任务的识别精度。该方法在自监督多视角人体行为表示学习方法的基础上进行优化,使用跨模态蒸馏算法引入骨骼数据,用基于骨骼数据预训练好的复杂深度网络指导多个基于RGB的学生网络学习行为特征以提高识别精度。设计了多学生模型的跨模态蒸馏方法,可以高效学习从教师模型得到的知识且便于在边缘智能环境部署。最后,在由不同硬件配置的边缘节点所组成的真实边缘智能场景中,设计和完成了面向边缘智能的多视角深度行为识别平台(Deep Action Recognition using Cross-view Video Prediction Platform for Edge Intelligence,DARCV),可以用于支持MAR-NET和CMMVL完成行为识别任务,提高模型性能。基于DARCV平台的实验结果表明,MAR-NET能够高效学习到多视角的视角无关行为特征,同时提高自监督行为识别模型的性能。对MAR-NET的优化后,CMMVL能够显著提高模型识别精度。

关键词：边缘智能多视角行为识别对比学习跨模态知识蒸馏自监督视频学习实验平台

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

时空语义驱动的渐进多视角行为去偏置研究

引用

计算机工程 2024年

作者：钟忺陈亮刘文璇叶舒江奎王正林嘉文武汉理工大学计算机与人工智能学院哈尔滨工业大学计算机科学与技术学院武汉大学计算机学院台湾清华大学电机工程系

在实际应用中，单视角摄像头采集数据由于物体存在遮挡而失去对某些区域的可见性，因此结合多个视角下的数据进行行为分析对于维护社会稳定及民生安全至关重要。针对多视角行为识别中存在偏置问题，即不同视角下空间语义不一致导致的视... 详细信息

在实际应用中，单视角摄像头采集数据由于物体存在遮挡而失去对某些区域的可见性，因此结合多个视角下的数据进行行为分析对于维护社会稳定及民生安全至关重要。针对多视角行为识别中存在偏置问题，即不同视角下空间语义不一致导致的视角间行为表征差异以及同一行为执行过程中的时序语义不一致的行为表征差异，提出了一种渐进去偏置的多视角方法。首先在多视角下的同一行为样本中以证据理论为引导，结合不同视角下的行为同构性进行视角间行为去偏置，优化不同视角下关注的行为特征权重，以获得更全面的无偏行为表示。其次结合多粒度解耦策略，分析不同粒度对行为特征无偏表达的影响，准确分离与行为相关和行为无关特征，以避免视角内行为无关信息扰乱行为表征导致的显著差异。最后，在时序维度上构建不同行为特征权重，增强同一视角内行为特征一致性，减弱同一行为的行为表征差异。在多个数据集上验证了所提方法的有效性，其中在N-UCLA和NTU-RGB+D数据集的跨视角准确率分别达到了97.4%和96.4%，本文的方法在满足多视角下对行为识别进行准确分析应用需求的同时，从一种新的去偏置思路为多视角行为识别问题提供了一种有效的解决方案。

关键词：多视角行为识别渐进式去偏置证据理论解耦多粒度

来源：

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于有效性的聚类算法在多视图同类行为特征数据分析中的应用

基于有效性的聚类算法在多视图同类行为特征数据分析中的应用

引用

作者：邵金青岛科技大学

学位级别：硕士

如今,人们对便捷化和智能化生活的需求越来越多,基于视觉的人体行为识别分析被广泛的应用在人机交互,安全防护,教育教学等领域。因此,高准确率的实现行为的识别和分析具有极大的价值和实际意义。但是由于行为的模糊性、关联性和多样性,... 详细信息

如今,人们对便捷化和智能化生活的需求越来越多,基于视觉的人体行为识别分析被广泛的应用在人机交互,安全防护,教育教学等领域。因此,高准确率的实现行为的识别和分析具有极大的价值和实际意义。但是由于行为的模糊性、关联性和多样性,造成了行为特征数据结构的难以预料性,从而导致在对行为特征数据进行聚类分析时,难以判断聚类效果的优劣。本文在多视角行为识别的背景下,结合不同的聚类算法对聚类有效性进行了一定的分析和研究,并将结合有效性指标的不同聚类算法应用于多视角的行为特征数据的分析和建模中,取得了良好的效果。本文阐述并分析了数据在未知划分的情况下,其聚类的有效性,并对常用的有效性指标进行介绍,借鉴各有效性指标的优势,提出了一种结合类内紧致性和类间分离度的有效性指标(CS)。为验证该有效性指标的有效性,本文将有效性指标与FCM, GK, GG三种聚类算法分别结合,并通过实验分析将改进的有效性指标与其他指标进行比较,验证了该指标的有效性。从IXMAS多视角视频库的视频中提取时空特征点,并对五个视角下的同一行为建立递归图,得到多视角行为特征数据,然后通过对行为特征数据进行聚类,得到行为识别模型,并以此作为行为测试模板,最后对行为进行测试,判断是否为同一行为。其中,聚类的效果对最终的行为识别有着重要的影响。良好的聚类效果有助于建立一个好的行为识别模型,提高行为识别率。本文将基于有效性指标的不同聚类算法应用到多视图同类行为特征数据的分析中,将该有效性指标分别与FCM、GK以及GG三种聚类算法相结合,并分别对多视角下的走路(walk)、踢腿(kick)以及坐下(sit down)三种行为的特征数据进行分析。根据有效性指标的评价以及多段测试视频的验证结果,证明了该指标能够有效地判定最佳的聚类数,为后期根据聚类结果建立良好的行为模板提供了坚实的基础。

关键词：聚类算法聚类有效性指标聚类数多视角行为识别

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：