检索结果-南通市图书馆

作者：余江南西安电子科技大学

学位级别：硕士

随着遥感影像平台和技术的不断发展,尤其是各种高分辨率对地表观测项目的实施,卫星遥感技术已经逐渐跨入亚米级时代,高分辨遥感影像所包含的地物信息也更加充足。近年来,伴随着深度学习和大数据技术的不断成熟,这极大地促进了遥感影像... 详细信息

随着遥感影像平台和技术的不断发展,尤其是各种高分辨率对地表观测项目的实施,卫星遥感技术已经逐渐跨入亚米级时代,高分辨遥感影像所包含的地物信息也更加充足。近年来,伴随着深度学习和大数据技术的不断成熟,这极大地促进了遥感影像技术在各个领域的繁荣发展,使得利用高分辨遥感影像实现对地表覆盖变化检测成为一种高效、准确的技术手段,并在许多军事/民事领域得到了重要的应用,如:农业林业、水土资源、土地利用、城市扩张、地质环境、沿海地区、海洋资源、雪和冰川、灾害监测和减灾、基础设施开发及军事用途研究等。由于遥感影像在成像的过程中极易受到一些客观因素的影响,如成像平台的硬件水平有限、获取影像时的空间/时间限制、天气云层烟雾的遮挡以及存在的各种电磁杂波干扰等,可能导致遥感影像的空间分辨率低、影像中物体轮廓模糊等问题。传统的遥感影像变化检测算法在处理这样的遥感影像数据时性能有限,特别是当前遥感影像的数据量也越来越庞大,而基于深度学习的方法突破了传统图像处理算法的很多不足之处,以其优秀的特征学学习和表示能力被广泛应用于计算机视觉领域,为遥感影像变化检测研究提供了新的解决方案。本文主要基于深度学习理论框架下,针对高分辨遥感影像变化检测问题展开研究,通过构建不同的深度神经网络模型来灵活实现由问题驱动的变化检测任务。本文的主要研究内容和总结如下:1.结合高分辨遥感影像变化检测任务的特点,从数据分析与模型结构出发,提出了一种基于全卷积网络所搭建的深度编-解码结构的变化检测方法,该方法适用于处理大规模遥感图像变化检测任务。考虑到遥感影像通常包含大场景的影像内容,引入空洞卷积模块来减少下采样的次数,保留在提升网络感受野的同时保留特征图谱中的细节和定位信息,从而缓解由于池化过度导致的小目标和细节信息丢失的问题。2.针对遥感影像变化检测结果的分割边缘不够精细的问题,提出了一种基于注意力机制的变化检测方法。该方法通过巧妙地引入视觉注意力机制来有效地捕获特征中的远程上下文信息,聚合特征图中的相似特征从而加强变化区域的特征表示,帮助网络更好地检测分割出潜在的变化区域,并提升变化区域的边缘分割精细程度。同时,为了充分利用训练数据,使用了多种的在线增强策略,并且增加数据的多样性,从而提高网络的鲁棒性。最后,考虑到在遥感图像变化检测任务中的正负样例数量差距大,针对性的对原始数据进行了正样例的扩增,并引入Dice系数损失来缓解数据中的正负样例不平衡的现象,提升了模型最终的泛化性能。3.考虑到城市遥感影像中的建筑物变化提取所具有的实用价值,通过结合城市高分辨遥感图像的特点,设计了一种基于孪生网络结构的针对特定目标/区域类别的变化检测模型来进行建筑物变化提取。并且针对遥感影像中常常包含各种不同尺寸的物体特别是小目标的问题,通过引入特征多尺度池化来帮助获取目标特征中的多尺度上下文信息,得到不同大小的目标的有效视野。在没有明显的增加网络的参数量的情况下,有效的提高了对两幅高分辨遥感影像中建筑物区域的变化检测效果。

关键词：高分辨遥感影像变化检测深度全卷积网络编-解码结构空洞卷积双注意力机制多尺度池化孪生网络结构

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于全卷积神经网络图像语义分割的算法研究

基于全卷积神经网络图像语义分割的算法研究

作者：滕星权华中科技大学

学位级别：硕士

信息化时代,计算机视觉在实际生活中得到越来越广泛的应用。用摄像机和计算机代替人眼对物体进行识别、分类以及跟踪等成了新的研究热潮。图像处理和图像理解是计算机视觉的关键技术。图像语义分割是图像理解的基础,直接影响图像理解最... 详细信息

信息化时代,计算机视觉在实际生活中得到越来越广泛的应用。用摄像机和计算机代替人眼对物体进行识别、分类以及跟踪等成了新的研究热潮。图像处理和图像理解是计算机视觉的关键技术。图像语义分割是图像理解的基础,直接影响图像理解最终结果的优劣。传统的图像分割都是基于图像本身的特征进行提取,对象必须具体化,应用受到很大的限制。对于复杂的场景,传统的图像分割准确率和效率都达不到要求。基于全卷积神经网络(Full Convolutional Neural Network,FCN)的图像语义分割能够直接输入任意尺寸的图片,省去繁琐的中间步骤,端对端实现像素级分割,提高分割的准确度。但是全卷积神经网络的语义分割存在特征分辨率低、上下文推断能力弱以及没有考虑前景和背景分布不平衡等问题。针对以上问题,本文以提高语义分割精度为目标,在FCN的基础上进行了改进,具体研究如下:(1)通过减小池化步长改善特征图分辨率低的问题,同时采用不增加参数数量和计算量的空洞卷积增大神经元节点的感受野,便于学习语义层次更高的特征;(2)采用多尺度池化和叠加高层语义信息的方式,强化像素与像素之间的关联,整合上下文信息,提高网络获取全局信息的能力;(3)采用改进的代价函数,调节权重分布,避免分类器发生偏向,解决样本类别不平衡的问题。在VOC 2012数据集上进行实验,并与其他算法的结果进行对比,实验表明本文提出的网络结构提高了语义分割的准确度,像素精度达到了89.9%,证明了本文改进算法的有效性。最后将该算法应用于道路场景识别应用,取得较好效果。

关键词：卷积神经网络语义分割空洞卷积多尺度池化代价函数

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向大规模商品图像的高效检索方法研究

面向大规模商品图像的高效检索方法研究

作者：贺周雨昆明理工大学

学位级别：硕士

随着大数据时代的到来以及移动互联网的普遍使用,电子商务行业得到了迅速的发展。商品图像检索作为电子商务的重要技术支持,得到了更多的关注。如何提升商品图像检索的速度和准确率以满足用户的需求亟待解决。经典的图像检索系统主要是... 详细信息

随着大数据时代的到来以及移动互联网的普遍使用,电子商务行业得到了迅速的发展。商品图像检索作为电子商务的重要技术支持,得到了更多的关注。如何提升商品图像检索的速度和准确率以满足用户的需求亟待解决。经典的图像检索系统主要是基于文本信息的图像检索(Text-based Image Retrieval,TBIR)。然而文本数据信息具有一些难以解决的局限,很难准确描述出图像信息,且十分依赖用户输入的搜索关键词是否是准确的。相反的,基于内容信息的图像检索技术(Content-based Image Retrieval,CBIR)能够很好地解决这些问题,因为图像本身能够提供更多的信息。在CBIR中,是否能提取到具有区分性的图像特征直接影响了整个检索系统的性能。本文深入讨论了传统方法和深度学习方法在商品图像检索领域的相关研究,总结了面向大规模商品图像检索的研究现状。传统方法相对于深度学习方法具有难以描述全局信息、计算复杂度高、难以描述具体对象及无法考虑对象的空间位置等局限性。近年来深度学习表现出优越的性能,深度学习备受关注并迅速占领主导地位。本文基于卷积神经网络进行方法研究,研究内容是面向大规模商品图像的高效检索方法。面向大规模商品图像检索主要的技术难点有以下四点:1)庞大的数据规模。2)不同种类间数据量差异大。3)被拍摄商品的尺度相差较大。4)图像尺寸不一。针对大规模商品图像检索的难点,本文基于卷积神经网络设计了相应方法以完成快速且准确的检索。提出了融合金字塔池化策略与深度强相关哈希学习的SHN(SPP-HASH-NET)模型作为本文商品图像检索方法的特征提取部分。为了使学习到的哈希码更具有区别性,设计了强相关损失函数约束哈希编码;为了提高模型对商品图像形变的鲁棒性,采用金字塔池化策略实现多尺度特征融合;为了实现高效地商品图像检索,生成哈希码计算相似度。实验结果证明,采用本文方法能够直接利用原始图像信息,能够解决图像尺度变化所带来的负面影响,通过哈希编码能够实现快速的商品图像检索。在商品图像检索实验中,模型的训练时间小于其他模型,且模型的平均准确率均值达到91.52%,检索性能优于当前主流方法。

关键词：商品图像检索深度卷积神经网络哈希学习多尺度池化损失函数

基于偏振视觉的复杂车路环境智能感知技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于偏振视觉的复杂车路环境智能感知技术研究

作者：张佳佳长安大学

学位级别：硕士

汽车智能交通高级驾驶辅助系统(ADAS)作为提高道路交通安全的有效技术,引起了国内外学者的高度关注,其中的道路视觉感知技术更是车路环境研究工作不可或缺的部分。本文基于当前的车路环境视觉感知技术,对复杂车路视觉图像的获取技术和... 详细信息

汽车智能交通高级驾驶辅助系统(ADAS)作为提高道路交通安全的有效技术,引起了国内外学者的高度关注,其中的道路视觉感知技术更是车路环境研究工作不可或缺的部分。本文基于当前的车路环境视觉感知技术,对复杂车路视觉图像的获取技术和融合处理技术进行了研究。本文首先以蒙特卡罗方法模拟光波在复杂车路环境散射介质中的传播过程为基础,构建复杂介质中的成像数学模型,对系统成像参数进行优化,并给出复杂介质环境中的图像增强获取方案;其次,根据光波的偏振特性,设计复杂车路环境偏振信息获取方案,搭建并标定偏振成像原理样机系统,研究系统的视场差异与灰度响应不一致的校正方法,进而利用偏振图像采集软件实现车路偏振图像的精准实时获取;接着,通过对采集的Stokes参量图像的分析,引入多源图像融合算法,针对复杂车路图像的特性,提出一种基于偏振特征的图像增强融合方法,实现图像细节信息和本身偏振辐射特性的增强;最后基于该融合图像提出基于多尺度池化的复杂车路环境多细节特征深度语义分类识别算法,提高复杂场景的语义分类识别效果,实现道路、车辆以及车道线等目标的正确分类,为复杂车路环境下车辆的安全辅助驾驶行驶视觉感知提供技术保障。本文利用实时采集的车路图像对提出的算法进行验证,实验结果表明,基于偏振特征进行语义分类的识别效果要优于传统可见光特征的识别效果,同时本文算法在识别精度和鲁棒性方面均优于FCN-8s,尤其在一些细节识别方面表现突出。因此将偏振视觉图像应用于复杂车路环境目标的识别分类,可以实现对道路上的车辆、车道、标识牌以及车道线等目标的精准识别,有利于道路交通安全管理。

关键词：复杂车路环境蒙特卡罗模拟偏振成像图像融合多尺度池化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度卷积神经网络的图像语义分割

基于深度卷积神经网络的图像语义分割

作者：马骁中国科学院大学(中国科学院光电技术研究所)

学位级别：硕士

图像语义分割是图像处理和计算机视觉领域中的一项关键技术,是计算机认知图像内容的一个重要环节。语义分割的好坏对后续的图像理解、场景分析以及目标跟踪等任务起着至关重要的作用。所以,研究一个有效的图像语义分割算法具有重要的现... 详细信息

图像语义分割是图像处理和计算机视觉领域中的一项关键技术,是计算机认知图像内容的一个重要环节。语义分割的好坏对后续的图像理解、场景分析以及目标跟踪等任务起着至关重要的作用。所以,研究一个有效的图像语义分割算法具有重要的现实意义。随着深度学习的持续发展,神经网络所带来的高准确性使其在图像识别和语义分割等多个场景中被广泛研究和应用。与传统的基于区域特征提取的语义分割方法相比,基于深度卷积神经网络的方法所获取的图像特征具有更强的表示能力,因而算法具有更好的效果。基于深度卷积神经网络的语义分割方法,其基本思想就是利用神经网络提取图像中每个像素的语义特征,然后依据这些特征对像素进行分类识别,从而得到包含语义信息的分割图像。因此,该类方法的核心在于如何提高网络对像素的识别准确率。本文也从这一角度出发,通过研究并分析当前图像语义分割方法所存在的问题,结合机器学习和图像处理等领域的相关技术,提出了相应的改进算法,并通过实验证明了算法的有效性。首先,为了提高深度卷积神经网络的特征提取能力,本文采用了多尺度特征融合的方法。网络的全连接层主要获取物体之间具有类别区分性的语义特征,卷积层获取物体的细节特征,将两种特征相结合可以提高特征表达的准确性。因而,本文设计了一种多尺度池化的网络结构,利用多个不同的池化模板获取物体在不同感受野下的多尺度特征,增强网络对目标的识别能力,使语义分割的准确率得到提升。其次,由于深度卷积神经网络的多次降采样操作使得目标的结构和位置等信息被过多丢失,导致了目标边缘像素的识别精度下降。为此,本文提出了边界点重定义算法,在神经网络的预测基础上,结合区域划分的方法,对预测可信度低的像素点重新分类,从而进一步优化语义分割的结果。最后,本文将所实现的图像语义分割方法用于目标检测以及场景识别应用中,体现了算法的应用价值。在目标检测任务中,利用语义分割获取目标的位置和类别特征,然后定位并识别出目标,从而达到目标检测的目的。在场景识别任务中,通过对场景中的事物进行识别和分割,捕获物体的结构、区域以及类别等基本属性,为后续的场景分析以及目标跟踪等任务提供技术支持。

关键词：卷积神经网络语义分割深度学习多尺度池化边界点重定义

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向图像识别的深度卷积网络结构研究

面向图像识别的深度卷积网络结构研究

作者：王颜上海交通大学

学位级别：硕士

近年来,深度学习及相关方法已经在计算机视觉研究领域占据了统治地位。随着GPU等高速计算处理硬件的逐步普及,在计算量得到保证的情况下,设计包含更多层数的卷积神经网络模型可以简单有效地大幅提升各种计算机视觉任务的精确度。然而,... 详细信息

近年来,深度学习及相关方法已经在计算机视觉研究领域占据了统治地位。随着GPU等高速计算处理硬件的逐步普及,在计算量得到保证的情况下,设计包含更多层数的卷积神经网络模型可以简单有效地大幅提升各种计算机视觉任务的精确度。然而,简单地增加网络层数存在一些明显的问题。首先,模型的精确度随着层数增加到一定程度后达到稳定,无法进一步上升甚至不升反降。这种现象称为模型退化(Degradation)。堆叠卷积层并不能增加模型学习到的非线性项,所以并不利于复杂问题中的特征分布拟合。其次,层数的增加带来了参数与计算量的大幅增加,导致模型训练时间大幅上升,不利于实际问题中的模型应用。可以看出,卷积神经网络结构设计尚存在较大的研究空间。受到将单支神经网络改进为多支网络的启发,我们将神经网络中的每一个卷积层都改进为一个由并行的两分支组成的二阶响应变换(Second-Order Response Transform,SORT)模块。在传统的两分支神经网络对于分支输出求和的基础上,我们增加了按位求乘积的操作,使得最终传递的响应同时包含一阶项和二阶项。二阶响应变换的一大优势是可以促进网络中不同分支间的响应的共享和传播,即在训练过程中,每支结构都可以基于另一支的当前响应反向传播更新参数。同时,二阶响应变换扩展了传统多支网络连接结构中的一阶变换操作,增强了网络的非线性,使其可以更加灵活地学习特征空间的复杂分布。在ILSVRC2012数据集的分类任务上,此方法能够在少量增加计算量的情况下稳定提升ResNet-50模型的准确度达0.28%(相对提升6.17%)。由于卷积操作本身具有空间对称性,即每个卷积核学到的视觉特征分布与该特征在图片中具体出现的空间位置无关,导致独立的卷积核无法学习特征间的空间相关性。受到基于部件的组合模型(Part-Based Model)的启发,我们将捕捉图片局部特征相关性的想法引入网络模型的构建。考虑到图片数据中近邻像素的语义相关度更高这一特点,在不增加额外监督信息的条件下,我们使每一个神经元参考周围点的响应,从而对自己所学习的信息进行重要性评分及系数加权修正。此外,我们在评分时引入了多尺度的思路,即使用包含响应点的不同大小区块进行同时评分。这种方法被命名为多尺度空间不对称校正操作(Multi-scale Spatially Asymmetric Recalibration,MS-SAR)。MS-SAR简单且高效,它只会增加少部分的参数和计算量,通过特征自我校正时的重复使用,提高网络中间层特征的利用效率。我们将其应用到多个主流卷积神经网络模块上,例如残差网络模块和密集连接网络模块。在ILSVRC2012数据集的分类任务上,此方法能够在少量增加计算量的情况下稳定地提升ResNeXt-50模型的准确度达0.31%(相对提升5.56%)。

关键词：大规模图像分类卷积神经网络二阶响应变换多尺度池化空间非对称重标定

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于卷积神经网络的图像分类与目标检测

基于卷积神经网络的图像分类与目标检测

作者：周韬广西师范大学

学位级别：硕士

随着网络与信息科技的飞速发展,各种媒体数据也随之迅速增长,大量的视觉数据涌现,面对各种图像、视频等产生,如何有效的识别用户感兴趣的数据是目前的一个热点问题。由于各类物体有不同的尺寸,形状,加上物体之间可能存在遮挡现象,图像... 详细信息

随着网络与信息科技的飞速发展,各种媒体数据也随之迅速增长,大量的视觉数据涌现,面对各种图像、视频等产生,如何有效的识别用户感兴趣的数据是目前的一个热点问题。由于各类物体有不同的尺寸,形状,加上物体之间可能存在遮挡现象,图像分类与目标检测一直是计算机视觉领域中的一个最具有挑战性的问题。图像分类是根据图像的内容对图像进行识别,判断图像中存在哪些对象,并给图像分配一组标签,目标检测则是从图像中对感兴趣的目标进行定位,并对每个定位的目标进行分类,并给出每个目标的边界框。迄今为止,诞生了很多新颖的图像分类与目标检测方法,本文在前人的基础上进一步对图像分类与目标检测技术进行探索。论文首先分析了图像分类与目标检测的研究背景和国内外研究现状;接着讨论图像分类与目标检测的关键技术;然后重点阐述论文的几个主要工作:第三章提出基于对抗网络的图像多标签分类方法,采用对抗网络来提升对遮挡物体的识别精度;第四章提出基于多特征融合的目标检测方法;最后在第五章总结了论文的主要研究工作并阐述了下一步的工作展望。论文的主要研究内容有:(1)提出了一种基于对抗网络的图像分类方法。首先利用VGG16卷积神经网络模型结合空间金字塔池化,得到更丰富的图像特征表示;然后用sigmoid cross entroy loss多标签分类函数来代替单标签函数对模型进行训练优化,最后通过训练一个对抗网络对原网络进行联合优化,采用对抗空间丢弃网络(Adversarial Spatial Droput Network,ASDN)对原模型提取的特征进行处理,以生成带有遮挡特征的训练样本,用带有遮挡的困难样本对网络继续进行训练,使得网络对遮挡目标也具有较好的识别效果。(2)提出一种多特征融合的目标检测方法,首先建立了一个级联网络模型,采用不同卷积核大小的特征图结构对图像进行多特征提取,使得网络能够提取图像中不同目标的空间信息。其次,本文引用并改进了多尺度池化对之后的特征图进行多尺度特征提取,并且引用了ROIAlign对池化进行改进,解决ROI Pooling操作中两次量化造成的区域不匹配问题,使得模型对小目标和不同形状的目标也能够有效提取。最后,为了保证目标检测的速度,本文用1×1卷积对特征进行降维处理,避免了参数冗余的同时加快了目标检测的速度与模型的迭代速度。

关键词：图像分类目标检测对抗网络特征融合遮挡样本多尺度池化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于卷积神经网络的面部表情识别研究

基于卷积神经网络的面部表情识别研究

作者：邹佳丽华北理工大学

学位级别：硕士

传统的面部表情识别的特征提取和表情分类是分开完成的,需要手工设计提取表情特征的算法,想要提取好的特征就要花费大量时间不断去设计提取具有表征性的人脸表情,卷积神经网络(Convolutional Neural Network,CNN)的提出,使得这种工作模... 详细信息

传统的面部表情识别的特征提取和表情分类是分开完成的,需要手工设计提取表情特征的算法,想要提取好的特征就要花费大量时间不断去设计提取具有表征性的人脸表情,卷积神经网络(Convolutional Neural Network,CNN)的提出,使得这种工作模式被打破,与传统的人脸表情识别不同的是,CNN不需要先人工提取特征再进行分类,它可以把整张图片作为模型的输入经过一系列操作输出表情分类结果,这一过程好比一个暗箱操作的过程,不需要清楚每一步做什么最后也能得出分类结果。CNN在图像识别领域的显著优势就是可以在没有人为干预的情况下提取高质量的特征,但是传统的CNN用于面部表情识别时仅仅利用最后顶层提取的特征然后输入分类器进行分类,这样会存在利用面部表情特征不全面的问题,面部表情识别实质是图像分类问题,所以在识别过程中会存在参数量较多,计算量较大,耗时较长等问题,同时现存的用于面部表情识别的方法大都存在识别率低,泛化能力弱等缺点。根据以上提出的问题,把CNN网络模型、多尺度池化、特征融合和极限学习机(Extreme Learning Machine,ELM)结合在一起,融合成一个用于面部表情识别的方法,该方法首先利用卷积神经网络提取多层面部表情特征图,其次,将CNN提取出的后三层特征图采用多尺度池化操作得到三个特征向量,然后,将这三个特征向量级联融合成一个面部表情特征向量,该特征向量具有多尺度多属性的性质能够很好的表达人脸表情特征,最后,把级联融合后的具有多尺度多属性的面部表情特征向量作为极限学习机分类器的输入对其进行训练,最后由分类器输出表情分类的分类结果。实验结果表明,该方法能够有效地提高面部表情识别的准确率、缩短模型训练时间,同时通过设计实验验证了模型具有较强的泛化能力。图41幅;表6个;参52篇。

关键词：面部表情识别卷积神经网络多尺度池化多特征融合极限学习机

基于骨架运动序列的动作样本增强策略与行为识别模型研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于骨架运动序列的动作样本增强策略与行为识别模型研究

作者：陈俊杰南昌大学

学位级别：硕士

随着深度学习和计算机视觉的研究和应用快速发展,人体行为识别已成为计算机视觉领域的一个热门研究分支。当前,人体行为识别在诸多工业和生活中有广泛的应用,如智能监控、事故预警和人机交互等。基于骨架的人体行为识别取得了显著的研... 详细信息

随着深度学习和计算机视觉的研究和应用快速发展,人体行为识别已成为计算机视觉领域的一个热门研究分支。当前,人体行为识别在诸多工业和生活中有广泛的应用,如智能监控、事故预警和人机交互等。基于骨架的人体行为识别取得了显著的研究成果,但是现有方法的普适性差、成本高等缺陷成为基于骨架行为识别研究领域面临的巨大挑战。本文基于骨架数据和卷积神经网络模型对人体行为识别进行了研究,以小样本高准确率行为识别为目标,对人体行为特征的描述、骨架样本数据增强和注意力机制三个方面展开研究,提出了一组更加精确的时空特征描述人体行为,一种基于骨架动作序列的数据增强策略以及自适应多尺度混合注意力机制网络模型。并最终设计了一个具有高普适性的基于骨架的人体行为识别算法。本文的主要研究内容如下:(1)针对人体动作特征描述不足导致行为识别精度较低的问题,本文提出了一组相对运动特征包括:相对坐标、瞬时速度和瞬时运动方向更加细致、精确地描述人体动作。同时,在关节点和骨骼边两个视角上提取时空特征,弥补单一使用关节点特征时存在的潜在问题。本文提出的相对运动特征不仅包含空间维度特征,还提供了短期和长期的时间信息,使得识别精度更加准确。(2)针对样本采集、标定成本高,小样本数据集容易导致模型过拟合的问题,本文结合人体骨架结构和动作执行特征,提出了基于骨架动作序列的样本增强策略包括:旋转骨架方向模拟人体面向不同方向执行动作、缩放骨架大小模拟不同身高的人体执行动作、位移骨架模拟人体在不同位移执行动作和增减动作帧模拟人体不同速度执行动作。分别在空间和时间两个维度上快速生成大量可靠的人体动作样本,解决样本不足导致的模型过拟合提高网络的泛化能力。经过数据集的测试,本文提出的基于骨架的时空数据增强策略具有普适性。(3)针对人体动作持续时间导致动作样本尺度不一致,同传统卷积神经网络输入固定尺度需求的矛盾。同时,由于类似动作有相似的运动特征导致类似动作识别难度大、精度低。本文提出了自适应多尺度混合注意力机制网络模型,包括两个即插即用的模块:自适应多尺度池化模块和自适应混合注意力模块。其中,自适应多尺度池化模块实现任意尺度的输入而单一尺度的输出,满足多尺度输入的现实需求而且多尺度的样本输入使得模型学习多尺度的特征进一步提高模型的精度。自适应混合注意力模块在通道和空间两个维度捕获重要特征,着重关注重要信息,解决类似动作之间识别精度低的问题。此外,自适应地选择卷积核使得模行也可接收多尺度样本满足多尺度输入的需求,进一步提高本文方法的普适性。

关键词：人体行为识别卷积神经网络多尺度池化骨架样本增强混合注意力机制