检索结果-南通市图书馆

基于注意力和多级特征融合的铁路场景小尺度行人检测算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

铁道学报 2022年第5期44卷 76-83页

作者：石瑞姣陈后金李居朋李艳凤李丰万成凯北京交通大学电子信息工程学院北京100044 北京世纪瑞尔技术股份有限公司北京100085

行人入侵是影响铁路行车安全的重要因素。为有效解决短焦距摄像机在大视场中小尺度行人检测精度低的问题,提出一种注意力机制引导下的多级特征融合网络模型。首先,将YOLOv3作为主干网络,针对多次降采样后行人特征丢失的问题,设计四倍降... 详细信息

行人入侵是影响铁路行车安全的重要因素。为有效解决短焦距摄像机在大视场中小尺度行人检测精度低的问题,提出一种注意力机制引导下的多级特征融合网络模型。首先,将YOLOv3作为主干网络,针对多次降采样后行人特征丢失的问题,设计四倍降采样分支以利用高分辨率特征有效提取小尺度行人信息。其次,特征融合阶段引入通道-空间注意力机制以抑制低层特征中背景噪声干扰。最后,引入CIoU损失函数用于行人目标框的回归,解决均方误差损失函数存在的优化不一致及尺度敏感问题。实验结果表明,相较于经典YOLOv3以及现阶段主流目标检测算法,本算法具有更高的检测精度,在自建铁路私有数据集和Caltech公开数据集的各子集上对数平均漏检率均有明显降低。

关键词：铁路行车安全小尺度行人检测多级特征融合通道-空间注意力 CIoU损失函数

融合2D CNN和视觉Transformer的人体动作识别研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

融合2D CNN和视觉Transformer的人体动作识别研究

作者：朱相华内蒙古师范大学

学位级别：硕士

随着抖音、快手、西瓜视频等各种视频软件的广泛应用,每天都有大量的视频上传到网络,视频流呈现爆炸性增长的趋势,如何对视频进行有效的处理和分析逐渐成为关注的热点,使得视频理解应运而生。人体动作识别作为视频理解的重要研究方向之... 详细信息

随着抖音、快手、西瓜视频等各种视频软件的广泛应用,每天都有大量的视频上传到网络,视频流呈现爆炸性增长的趋势,如何对视频进行有效的处理和分析逐渐成为关注的热点,使得视频理解应运而生。人体动作识别作为视频理解的重要研究方向之一也受到了大众的广泛关注,在智能监控、自动驾驶、医疗看护等方面具有广泛的应用价值。作为人体动作识别的经典二维卷积神经网络(Two-Dimensional Convolution Neural Network,2D CNN)方法既能规避背景噪声的干扰,又能提高人体动作识别精度。但该方法存在两个问题:一是缺乏时序建模能力问题;二是时序信息单一,无法提供更多有效信息问题,对帧间信息差异较小的人体动作识别能力还有待提升。因此,本文针对上述问题,提出了融合2D CNN和视觉Transformer(Vision Transformer,Vi T)的人体动作识别网络。本论文的主要工作内容如下:(1)针对2D CNN缺乏时序建模能力问题,本文将具有直接模拟远距离交互能力的视觉Transformer模型扩展到视频人体动作识别中并与2D CNN网络进行融合,设计了Conv-Transformer1网络用于人体动作识别。本文首先在通道注意力的基础上,将全局池化改进为最大池化和平均池化的并行计算,并与空间注意力级联,构造改进的2D CNN网络来提取强化的帧内空间特征,再将二维特征图嵌入转换为一维向量作为Transformer编码器的输入token,然后利用Transformer编码器捕捉帧间的时间特征,以更好地获取时间上下文信息,最后应用MLP Head进行动作分类。(2)针对时序信息单一,无法提供更多有效信息问题,本文通过使用时间编码器,设计了时空Conv-Transformer2网络用于人体动作识别。其中,时间编码器模块由四个改进的Transformer编码器串联组成,本文在标准的多头自注意力基础上添加局部关系块,融合为全局-局部关系块。全局关系块中使用标准的多头自注意力层来建模长期动作依赖性,获取全局信息;局部关系块中使用一维时间卷积层,增强token块的信息表示,以获取丰富的局部信息。时空Conv-Transformer2网络首先通过改进的2D CNN获取空间特征;再进入时间编码器模块,获取全局-局部信息;然后对四个改进的Transformer编码器输出的特征进行融合;最后进入分类模块进行分类。(3)融合2D CNN和视觉Transformer的人体动作识别的总体框架由改进的通道注意力机制、空间注意力机制以及视觉Transformer架构组成,利用二次采样数据以提高人体动作识别精度。Conv-Transformer1网络模型在公开数据集HMDB-51和UCF-101进行实验,分别获得了69.4%和95.5%的识别准确率。Conv-Transformer2网络模型在HMDB-51和UCF-101两个数据集上分别获得了73.4%和96.9%的识别准确率;为了验证改进的Transformer编码器的有效性,又在以时间信息为主的数据集Diving-48上进行了实验,获得了76.0%的识别准确率。同时,本文分析了2D CNN和视觉Transformer架构中各个模块对网络性能的影响,对以上两个研究方案设计了消融实验,分别验证移除各组件对性能的影响。通过实验结果表明,Conv-Transformer1和Conv-Transformer2网络模型均提升了人体动作识别的性能。

关键词：人体动作识别 2D CNN 通道-空间注意力视觉Transformer 全局-局部关系块

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的点云配准方法研究

基于深度学习的点云配准方法研究

作者：王京涛福建农林大学

学位级别：硕士

点云配准是三维计算机视觉领域中一个基础且关键的问题,其旨在利用对应关系得到最优的姿态估计,从而将不同观测站得到的点云准确的对齐到同一坐标系中。作为底层视觉通往高层视觉的纽带,点云配准技术被广泛应用于各种视觉领域,例如三维... 详细信息

点云配准是三维计算机视觉领域中一个基础且关键的问题,其旨在利用对应关系得到最优的姿态估计,从而将不同观测站得到的点云准确的对齐到同一坐标系中。作为底层视觉通往高层视觉的纽带,点云配准技术被广泛应用于各种视觉领域,例如三维重建、即时定位与地图构建和自动驾驶等。但外部传感器获得的点云数据往往表现出冗余和质量缺陷,使得计算复杂度比较高。而且由于噪声、密度变化、部分重叠等问题导致配准过程中产生大量错误的对应关系(离群值),从而影响点云配准的精度,阻碍了其工程使用。因此,研究一个准确性更好、鲁棒性更强的点云配准方法有着重要的意义。为了有效缓解离群值对点云配准方法的影响,本文主要使用深度学习技术,研究更为有效和鲁棒的点云配准方法。本文将点云配准问题划分为四个步骤:关键点检测、特征描述、离群值去除和姿态估计,并主要研究离群值去除。为此,本文基于深度学习技术提出了一系列新的网络结构,并将其应用于大型的公开数据集上,获得了比较好的实验结果。本论文的主要内容如下:(1)针对先前网络无差别地对待每个特征通道和初始对应关系以及缺乏重要的空间信息来补充通道特征的问题,本文提出了一种基于通道-空间上下文增强的鲁棒点云配准网络。通过通道-空间上下文块有辨别地处理每个特征通道和初始对应关系,并得到互补的通道-空间信息。通道-空间上下文块主要包含通道-空间注意力层和SCNonlocal通道-空间注意力层。这两种层分别在特征映射的通道和空间维度使用通道-空间注意力操作去捕获互补的通道-空间信息,并选择性地增强重要通道和正确对应关系(内点)的表示能力。最后,网络利用通道-空间上下文块,生成丰富的全局上下文信息并获得更强表示能力的特征映射。(2)为了更准确地区分初始对应关系中的内点和离群值,本文提出了一种基于分组密集融合注意力的渐进引导点云配准网络。该网络采用一种迭代结构,利用鲁棒的上下文信息和对应关系的内点概率来渐进地引导初始对应关系的分类。其中,分组密集融合注意力块作为鲁棒的上下文嵌入块,可以捕获更多来自不同方面的上下文信息增强对应关系的学习,并加强对内点和重要通道空间特征的表示。此外。为了准确的计算内点概率,该网络构造了一个两阶段的神经光谱匹配模块以从粗到细的方式来计算每个对应关系为内点的概率,从而获得更显著的性能。(3)针对先前方法缺少局部上下文信息和忽略不同节点之间潜在复杂关系的问题,本文提出了一种基于多聚类融合的点云配准学习块。具体地,该块通过并行聚类不同数量的节点并将它们反复融合,通过增强不同聚类节点之间的交互来加强局部上下文信息,以及在每次不同聚类融合之后利用Transformer来计算节点之间的相似性。以反复交换信息进行重复多聚类融合和简单Transformer操作的多聚类融合块作为骨干上下文嵌入的多聚类融合网络,在提升性能的同时不会带来网络参数的增加。

关键词：点云配准姿态估计深度学习通道-空间注意力渐进引导多聚类融合

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于线性传输与卷积神经网络的雾霾场景复原

基于线性传输与卷积神经网络的雾霾场景复原

作者：李翔兰州交通大学

学位级别：硕士

近年来,随着社会科技和人工智能技术的快速发展,计算机视觉任务在实际生活中的应用越来越广泛。在计算机视觉领域,目标识别、户外视频监控、智能检测等任务都需要依靠图像完成,捕获的图像质量则直接影响后续图像判别及分析结果的准确性... 详细信息

近年来,随着社会科技和人工智能技术的快速发展,计算机视觉任务在实际生活中的应用越来越广泛。在计算机视觉领域,目标识别、户外视频监控、智能检测等任务都需要依靠图像完成,捕获的图像质量则直接影响后续图像判别及分析结果的准确性。但在日常生活中,图像采集设备常受到雾霾、沙尘等恶劣天气的干扰,许多特征被覆盖,使得目标主体不清晰,拍摄的图像出现视觉模糊、对比度下降、细节丢失等现象,导致计算机视觉系统性能大打折扣。为了提高系统在恶劣天气下的可靠性和鲁棒性,改善恶劣天气下所捕获图像的视觉效果具有十分重要的现实意义。基于此,本文对现有雾霾场景下的图像复原算法进行深入探索与钻研,分析其优势和不足,从传统方法和深度学习两方面提出改进策略,具体研究成果如下:(1)针对传统图像去雾算法存在的对比度下降和颜色偏移等问题,提出一种结合高斯融合的自适应双通道雾霾图像复原算法。首先,考虑到大气光应小于有雾图像最大值,且大于有雾图像最小值,根据亮度控制因子自适应控制的方式得到融合中通道,并获得中通道下的局部大气光;其次,提出双通道线性传输,即用最大值通道辅助完成线性传输,再用高斯函数加权融合的方法实现清晰图像最优通道估计,从而得到最优透射率;最后,结合复原模型恢复清晰图像。实验表明,所提方法有效解决了图像对比度下降与颜色偏移等问题,去雾效果良好、亮度适宜且颜色保真度更高。另外,该方法在定量指标上同样具有优越的表现。(2)针对雾天场景下捕获的图像存在细节丢失、对比度下降和饱和度下降等现象,提出了一种基于模糊理论的图像去雾方法。根据模糊理论与有雾图像特性选取合适的隶属函数,并利用雾浓度与亮度和饱和度之间的关系构造雾浓度隶属函数,从而估计出隶属度图来表示雾气分布情况;其次,以雾浓度隶属函数来表示有雾图像与无雾图像之间的线性关系,并估计出清晰图像最小通道,进而估计透射率;最后,用隶属度图对局部大气光进行改进,同时结合复原模型恢复清晰图像。实验表明,所提算法运行速度快,显著改善了退化图像的清晰度与对比度,去雾彻底,复原图像亮度适宜、细节丰富、颜色自然,对各类图像适用性较高,在主观视觉和客观指标上均具有明显优势。(3)沙尘天气下捕获的图像出现严重的发黄和局部泛红现象,而传统颜色校正方法鲁棒性较低。为此,本文提出了一种基于通道差异先验(CDP)和深度残差注意力网络的沙尘图像复原方法。首先,通过统计观察定义了通道差异先验,用于获取沙尘图像数据集(DIDS)。然后,引入了结合通道-空间注意力的深度残差网络,利用通道注意力和空间注意力来描述每个残差块特征的重要信息。最后,用通道融合和非线性输出来生成清晰图像。大量实验证实了所提方法的有效性和合理性。

关键词：图像去雾图像复原线性传输卷积神经网络通道-空间注意力

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于编码器-解码器结构的文本图像识别研究

基于编码器-解码器结构的文本图像识别研究

作者：杜响成华东师范大学

学位级别：硕士

在大数据和深度学习发展的推动下,文本图像识别对人们的日常生活产生了重要的影响。本文围绕文本图像识别任务,在基于编码器-解码器的文本图像识别模型的基础上进行研究并加以改进。具体来说,在编码阶段分别采用基于注意力机制的特征提... 详细信息

在大数据和深度学习发展的推动下,文本图像识别对人们的日常生活产生了重要的影响。本文围绕文本图像识别任务,在基于编码器-解码器的文本图像识别模型的基础上进行研究并加以改进。具体来说,在编码阶段分别采用基于注意力机制的特征提取模型和基于时序卷积的模型来完成视觉特征的提取和特征序列的建模;采用基于多层次特征的聚合机制来聚合不同层次的信息;解码阶段利用启发式局部注意力机制完成字符序列的解码。首先,文本图像的视觉特征在文本图像识别任务中扮演着重要的角色。因此,本文采用了基于通道-空间注意力机制的特征提取模型来抽取文本图像的特征。其中,通道注意力（channel attention）和空间注意力（spatial attention）模块分别在特征的通道层面和空间层面增强文本图像的视觉特征。实验证明,基于通道-空间注意力机制的特征提取模型有利于提升识别模型的性能。其次,本文采用了基于时序卷积网络（Temporal Convolutional Network,TCN）对特征序列进行建模。TCN不同于传统循环神经网络,它不仅能对序列特征并行处理而且可以通过残差结构来处理信息梯度消失和爆炸问题。TCN在每一层内的参数是共享的并且不需要保存每一时间步的信息。同时,TCN有更灵活的感受野,可以根据不同的任务场景,设计不同的层数、卷积核大小以及扩张系数来满足不同的需求。然后,本文利用多层次特征的聚合机制捕获了不同层次的视觉特征来增强现有的基于编码器-解码器的图像文本识别的标准架构。现有的方法仅仅使用了最深的视觉特征进行时序的建模,但不断扩大的感受野会导致特征向量间的关联退化,因此本文利用多层次特征聚合机制来提升模型的性能。最后,利用基于启发式局部注意力机制的解码器来完成解码过程。对于文本图像识别任务来说,最重要的是获取与当前时间步字符最相关的特征。因此,本文尝试了现有的多种局部注意力方法,并提供了完整的对比结果。此外,受现有局部注意力机制的启发,本文提出了两种基于启发式的局部注意力机制,并通过大量的实验证明基于启发式的单调局部注意力机制取得效果最好。

关键词：文本图像识别编码器-解码器通道-空间注意力时序卷积特征聚合局部启发式机制

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于小样本学习的赤足足迹分类方法研究

基于小样本学习的赤足足迹分类方法研究

作者：方敏安徽大学

学位级别：硕士

足迹作为现场遗留率较高的痕迹,不仅在刑侦领域有着举足轻重的地位,而且在鞋业生产、医疗等领域有着广泛的应用。然而针对足迹分类问题,传统的研究方法通常依赖相关足迹专家提取具有物理意义的足迹特征,但是因相关专家的经验限制与提取... 详细信息

足迹作为现场遗留率较高的痕迹,不仅在刑侦领域有着举足轻重的地位,而且在鞋业生产、医疗等领域有着广泛的应用。然而针对足迹分类问题,传统的研究方法通常依赖相关足迹专家提取具有物理意义的足迹特征,但是因相关专家的经验限制与提取特征方法不同,使得不同研究者得到的特征好坏难以界定,另外对于足迹一些抽象特征,如足迹各部位的关系等也难以提取。随着深度学习的发展,卷积神经网络在许多领域取得了显著的效果。相关足迹研究者也不断将深度学习方法应用于足迹分类,同时也面临一些问题,一方面同一人大量的足迹样本获取难度较大,而一个或几个足迹样本往往获取较简单;另一方面足迹图像又属于细粒度图像范畴,不同人足迹间的差别比较细微,一般难以辨别其所属类别。针对上述足迹研究存在的不足,本文通过元学习方法使模型在任务空间学习大量的任务分布,从而提高模型对样本较少新任务的泛化能力。主要研究内容如下:(1)按采集规范采集足迹数据并进行预处理。基于光学足迹采集仪器,从静态和动态角度,本文分别采集了静态114人和动态142人的两个光学足迹数据。为了让模型获得丰富的元知识,本文采用63人的压力足迹图像以及部分来自南京相关部门的光学足迹图像扩充了数据集。为了获得高质量足迹样本,对采集的足迹样本进行去噪、标准化处理,以减小数据分布的差异。(2)为了克服小样本学习的关系网络存在的不足,提出了一种通道-空间注意力的足迹分类算法。该方法将通道注意力与空间注意力相结合,用于挖掘样本更丰富的信息,通过在不同卷积层嵌入联合注意力机制,既可以从多通道特征图中获得关注度高的特征图,也可以从单张特征图上获得不同区域的特征信息。最后有效地将两种信息融合,从而提高特征的表达能力。本文在小样本常用数据集上进行了大量的实验,表明了该方法的有效性,然后将该算法应用到光学足迹分类中,通过将左、右足分开训练及测试,实验取得了较好的结果。(3)由于光学足迹样本量较少,而通道-空间注意力模型包含大量的训练参数,可能导致网络参数无法得到最优值,因此本文提出了双线性足迹分类网络。该网络针对足迹细粒度问题,在特征提取阶段使用了双线性网络结构,该方法利用平移不变性进行足迹图像局部像素交互建模,获得不同区域的重要信息。最后利用欧氏度量进行样本相似性计算。特别地,对于多个支持样本,通过在特征空间计算样本的均值以得到包含丰富特征信息的类原型表示。本文在足迹数据集上进行大量实验,结果表明该算法具有较好的性能。

关键词：足迹分类小样本学习元学习通道-空间注意力双线性网络