检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于深度特征融合的人体语义解析算法研究

基于深度特征融合的人体语义解析算法研究

作者：王文佳青岛大学

学位级别：硕士

人体语义解析是语义分割任务的子任务,其主要目的是将图像中检测到的人体实例按像素进行细粒度的分割,将语义一致的区域进行划分(例如,头部,四肢,躯干等)。然而,由于人体的非刚性特点使具有相同外观的人体不同部位分割不准确,以及深度... 详细信息

人体语义解析是语义分割任务的子任务,其主要目的是将图像中检测到的人体实例按像素进行细粒度的分割,将语义一致的区域进行划分(例如,头部,四肢,躯干等)。然而,由于人体的非刚性特点使具有相同外观的人体不同部位分割不准确,以及深度卷积网络高层语义特征缺少大量的空间细节信息,导致现有的人体语义解析仍存在很大的挑战。现有研究工作验证了高分辨率特征图,以及细粒度的人体姿态特征和边缘特征对图像分割任务的重要性。因此,本文联合高分辨率卷积网络和多流特征融合提高人体语义解析的性能。本文的主要研究内容和创新点可以总结为以下几点:(1)针对卷积网络特征图分辨率大小对人体语义解析的影响,本文根据不同卷积特征层的有效性,在高分辨率卷积网络HRNet的基础上进行了改进,提出了HP-HRNet充分融合了低分辨率特征图的有效语义信息和高分辨率特征图的局部细节信息,以获取更丰富的语义特征。另一方面,为丰富人体语义解析细粒度的语义特征,本文提取了边缘特征和人体姿态特征,以提高人体语义解析性能。实验结果表明,与当前先进的人体语义解析方法CE2P相比,本文方法在LIP数据集上的平均交并比(Mean Intersection-over-Union,m Io U)提高了3.37%;与JPPNet方法相比,本文方法的平均交并比提高了6.85%。(2)为充分发挥融合姿态估计特征和边缘特征对人体语义解析的有效性,本文提出了一种多流特征交互注意力网络(Multi-streams Feature Interactive Attention Network,MIANet),以提高细粒度多流特征之间的互补性。为进一步优化人体语义解析的结果,本文引入了人体解析级联网络,将包含人体边缘和姿态语义信息的融合特征作为细化解析阶段的输入,充分利用人体语义解析特征、姿态估计特征和边缘特征之间的相关性。实验结果表明,本文提出的MIANet在LIP数据集上平均精度(Mean Accuracy)和平均交并比分别比PGECNet方法提高了2.86%和3.90%。

关键词：人体语义解析高分辨率特征多流特征融合注意力机制级联网络

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于点云的三维目标检测算法研究

基于点云的三维目标检测算法研究

作者：侯英杰青岛大学

学位级别：硕士

自动驾驶技术是未来智能交通系统的重要组成部分,而三维目标检测是自动驾驶中的核心技术之一。三维目标检测旨在从激光雷达三维点云数据中提取出物体的位置、大小和形状等信息,以帮助自动驾驶系统识别和预测周围环境中的物体,对提高自... 详细信息

自动驾驶技术是未来智能交通系统的重要组成部分,而三维目标检测是自动驾驶中的核心技术之一。三维目标检测旨在从激光雷达三维点云数据中提取出物体的位置、大小和形状等信息,以帮助自动驾驶系统识别和预测周围环境中的物体,对提高自动驾驶的安全性可靠性具有重要意义。本文针对激光雷达点云稀疏性的特点,利用深度学习方法,提出了两种三维目标检测算法,并进行了理论分析,方法验证,结果分析等工作。主要研究内容如下:(1)针对现有激光雷达点云中,三维检测目标因点云稀疏性不同导致的目标特征分布差异,以及现有算法特征采样策略不够灵活的问题,本文提出了一种基于可形变体素特征金字塔的三维目标检测算法。首先提出了自适应的体素特征金字塔模块,根据感兴趣区域(Region of Interest,Ro I)的大小非空体素的稀疏程度选择相应的特征层进行特征聚合。其次,提出了可形变的体素Ro I池化操作,通过可形变网格点提取非空体素密集区域以丰富语义特征,并汇聚Ro I外部的相关背景信息,提高定位精度。实验表明,本文方法在广泛使用的KITTI数据集车辆分类中,比三维目标检测方法PV-RCNN,在简单、中等、困难三个等级中AP(Average Precision,AP)分别提高0.47%,1.63%和1.34%。(2)针对单一点云或单一体素三维目标检测算法中单流特征信息不充分的问题,本文提出一种基于多流特征聚合的三维目标检测算法,利用不同视角的点云表示方式进行特征互补,以实现精确的三维目标检测。首先将点云通过原始点、体素和透视图三种表示方式提取多流特征。然后提出了基于通道注意力的多流特征融合模块,有效利用不同特征之间的关联性,消除冗余信息。实验表明,本文方法在广泛使用的KITTI数据集骑行者分类中,比其基线方法H3D-RCNN,在简单、中等、困难三个等级中AP分别提高5.56%,4.73%和5.16%。

关键词：三维点云特征金字塔可形变体素特征多流特征融合

基于特征融合和注意力的多模态人体行为识别研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于特征融合和注意力的多模态人体行为识别研究

作者：王圣全江南大学

学位级别：硕士

人体行为识别旨在针对数据中人体的行为和意图进行识别和理解,是计算机视觉领域一个重要且热门的研究课题,并在机器人技术、人机交互和智能监控等领域起着至关重要的作用。虽然行为识别算法在早期的研究中已经取得了极大的进步,但仍会... 详细信息

人体行为识别旨在针对数据中人体的行为和意图进行识别和理解,是计算机视觉领域一个重要且热门的研究课题,并在机器人技术、人机交互和智能监控等领域起着至关重要的作用。虽然行为识别算法在早期的研究中已经取得了极大的进步,但仍会受到光照改变、尺度变化、细粒度动作多等因素的影响。随着行为识别数据日趋丰富多样,利用多模态数据间的互补优势实现联合预测来提升识别性能逐渐成为许多研究者的重点研究方向。许多现有工作倾向于通过分数融合方式来融合最高层次特征,使得更深层次的信息交互受到限制。此外,在基于深度学习的行为识别技术研究中,许多研究者通过增加网络的深度来建模长期依赖关系,带来性能的提升的同时也伴随着高昂的计算代价和过拟合问题。因此,针对上述问题,本文通过提取多层次混合特征来实现更深层次交互,并借助于注意力机制对特征中关键信息进行增强,进而实现网络对长期依赖关系建模能力的提升。其中本文主要研究工作及成果如下:(1)本文提出了一个基于多深度层次特征融合增强网络(Multiple Depth-levels Features Fusion Enhanced Network,MDFFEN),以解决两类问题。其一,现有多数双流行为识别网络方法仅在最后层次融合两个支流的预测结果,难以充分利用双流互补特性。其二,特征中存在一些干扰模型训练的无关噪声信息。首先,为更高效地利用RGB及光流两模态数据间的互补特性,本文提出多深度层次特征融合(Multiple Depth-levels Features Fusion,MDFF)通过将提出的时空特征融合(Spatial-Temporal Features Fusion,STFF)模块嵌入至双流不同层次以捕获多层次的混合特征,之后进一步聚合以挖掘更深层次的混合特征。其次,本文设计了一个组级空间通道增强(Group-wise Spatial-Channel Enhance,GSE)模块,分别在特征的空间及通道域进行权重分配,进而提炼出更具判别性的加权强化特征。最终本文由加权分数融合联合双流及其融合支流的预测结果,进一步实现识别性能的优化。(2)本文提出了一个基于三元图卷积增强的双流网络(Two-Stream Ternary Graph Convolutional Enhanced Network,2S-TGCEN)用于解决骨架行为识别中骨架数据有效信息提取问题以及特征强化问题。首先,本文设计了一个三元自适应图卷积(Ternary Adaptive Graph Convolution,TAGC)模块,通过图卷积操作由骨架特征的空间域拓展至时间域及通道域进行上下文关系建模。此外,为增强骨架特征,本文设计了一个基于图的三元增强(Graph-based Ternary Enhance,GTE)模块,其以并联方式联合提出的基于图的空间注意力(Graph-based Spatial Attention,GSA)模块、时间注意力(Temporal Attention,TA)模块及通道注意力(Channel Attention,CA)模块,以进一步精炼判别性骨架特征。其中本文提出的GSA模块通过对骨架特征中的节点及其邻域间的依赖关系进行建模,进而挖掘出判别性局部空间信息。(3)本文提出了一个基于三元图卷积融合的多流网络(Multi-Stream Ternary Graph Convolutional Fusion Network,MS-TGCFN),用以解决现有多模态骨架行为识别中骨架数据信息交互及联合预测问题。首先,为提取更丰富的判别性信息,本文基于关节数据或骨骼数据构造包含帧间差异信息的运动数据和包含视角差异信息的视差数据。此外,为实现不同模态间更深层次的信息交互,本文设计了多流特征融合(Multi-Stream Features Fusion,MSFF)机制,通过将不同支流中不同层次特征视为顶点并通过三元自适应图卷积(Ternary Adaptive Graph Convolution,TAGC)模块来挖掘出不同层次的混合特征。最终通过联合基础流以及融合流的预测结果得到最终的分类结果。综上所述,本文基于特征融合以及有效注意力强化的行为识别技术进行深入研究,提出了三种行为识别网络:MDFFEN,2S-TGCEN以及MS-TGCFN,且在多个公开数据集上通过大量实验论证了本文所提算法的优良性能。

关键词：行为识别多流特征融合组级空间通道增强三元自适应图卷积

基于U-Net的肝胆管及结石图像分割方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于U-Net的肝胆管及结石图像分割方法研究

作者：符小睿广东工业大学

学位级别：硕士

肝结石病是世界上最常见的外科疾病之一,尤其是在亚洲。每年都会出现由于取石不净而造成的二次手术,这不仅增大患者的创伤和病痛,也给社会造成了一定的经济损失。为了提高手术的安全性,一个完整且妥当的术前诊断必不可少。肝胆外科医师... 详细信息

肝结石病是世界上最常见的外科疾病之一,尤其是在亚洲。每年都会出现由于取石不净而造成的二次手术,这不仅增大患者的创伤和病痛,也给社会造成了一定的经济损失。为了提高手术的安全性,一个完整且妥当的术前诊断必不可少。肝胆外科医师凭借临床经验定位腹部CT图像中的病灶区及结石位置,受到主观因素影响很大。因此,在腹部CT图像中自动分割肝胆管及胆道结石有助于医生快速精确定位病灶区。由于肝胆管的高形变特性以及胆道结石的小尺寸特性,使得这项任务十分有挑战性。据文献调研,目前尚无有关肝胆管和结石的图像分割算法研究。为了更加高效地辅助肝胆外科医师进行手术,本文基于U-Net提出一种医学图像分割网络,有效地同时分割胆管和结石。本文的主要工作有:1、通过文献调研,发现目前尚无针对肝胆管及结石图像分割的公共数据集,我们与广州医科大学第一附属医院的肝胆外科进行合作,根据临床病例的腹部CT图像,利用像素级别的标注工具Labelme构造了一个新型数据集GZMU-HS;2、基于U-Net设计了一种新型端到端全卷积网络,以实现肝胆管及结石自动分割任务。我们根据该网络的形状将其命名为M-Net。在M-Net中,由四个流组成了两个编码器-解码器。在不同的流中,设计多尺度稀疏卷积去提取不同尺度下的丰富语义特征和多尺度上下文信息。为了充分利用多尺度特征图的优势,提出一种多流特征融合策略,将第一个流中产生的最丰富的语义特征融合到其他流中;3、为了进一步提高分割性能,重新设计了一种新颖损失函数:自举交叉熵函数。其作用是可将M-Net的特征提取进一步聚焦在难以区分的胆管和结石边缘像素点上。通过丢弃具有较高分类概率的易区分像素所计算出来的loss值,使得网络中整体loss的下降集中在这些难区分像素上,从而使得训练变得更有效率和针对性。实验结果表明,M-Net优于多个最新的深度学习方法,可以在腹部CT图像中同时分割胆管和结石。其图像分割性能可达:胆管的召回率为98.678%,准确度为84.427%,DICE为89.831%,F1-分数为90.998%;结石的召回率为99.894%,准确度为55.132%,DICE为71.248%,F1-分数为71.051%。

关键词：肝胆管和结石分割 U-Net 多尺度扩张卷积多流特征融合在线自举损失函数交叉熵