检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于动态门控特征融合的轻量深度补全算法

软件学报 2023年第4期34卷 1765-1778页

作者：孙海峰穆正阳戚琦王敬宇刘聪廖建新网络与交换国家重点实验室(北京邮电大学) 北京100876 中国移动通信有限公司研究院北京100053

稠密深度图在自动驾驶和机器人等领域至关重要,但是现今的深度传感器只能产生稀疏的深度测量,所以有必要对其进行补全.在所有辅助模态中, RGB图像是常用且易得的信息.现今的许多方法都采用RGB和稀疏深度信息结合进行补全.然而它们绝大... 详细信息

稠密深度图在自动驾驶和机器人等领域至关重要,但是现今的深度传感器只能产生稀疏的深度测量,所以有必要对其进行补全.在所有辅助模态中, RGB图像是常用且易得的信息.现今的许多方法都采用RGB和稀疏深度信息结合进行补全.然而它们绝大部分都是利用通道拼接或逐元素求和简单的对两种模态的信息进行融合,没有考虑到不用场景下不同模态特征的置信度.提出一种以输入深度稀疏分布为指导,结合双模态信息量的动态门控融合模块,通过动态产生融合权重的方式对两个模态特征进行更高效的结合.并且根据不同模态的数据特征设计了精简的网络结构.实验结果表明所提出模块和改进的有效性,提出的网络在两个有挑战性的公开数据集KITTI depth completion和NYU depth v2上,使用了很少的参数量达到了先进的结果,取得了性能和速度的优秀平衡.

关键词：深度补全特征融合轻量模型图像处理自动驾驶

在线全文

学校读者我要写书评

暂无评论

基于特征融合的单目深度估计和深度补全研究

基于特征融合的单目深度估计和深度补全研究

作者：徐杰杰南京信息工程大学

学位级别：硕士

深度信息是人类感知世界的重要元素之一,通过双目的视差以及先验知识的积累,人类能够轻易获取三维深度信息。在仅有单目图像或稀疏深度图的条件下获取精确而稠密的深度信息在计算机视觉领域依然是一个极具挑战性的问题。在需要对场景进... 详细信息

深度信息是人类感知世界的重要元素之一,通过双目的视差以及先验知识的积累,人类能够轻易获取三维深度信息。在仅有单目图像或稀疏深度图的条件下获取精确而稠密的深度信息在计算机视觉领域依然是一个极具挑战性的问题。在需要对场景进行理解和决策的任务中,获取场景中像素级别的稠密深度信息具有重要的意义。由于深度感知技术在硬件和算法方面都存在限制,现有获取深度信息的常见仪器无法在低成本的条件下获取稠密而精确的深度信息。因此将单张彩色图片或稀疏深度图中补全成稠密深度图,始终是计算机视觉与模式识别领域具有研究意义的热门研究话题。本文将使用深度学习方法,对单目深度估计和深度补全任务进行研究,主要工作有:(1)本文提出了基于多特征融合的单目深度估计算法。该算法采用端到端的编解码结构,在编码分支中,通过增加残差通道注意力模块,可以由浅至深地生成不同尺寸的特征,这些特征可以有效地提升编码的准确性和可靠性,并且可以根据需要自适应地学习每个通道的重要程度,并将重要的特征通道保留下来,去除冗余的信息,从而提升特征图的表达效果。该模块同时使用膨胀卷积进一步扩大感受野,提取局部空间特征,在保证梯度不会爆炸的同时,提取全局特征信息。解码分支中引入不同尺度的编码特征和池化操作对不同尺度的解码特征进行空间维度以及通道维度的融合,并将其整合到统一的特征图中,以达到更为准确的特征表示进而消除特征之间的语义鸿沟,进一步提取隐式的空间几何特征。(2)本文提出了一种简单而有效的深度补全算法,旨在结合传统图像处理技术和流行的深度学习方法的优势。该方法使用双分支的骨干网络,对现有基干网络进行改进,加强了彩色信息以及深度信息特征融合的效果。同时该算法包含了两个使用传统图像处理技术的模块:自适应稠密化模块和坐标投影模块。自适应稠密化模块自适应地完成稀疏深度图中的低梯度区域生成半稠密的深度图。半稠密深度图蕴藏更稠密的几何信息,并增强卷积神经网络中浅层特征的鲁棒性。坐标投影模块将半稠密深度图作为输入,并将其投射到三维位姿图上。增强了深度图中的三维拓扑和几何关系。

关键词：卷积神经网络单目深度估计深度补全特征融合注意力机制

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于RGB图像融合的深度补全研究

基于RGB图像融合的深度补全研究

作者：徐震球南昌大学

学位级别：硕士

精确完整的深度值信息在实际应用中至关重要,可以广泛的应用到自动驾驶、三维重建和机器人技术等重要的计算机视觉任务中。为了获取周围环境高质量的深度数据,人们通过被动式的深度传感器系统获取到的原始深度图像受环境因素影响比较大... 详细信息

精确完整的深度值信息在实际应用中至关重要,可以广泛的应用到自动驾驶、三维重建和机器人技术等重要的计算机视觉任务中。为了获取周围环境高质量的深度数据,人们通过被动式的深度传感器系统获取到的原始深度图像受环境因素影响比较大,由此得到的深度值精度无法应用到实际任务中。以主动发射信号来获取深度信息的飞行时间相机和激光雷达等主动深度测距传感系统虽然很好的克服了被动式深度传感器不受环境因素影响的缺点,结果也更准确,但获取到的深度图像仍存在着边缘缺失、深度像素值极度稀疏和不规则等问题,同样难以满足实际应用任务需要。得益于CNN强大的表征能力,基于深度学习的深度补全算法研究引领了发展趋势,靠着强大的网络模型,可以得到更加致密的深度图像。但在实际任务中,除了要求高精度外还希望算法在速度上有着出色的表现,因此如何设计一个轻量化的高精度的深度图像补全网络是我们亟待解决的问题。本文基于深度学习算法,对目前主流的基于RGB图像和稀疏深度图的多模态融合深度补全算法进行细致研究和分析,提出了一种RGB图像与稀疏深度图像逐步融合的策略并设计了一个强大的融合模块来帮助他们充分融合。该算法包括一个以主要恢复空间分辨率的PAN分支、一个以主要恢复深度分辨率的FPN分支和一个逐步引导恢复的融合分支组成。PAN分支经过多层卷积提取到丰富的语义信息,再加入一个自底向上的扩充路径将浅层的诸如空间分辨率等信息完整传递至底层;FPN分支提取稀疏深度图像中重要的深度信息;融合网络从底层开始,逐步融合两个分支提取到的多种特征信息来恢复图像分辨率。我们鼓励每个融合层在相应分辨率下接近标签图像,于是采取多级监督的方式来提升深度补全效果。最后在室外开源KITTI深度数据集上通过实验分析验证了本文提出的网络模型算法的有效性和模型结构设计的合理性。

关键词：深度学习深度补全特征融合深度图像卷积神经网络

基于深度神经网络的稀疏深度图补全与多光谱图像的立体匹配研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度神经网络的稀疏深度图补全与多光谱图像的立体匹配研究

作者：梁小龙西安电子科技大学

学位级别：硕士

近年来,由于对自动驾驶和视觉监控的需求,多传感器融合使用受到了很大关注。除了传统的RGB之外,红外传感器以及一些激光雷达等深度传感器也被广泛使用,准确的深度图的采集对于自动驾驶至关重要。目前的深度获取方法多种多样,其中一种方... 详细信息

近年来,由于对自动驾驶和视觉监控的需求,多传感器融合使用受到了很大关注。除了传统的RGB之外,红外传感器以及一些激光雷达等深度传感器也被广泛使用,准确的深度图的采集对于自动驾驶至关重要。目前的深度获取方法多种多样,其中一种方法是使用双目立体匹配预测视差,视差可以通过焦距转换为深度,这样的深度图可以大致得到场景的三维信息,但其精度存在误差。另一种方法是直接使用Li DAR相机捕获精度高但由于扫描通道数而稀疏的深度。这两种方法直接使用都不能满足视觉任务的需要。本文对现有获取深度图的方法进行了深入研究,主要包括基于彩色图像引导的稀疏深度图补全和多光谱图像的立体匹配。本文的主要工作和贡献如下:1.稀疏深度补全从Li DAR系统获得的稀疏深度图像并在相应RGB图像的引导下重建密集的深度图像。大多数现有基于全卷积网络设计的方法,在处理不同场景下的深度图时效果不好。在本节中,我们提出了用于稀疏深度补全的选择传播学习网络(SPL)。SPL利用有效矩阵和无效矩阵提取RGB图像和稀疏深度图像的中间特征,沿着两个单独的维度(空间维度和通道维度)预测注意力图,然后将其应用于引导两个分支的深度像素回归.SPL的贡献主要有以下三个方面。首先,我们设计稀疏选择模块(SSM)来简化任务并将其分割为由位置信息强相关的RGB像素引导的稀疏深度图补全和由RGB到深度图的转换网络。其次,我们提出了注意力引导模块(GAM),它通过空间和通道两个方向将输入的SSM的特征转换为注意力图,然后将其用于引导两个深度预测网络。第三,我们将两只分别由三个级联的输入和输出分别为四分之一、二分之一和完整的分辨率大小的深度图的子回归网络组成的深度预测网络合并,并使用多尺度训练的策略,同时也使用相同大小的相应的真值计算损失。我们的基于稀疏选择传播的深度预测网络大大减少了计算量,更容易探索RGB更通用的深度信息进行实现,也更容易挑战RGB和深度图像的模态差异。实验结果表明,我们提出的方法可以生成实时的低复杂度的密集深度图像,并且在准确性和鲁棒性方面也很有竞争力。消融实验证明了SPL模型的泛化能力和稳定性。2.除了SPL,在本节中,我们还提出了基于卷积神经网络的注意力引导的稀疏深度补全网络AGNet。不同于SPL的目标是使用雷达获取的深度补全,AGNet更聚焦于一个轻量级的模型解决结构光获取的深度补全。我们采用注意力模块从RGB图像中学习几何关系并获取多尺度深度特征。首先,我们使用稀疏深度图与有效矩阵作用下的RGB图像作为输入来生成初始预测的深度图像及其置信度图。然后,我们使用交叉空间注意力模块(CSAM)生成用于深度细化的注意力引导图。为充分利用彩色图片中的信息,CSAM分别用有效矩阵和无效矩阵作用下的RGB图像作为输入,生成引导深度值回归的注意力图。接下来,我们构建了一个多尺度学习网络,对不同尺度的稀疏深度图像进行编码,从而实现准确的深度补全。AGNet利用输入的稀疏深度图像对模型大小适中的粗特征进行编码。实验结果表明,AGNet在NYU v2数据集上实现了与最先进的深度补全方法相当的性能。3.交叉光谱立体匹配旨在从彩色(RGB)和近红外(NIR)立体图像对估计视差。它与传统立体匹配的主要区别在于不同光谱带图像之间有很大的差距,这使得交叉光谱立体匹配具有挑战性。在本节中,我们提出了无监督的基于多光谱图像融合的深度交叉光谱立体匹配。我们在交叉光谱图像转换后又设计了多光谱图像融合网络,以进一步弥补跨光谱图像之间匹配的差异。首先,我们从输入的RGB和NIR图像对中提取特征获得融合后的立体图像对。其次,我们基于视差注意力模块设计了立体匹配网络计算视差。对于损失函数,我们结合了四种损失:视图重建、材料感知匹配、循环一致性损失和平滑损失。我们将转换和融合后的光谱图像利用视差进行视图重建构建损失函数以进行训练,其中我们综合使用了融合立体图像对在背包、皮肤、草坪等材料好的匹配性能以及转换网络输出的伪红外图像对在光、玻璃以及光滑表面等材料的匹配性能设计了新的材料感知匹配损失函数。另外,我们还利用循环一致性视差损失来保证预测的左右视差一致,并使用平滑损失函数保证视差图的平滑。实验结果表明,我们所提出的网络结构成功地估计了对材料属性敏感的视差,并且在多种材料上评估的RMSE优于最先进的模型。

关键词：深度补全交叉光谱立体匹配注意力学习多尺度学习卷积神经网络

基于激光雷达与摄像头融合的深度补全算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于激光雷达与摄像头融合的深度补全算法研究

作者：陈思远电子科技大学

学位级别：硕士

场景深度信息在三维视觉领域如自动驾驶、场景建模中有重要的应用。高精度,高密度的深度信息能够帮助算法获得更好的效果。但受限于物理设备,稠密的深度信息通常无法直接获得。本文的研究主要集中于激光雷达与摄像头融合的深度补全技术... 详细信息

场景深度信息在三维视觉领域如自动驾驶、场景建模中有重要的应用。高精度,高密度的深度信息能够帮助算法获得更好的效果。但受限于物理设备,稠密的深度信息通常无法直接获得。本文的研究主要集中于激光雷达与摄像头融合的深度补全技术,该方法通过RGB图像以及稀疏的深度图预测稠密深度。本课题的研究工作主要如下:提出了基于三维点云特征以及导向滤波融合的深度补全算法。利用了基于Pointnet的三维点云特征提取方法,结合导向滤波算法提出了基于导向滤波的二维三维特征融合方式。随后使用基于亲和度矩阵的空间传播网络以及基于局部亲和度矩阵对深度图进行优化,并提出了基于三维点云特征以及导向滤波融合的深度补全网络。最后在KITTI数据集以及NYU数据集上进行实验,分析每个模块的效果,并与当前主流方法进行了对比,证明了该方法的有效性。提出了基于地面补全的自监督图传播深度补全算法。首先根据地面特征的简易性,提出了基于RANSAC的地面补全算法,用于补全地面区域的深度值。同时提出了基于地面补全算法的自监督模块。接着提出了基于图传播融合的深度补全算法。最后在KITTI与VKITTI数据集上进行实验并分析结果,证明了该方法的有效性。将深度补全算法应用于回环检测系统,通过引入补全的深度图作为特征,增强了在低能见度的环境下回环检测的准确率。为了达到实时检测,对现有的深度补全算法进行了速度上的优化,最后对基于深度补全算法的回环检测系统进行了实验,并分析实验结果,证明了该方法的有效性。

关键词：深度学习深度补全激光雷达摄像头多传感器融合

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于传播机制与反射率信息的深度补全研究

基于传播机制与反射率信息的深度补全研究

作者：李国祯大连理工大学

学位级别：硕士

近年来,深度学习技术蓬勃发展,自动驾驶技术以及其他移动机器人技术也受其影响而取得了巨大的进步。在这些技术领域中,稠密而精确的深度信息,即距离信息,对于多种任务都有着重要的辅助作用。然而,使用To F传感器或激光雷达采集到的深度... 详细信息

近年来,深度学习技术蓬勃发展,自动驾驶技术以及其他移动机器人技术也受其影响而取得了巨大的进步。在这些技术领域中,稠密而精确的深度信息,即距离信息,对于多种任务都有着重要的辅助作用。然而,使用To F传感器或激光雷达采集到的深度图均是稀疏的,因此深度补全任务受到了越来越多的关注。本文针对现有的深度补全算法的局限性开展了两方面的研究。Transformer网络结构在自然语言处理领域和计算机视觉领域均取得了巨大的成功,其中的多头注意力层能构建全局注意力矩阵并对输入其中的特征进行加权,这一处理过程与深度补全任务中的深度值空间传播机制十分契合。因此本文针对Transformer在深度补全中的应用进行了研究,构建了GSPT模型。在本部分研究工作中,本文首先提出深度记忆信息的概念,并将其与稀疏深度图相关信息进行结合,构建了深度值嵌入,并使用Transformer解码单元完成了深度值嵌入信息在全局的空间传播;其次,针对现有Transformer结构不完全适用于深度补全任务的问题,本文对其进行改进并构建了Trans UNet子网络,在提取全局信息的同时完成了深度信息的全局空间传播;最后,从平衡提取全局语义信息与保护局部深度信息的角度出发,完成了本文GSPT模型的编码器设计。本文的GSPT模型在KITTI深度补全验证集和筛选验证集上达到了先进的补全精度,消融实验数据证明了此项研究工作中各项改进的有效性。以三维目标检测为代表的点云处理任务常常将激光点云中每个点的激光反射率数据作为算法输入信息的一部分,然而现有的深度补全算法却均未对反射率信息进行利用,本文提出使用激光反射率数据能够对深度补全过程进行辅助,并围绕如何证明激光反射率的有效性,以及如何设计一种方式以发挥其作用这两个问题开展了研究。在本部分研究工作中,本文首先基于针孔相机成像模型进行了激光点云到RGB图像坐标系的投影,生成了数据集中各样本对应的激光反射率图;其后,本文对激光反射率数据进行分析,并结合现有深度补全模型的特点,设计了激光反射率特征提取网络IFE,以及四种形式的激光反射率特征利用模块IFU,并将其与包括GSPT在内的三个深度补全模型进行了结合。KITTI深度补全数据集上的实验数据表明,本文所设计的IFE与IFU能够为现有深度补全网络带来精度上的提升,消融实验数据表明该种提升的确来源于激光反射率数据,证明了激光反射率信息对深度补全任务的辅助作用。

关键词：深度学习深度补全注意力机制空间传播机制激光反射率

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度补全的透明物体抓取研究

基于深度补全的透明物体抓取研究

作者：唐颖杰广东工业大学

学位级别：硕士

现有的机器人抓取模型大多都是针对不透明的物体或折射和反射率较低的物体来进行指定的抓取任务,无法对日常生活中常见的透明物体实施有效的抓取,从而限制了机器人的应用和发展。对透明物体进行深度补全是赋予机器人抓取技能的重要方法... 详细信息

现有的机器人抓取模型大多都是针对不透明的物体或折射和反射率较低的物体来进行指定的抓取任务,无法对日常生活中常见的透明物体实施有效的抓取,从而限制了机器人的应用和发展。对透明物体进行深度补全是赋予机器人抓取技能的重要方法。通过运用深度补全算法,可以对透明物体缺失深度信息的原始深度图进行有效的补全,将补全后的深度图运用到抓取模型中,使得机器人可以有效地感知到透明物体的大小和位置信息,从而实行对透明物体的有效抓取。本文对透明物体的深度补全进行了研究,提出了带有光谱残差的自注意力生成对抗网络,用于对透明物体进行深度补全,并最终对透明物体实施有效的抓取。近年来对透明物体进行深度补全的研究主要是利用了基于几何约束的线性系统来预测缺失的深度值,这很难在端到端的框架中进行部署并实现联合优化。针对该问题,本文提出了一种对透明物体的原始RGB-D图像进行深度补全的深度学习方法。更具体地说,在数据预处理阶段,给定一张透明物体的RGB-D图像,首先获取到它的表面法线,表面遮罩和遮挡边界作为原始特征,然后拼接上视觉特征一起输入到一个生成对抗网络中,该网络利用生成器去预测缺失或不准确的深度值来补全深度图,并使用判别器来引导补全的深度图与深度图的真值相匹配。在生成器中,本文设计了具有光谱归一化的光谱残差块(SRB)以提高网络训练时的稳定性,并设计了残差块用来传递注意力图,从而捕获透明物体的结构信息并区分透明物体的几何形状。在判别器中,本文使用了基于补丁(patch-based)的卷积网络去调整预测深度图的数据分布,从而使得补全的深度值能够很好地逼近真值。在Clear Grasp数据集上的实验表明,所提出的带有光谱残差的自注意力生成对抗网络能以较高的精度对透明物体的原始深度图进行深度值的补全。即使是在真实物体上进行测试,本文的模型也展示出弥合模拟数据与实际应用之间差距的出色能力,充分证明了模型具备良好的泛化性和鲁棒性。最后,将所提出的深度补全方法部署到协作机器人Baxter上,准确且高效地完成了对透明物体的抓取任务,进一步验证了本文方法的有效性。

关键词：深度补全机器人抓取自注意力生成对抗

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

引入深度补全与实例分割的三维目标检测

传感器与微系统 2021年第1期40卷 129-132页

作者：黄漫黄勃高永彬上海工程技术大学电子电气工程学院上海201620

三维目标检测是自动驾驶系统与机器人系统的关键技术,目前对该技术的研究大多基于深度相机获取的RGB-D图,但在室外自动驾驶场景中,输入雷达点云更符合三维目标检测系统的应用环境。以RGB图与雷达点云为输入,结合IP-Basic算法在消除噪声... 详细信息

三维目标检测是自动驾驶系统与机器人系统的关键技术,目前对该技术的研究大多基于深度相机获取的RGB-D图,但在室外自动驾驶场景中,输入雷达点云更符合三维目标检测系统的应用环境。以RGB图与雷达点云为输入,结合IP-Basic算法在消除噪声的同时将稀疏雷达点云补全成稠密深度图;采用降维原理,结合Mask R-CNN在RGB图上进行实例分割,进而提取目标在深度图上的对应区域;结合点云的自然不变性,将目标对应深度图转化为点云后输入到卷积神经网络进行特征学习。在公开数据集Kitti上进行实验,实验结果表明:该方法在公开三维目标检测数据集上达到了较好的检测精度。

关键词：深度学习实例分割深度补全点云处理

基于多源数据关联融合的交通图像深度补全技术

在线全文

学校读者我要写书评

暂无评论

电子科技 2023年第10期36卷 95-102页

作者：王鸽杨睿华惠维赵季中西安交通大学计算机科学与技术学院陕西西安710049

随着城市化进程的加速,智慧交通领域得到了越来越多的关注。利用深度补全技术提取物体深度信息对实现车辆目标跟踪、目标间距离计算等任务具有重要作用,但在实际中收取的多源深度补全数据存在关联偏差,导致产生较难纠正的精度误差。针... 详细信息

随着城市化进程的加速,智慧交通领域得到了越来越多的关注。利用深度补全技术提取物体深度信息对实现车辆目标跟踪、目标间距离计算等任务具有重要作用,但在实际中收取的多源深度补全数据存在关联偏差,导致产生较难纠正的精度误差。针对该问题,文中研究了基于多源数据关联融合的深度补全技术。该技术通过计算多通道置信度增强深度图,将图像和毫米波雷达点云数据进行更精准的数据层逐点关联。通过设计多尺度注意力融合模块,实现了对多粒度关联数据的自适应融合,生成了高质量的深度图。文中在公开的nuScenes数据集中开展了大量实验,实验结果表明文中所提方法平均绝对误差为1.142 m,低于现有基准方法的1.472 m。

关键词：智慧交通多源数据融合深度补全深度学习注意力机制自适应融合