检索结果-南通市图书馆

结合彩色图像局部分割的Kinect深度图修复算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机应用研究 2017年第12期34卷 3852-3854,3884页

作者：吴倩史晋芳王德娇刘桂华西南科技大学制造科学与工程学院四川绵阳621010 西南科技大学特殊环境机器人技术四川省重点实验室四川绵阳621010

针对Kinect深度图空洞和噪声存在降低三维目标检测和识别精度的问题,提出一种结合彩色图像局部分割的深度图修复算法。首先,利用区域连通性对空洞区域进行分析和标记;其次,根据空洞区域领域的深度直方图峰值数目判断空洞区域类型;再次,... 详细信息

针对Kinect深度图空洞和噪声存在降低三维目标检测和识别精度的问题,提出一种结合彩色图像局部分割的深度图修复算法。首先,利用区域连通性对空洞区域进行分析和标记;其次,根据空洞区域领域的深度直方图峰值数目判断空洞区域类型;再次,分割膨胀区域对应的彩色区域,获取空洞像素所在分割区域与其领域的交域(有效支撑区域),利用交域内的有效深度信息计算空洞像素;最后,利用引导滤波对深度图进行平滑、去噪。实验结果表明,经该算法处理后的深度图边缘细节更加清晰,具备微小梯度不变性,且测量精确度更高。

关键词：深度图修复空洞填充局部分割噪声滤波

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

三维视频帧率提升及深度图修复方法研究

三维视频帧率提升及深度图修复方法研究

作者：肖依凡山东大学

学位级别：硕士

近年来,新兴的数字多媒体技术给人们带来了多样化的观影体验。与传统的二维视频相比,三维视频可以为观影者提供更加身临其境的观影效果,因此受到了广泛的关注与研究。影响三维视频显示效果的主要因素包括视点的数量,随着视点数量的增加... 详细信息

近年来,新兴的数字多媒体技术给人们带来了多样化的观影体验。与传统的二维视频相比,三维视频可以为观影者提供更加身临其境的观影效果,因此受到了广泛的关注与研究。影响三维视频显示效果的主要因素包括视点的数量,随着视点数量的增加视频立体感增强,观影范围增大,而数据量也随之增加。此外为了提高显示效果,三维视频一般都有着很高的分辨率和帧率。因此三维视频的数据传输量是传统二维视频的数倍,巨大的数据传输压力与有限的宽带限制了三维视频的应用与发展。针对传输带宽有限的问题,本论文将二维视频帧率提升(Frame Rate Up-Conversion,FRUC)方法扩展到三维视频中,利用三维视频彩色图与对应深度图对三维视频进行帧率提升,通过在接收端合成高帧率三维视频,减少了系统发送端的发送量,达到节省传输带宽的目的。由于在三维视频帧率提升过程中需要用到高质量的深度图,而常规深度相机获取的深度图存在大量噪声,因此本论文还对深度图修复问题进行了研究。另外,三维视频的帧率提升技术旨在减少三维视频传输,却易被用来对视频格式进行篡改,以达到提高上传视频点击率的目的,针对这一问题,本文还提出了一种视频格式篡改的检测方法。本论文的主要内容及贡献有以下三点:1、提出了一种深度图加彩色图的三维视频帧率提升方法。该方法利用深度图与彩色图的边缘一致性,首先在运动估计过程中对宏块进行边缘块与平坦块分类,根据块属性进行不同的运动矢量估计从而得到更为精确的运动矢量。估计错误的运动矢量可通过运动矢量后处理过程进行检测与纠正。在得到精准的运动矢量后,根据像素点是否为边缘点进行像素点补偿。此外,基于纹理增强的运动矢量估计准则被应用其中,有利于快速找到匹配宏块。该算法能有效提升内插深度图及彩色图的质量。2、提出了一种基于边缘约束的深度图修复方法。该方法主要包括两部分,首先是空洞分类,它利用彩色图与深度图的边缘一致性对深度图的空洞进行分类与标记。其次是深度图修复,通过基于双边带滤波器的插值方法对空洞像素进行空洞填补。最后利用基于深度可靠度的联合三边带滤波方法对深度图进行降噪处理。该方法可以有效提高Kinect相机拍摄的深度图质量。3、提出了一种基于频谱分析的视频伪帧检测方法。该方法首先使用基于局部二值模式(Local Binary Patterns,LBP)的关键帧检测方法来分割原始视频。然后对每个视频序列进行分块离散余弦变换(Discrete Cosine Transform,DCT),以通过滤除图像的低频部分来区分原始帧与插入帧的差异。对滤波后的图像进行逆离散余弦变换(Inverse Discrete Cosine Transform,IDCT)以计算各帧的边缘强度。在得到帧序列边缘强度曲线后,利用霍夫曼平均线对该曲线进行二值化,从而对插入的伪帧进行定位,并估算出视频原始帧率。该方法可以有效检测出采用帧率提升方法进行视频格式作弊的视频伪帧。实验结果与分析表明,本论文提出的三维视频帧率提升算法的主观图像效果及客观PSNR等指标均优于经典算法。提出的深度图修复算法可以减少深度图空洞与深度图噪声,提高深度图的质量。提出的伪帧检测算法在测试视频库上能达到97.2%的平均检测准确度。

关键词：三维视频帧率提升深度图修复深度相机

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

鲁棒性稀疏表示深度图修复算法

鲁棒性稀疏表示深度图修复算法

作者：刘喜恩北京工业大学

学位级别：硕士

深度图在计算机视觉领域里具有重要的作用，因为它提供了一条有效的线索（深度数据）来刻画和理解现实世界中的物体和场景，这些是普通的视觉图像所不能代替的。近年来随着深度图获取的普及，关于深度图应用的研究逐渐成为一个热点。然... 详细信息

深度图在计算机视觉领域里具有重要的作用，因为它提供了一条有效的线索（深度数据）来刻画和理解现实世界中的物体和场景，这些是普通的视觉图像所不能代替的。近年来随着深度图获取的普及，关于深度图应用的研究逐渐成为一个热点。然而无论是通过3D扫描设备直接获取的深度图还是由标准的视觉算法计算得到的深度图都无法直接进行应用，因为这些深度图中都包含了大量的噪声。因此构造有效的算法对噪声深度图进行修复是一个亟需解决的问题。近年来流行的稀疏去噪模型有效的将图像的稀疏表示与字典学习技术相结合构造了自适应字典的稀疏表示模型，在图像的去噪与修复上取得了巨大的成功。与使用固定字典（如由余弦变换基或者小波基构成的字典）的稀疏表示模型相比，该模型通过图像样本对字典的训练使得字典能够自适应的学习当前所给图像的细节结构信息，因而能够更好的表示图像。鉴于在图像去噪上的成功，近两年来有相关研究者尝试将该模型用于深度图的修复。虽然基于字典学习的稀疏表示模型也能够自适应的获取深度图的结构信息，但对于深度图像的修复却缺乏鲁棒性。因为该模型是基于平稳的白高斯噪声假设而建立的，该假设对于普通图像一般成立，然而在深度图中除了轻微的高斯噪声外更多的是一些奇异点，遮挡块，边缘处的不确定像素点等非高斯噪声。实验表明这些非高斯噪声点不但会误导字典学习一些非正常的结构信息而且还会严重干扰稀疏编码的求解，从而极大的降低了深度图的修复效果。为了克服基于字典学习的稀疏表示模型对深度图修复缺乏鲁棒性的问题，本文构造了一种新的字典学习稀疏表示模型ILSR(Iterative Learning SparseRepresentation)。ILSR算法能够自动检测深度图中的坏点（被非高斯噪声严重污染的象素点）并通过构造混合深度图的策略逐渐消除非高斯坏点噪声对字典学习和稀疏求解的干扰作用。在整个算法框架中，坏点的检测和字典的学习融入了一个交替迭代的稀疏表示过程中，并在迭代的过程中使用自适应阈值进行稀疏编码。通过几次迭代修复，该算法在保持深度图细节结构的同时有效的移除了图中的噪声信息，最终修复出高质量的深度图像。为了进一步改善ILSR算法的性能，增强鲁棒性，提高修复速度，本文将中值滤波与ILSR算法进行有效的结合构造出两阶段深度图修复算法S-ILSR (Speed Iterative Learning SparseRepresentation)。第一阶段称之为快速修复阶段，在该阶段通过中值滤波对大噪声进行快速的消除并通过构造混合深度图实现对深度图的快速粗糙修复。第二阶段称之为深度修复阶段，在该阶段通过迭代稀疏重构模型对残存的噪声进行进一步移除从而实现深度图的高质量精细修复。为了验证本文方法的有效性，在公开的USF库和Middlebury库上进行了一系列的对比实验。实验结果显示，本文所构造的鲁棒性字典学习稀疏表示模型能够有效的移除深度图中的噪声，实现对深度图的高质量修复。

关键词：深度图修复鲁棒性去噪稀疏表示字典学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于像素值梯度变化的深度图修复算法

现代计算机 2019年第25期25卷 51-54页

作者：冯晶明苗文娟畅青四川大学计算机学院

深度图修复是计算机视觉研究领域一项重要研究问题。当前的深度传感器,在采集深度的时候会出现空洞以及物体边缘模糊化问题。为此,提出一种基于像素值梯度变化的深度图修复算法。该算法首先结合灰度图将深度图中含有空洞的区域分为两部... 详细信息

深度图修复是计算机视觉研究领域一项重要研究问题。当前的深度传感器,在采集深度的时候会出现空洞以及物体边缘模糊化问题。为此,提出一种基于像素值梯度变化的深度图修复算法。该算法首先结合灰度图将深度图中含有空洞的区域分为两部分,然后对不同部分的像素点对应的深度值采用不同的方法进行修复:①针对空洞为灰度图像素梯度变化较低的部分直接利用邻域内的有效深度值,计算空洞区域内像素的深度值;②针对空洞为灰度图像素梯度变化较大的部分将像素点邻域内与该像素点权值系数最大的点所对应的深度值作为该点的深度值。

关键词：梯度变化深度图修复边缘处理

基于深度边缘判别模型的深度图空洞修复算法研究

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于深度边缘判别模型的深度图空洞修复算法研究

作者：甘林昊重庆大学

学位级别：硕士

深度图像作为一种三维场景信息的重要表征方式,被广泛地应用到当今的计算机视觉系统中。然而出于设备及环境方面的因素,通常用来采集的深度相机都无法获取到完美的深度图像,一般存在深度信息区域缺失、噪声等问题。在这些问题当中,深度... 详细信息

深度图像作为一种三维场景信息的重要表征方式,被广泛地应用到当今的计算机视觉系统中。然而出于设备及环境方面的因素,通常用来采集的深度相机都无法获取到完美的深度图像,一般存在深度信息区域缺失、噪声等问题。在这些问题当中,深度信息区域缺失是其中较为难以解决的问题。因此本文将基于上述背景之下,对如何修复深度图像中的深度信息缺失区域(也称为空洞区域)进行深入研究,希望能够基于现有的算法基础之上提出一种行之有效的提高算法。同时,该深度信息缺失区域修复问题通常被称为深度图像空洞修复问题。本文的主要工作可以归纳为以下几方面:(1)通过对常用的深度图像修复算法研究发现,基于边缘信息的局部算法希望利用从深度图像中提取的物体边缘(下称深度边缘),对深度图像信息缺失区域进行引导修复,但由于深度图像上存在信息缺失区域,所以目前只能从彩色图像上提取物体边缘(下称彩色边缘),因此,本文对深度边缘的作用和提取问题进行了深入研究。(2)提出了一种基于深度边缘判别模型的深度信息缺失区域修复框架。该框架由两大部分组成:第一部分是边缘提取模块,其为一个深度边缘判别模型,包括深度边缘概率提取模型和候选点提取算法。其首先用边缘提取算子对彩色图像提取边缘像素点做为候选点集合,然后用深度边缘概率提取模型(如卷积神经网络模型)在候选点集合中选出最终深度图像上的边缘点;第二部分是滤波模块,由联合三边滤波器、方向联合双边滤波器以及局部方向联合双边滤波器等三种滤波算法组成。其依据边缘信息对深度图像中的深度信息缺失区域进行修复。(3)本文在Middlebury Stereo数据集上进行模拟数据的算法验证,实验效果表明:首先,方向联合双边滤波器在边缘区域的空洞修复效果要比区域方向联合双边滤波器更好;其次,联合三边滤波器较双边滤波器来说,在噪声的处理上要更好一些;最后,该框架在对比原有算法的基础下,在数据集上的修复效果有一定的提升。

关键词：判别模型深度图修复深度边缘空洞修复

基于RGB-D相机的小型汽车外廓尺寸测量方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

激光杂志 2024年

作者：孙盛王天赐余旭广东工业大学

为了快速且精确地获取小型汽车的外廓尺寸参数，提高机动车检验机构的检测效率和降低成本投入，提出了一种基于RGB-D相机的小型汽车外廓尺寸高精度测量方法。采用REALSENSE D455和树莓派开发板搭建了实地测量硬件系统，利用目标检测与... 详细信息

为了快速且精确地获取小型汽车的外廓尺寸参数，提高机动车检验机构的检测效率和降低成本投入，提出了一种基于RGB-D相机的小型汽车外廓尺寸高精度测量方法。采用REALSENSE D455和树莓派开发板搭建了实地测量硬件系统，利用目标检测与实例分割网络模型YOLOv8提取出小型汽车对应的实例目标。针对RGB-D相机捕获车辆图像及生成点云存在的问题，分别进行深度图像修复和点云滤波处理，融合点云后自动提取外廓尺寸参数。在实验中，对4种不同型号的小型汽车进行室外实地测试，实验结果表明，该方法对小型汽车外廓尺寸的测量误差小于±1%，满足国标的要求。

关键词：外廓尺寸测量小型汽车深度图修复三维重建

基于机器视觉的支护钢带锚孔智能识别与定位系统研究

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于机器视觉的支护钢带锚孔智能识别与定位系统研究

作者：张夫净太原理工大学

学位级别：硕士

煤炭作为不可再生资源,是我国能源供给的重要基础,在未来很长时间中煤炭仍将占据我国能源消耗的主体地位。在煤矿智能化发展过程中,掘进智能化的发展明显落后于综采智能化,巷道支护自动化、智能化是掘进智能化面临的主要难题之一,目前... 详细信息

煤炭作为不可再生资源,是我国能源供给的重要基础,在未来很长时间中煤炭仍将占据我国能源消耗的主体地位。在煤矿智能化发展过程中,掘进智能化的发展明显落后于综采智能化,巷道支护自动化、智能化是掘进智能化面临的主要难题之一,目前主要使用锚杆对煤矿巷道进行支护,在巷道地质条件不好时需要使用支护钢带辅助支护。针对煤矿巷道用钢带辅助锚杆支护时,由于支护自动化、智能化水平较低,支护钢带锚孔的定位主要依靠人工完成,若定位不准确会存在较大安全隐患等问题,提出一种利用基于深度学习的目标检测算法结合深度摄像头的煤矿巷道支护钢带锚孔智能识别与定位系统。主要研究内容和研究成果如下:(1)支护钢带锚孔识别与定位系统设计。首先引入了边缘计算技术,将锚孔识别与定位算法部署到边缘计算设备上,在更靠近终端的地方完成锚孔识别与定位任务,保证锚孔识别与定位的实时性。其次对目标检测算法进行介绍,并根据本研究锚孔检测任务的需求和目标检测模型的大小以及检测准确率选择YOLOv5s模型来完成锚孔检测任务,并阐述了锚孔检测模型设计流程。然后根据摄像头成像模型以及坐标系之间的转换关系,设计了基于双目摄像头的锚孔定位模型,实现将图像中锚孔的像素坐标系坐标转换到相机坐标系坐标。最后通过分析锚孔识别与定位任务的需求和系统应该具备的功能设计了完整的锚孔识别与定位系统。(2)支护钢带锚孔检测研究。首先构建支护钢带锚孔数据集。在实验室模拟巷道中仿照井下环境特点,拍摄锚孔图像。为防止模型训练过程中出现过拟合现象,使用图像数据增强技术,增加数据集的多样化,提高训练后模型的泛化能力。然后针对锚孔图像较暗,且有粉尘和水雾干扰的问题,使用对比度受限自适应直方图均衡化对锚孔图像进行预处理,增强锚孔在图像中的特征。最后对锚孔图像进行人工标注,将标注后的图像分为训练集和验证集。在模型训练过程中由于锚孔在图像中像素占比小,为防止在卷积过程中忽略了较小锚孔的特征,提高模型对较小的锚孔的检测准确率所以使用SPD-Conv替换YOLOv5s模型中的跨步卷积,并且在YOLOv5s模型中加入坐标注意力模块,提升模型对锚孔特征的关注度,进一步提高模型对锚孔的检测能力。模型训练结果表明,本研究提出的改进后的YOLOv5s模型的mAP值达到了96.24%,相比YOLOv5s模型提高了1.43%,并且选取部分锚孔图像进行模型检测能力对比测试,结果表明本文提出的改进后的YOLOv5s模型能在一定程度上避免出现漏检、误检问题,说明本文提出的改进后的YOLOv5s模型有更强的检测能力。(3)支护钢带锚孔定位研究。首先进行了摄像头标定,获得了摄像头内参数和畸变参数,为定位研究奠定基础。在求解锚孔中心点相机坐标系坐标时需要通过深度摄像头生成的深度图获取锚孔中心点的深度值,但是深度图存在深度值为0的孔洞,这些孔洞可能会影响定位精度,所以提出了一种基于联合双边滤波、图像形态学运算和中值滤波的深度图修复方法,通过修复结果可以看出,本文提出的深度图修复算法能够在充分保留物体边缘特性的前提下填充深度图的孔洞,防止定位过程中出现深度值为0的点,导致定位误差。实验结果表明本文提出的锚孔智能识别与定位算法能实时、准确检测出锚孔,并获得锚孔中心点在相机坐标系的三维坐标,X、Y、Z三个方向上定位误差不超过5 mm,满足精准定位的要求。说明基于深度学习目标检测模型结合深度摄像头的锚孔实时识别与定位方法在煤矿这种非结构环境下是可行的。(4)支护钢带锚孔智能识别与定位系统研究。首先为搭建完整的锚孔智能识别与定位系统,先设计了锚杆钻机无线监控系统,在WPF框架下利用C#语言设计了锚杆钻机远程控制界面,并利用远程无线模块实现了锚杆钻机远程无线控制。然后进行锚孔智能识别与定位系统的硬件选型以及系统搭建。又分析锚孔识别与定位任务的需求,选择Eye-In-Hand模型,将摄像头安装在锚杆钻机机械臂上跟随机械臂运动,通过手眼标定实验获得相机坐标系和机械臂末端坐标系之间的转换关系。最后在实验室模拟巷道中利用锚孔智能识别与定位系统进行锚孔识别与定位实验,实验结果表明本文提出的锚孔识别与定位系统可以准确识别出支护钢带锚孔并获取锚孔相对于机械臂末端的三维坐标,且X、Y、Z三个方向上最大误差7.8 mm,具有良好的定位精度,满足定位要求。

关键词：深度学习锚孔识别与定位边缘计算 YOLOv5 深度图修复

RGBD视觉场景深度图像修复与三维重建关键技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

RGBD视觉场景深度图像修复与三维重建关键技术研究

作者：王广建江西理工大学

学位级别：硕士

三维重建是通过二维图像数据或三维点云数据对视觉场景下物体三维立体信息的还原过程,并广泛应用于三维数字化城市、增强现实、文物保护等领域。随着RGBD相机深度图像采集质量的不断提高和各个领域对三维精细化模型的需求,基于RGBD数据... 详细信息

三维重建是通过二维图像数据或三维点云数据对视觉场景下物体三维立体信息的还原过程,并广泛应用于三维数字化城市、增强现实、文物保护等领域。随着RGBD相机深度图像采集质量的不断提高和各个领域对三维精细化模型的需求,基于RGBD数据的三维重建技术逐渐成为研究的热点问题。本文以视觉场景下的RGBD数据作为实验数据,展开对深度图像的空洞修复及三维重建过程的几项关键性技术的研究和创新。本文的主要研究内容如下:（1）针对深度图像边缘交融特征区域的空洞修复问题,提出一种顾及边缘交融特征的自适应滤波修复算法。算法融合了RGB图像和深度图像的边缘信息,并将得到的边缘信息加入到滤波窗口的权重值判定中;然后,通过改进自适应联合双边滤波算法进行滤波修复。本文算法能够有效地修复边缘交融特征区域的空洞。并保证深度图像边缘交融区域空洞在修复后的深度值准确性。（2）针对提高点云配准速率和配准精度问题,提出了一种结合NDT和Trimmed ICP的点云配准算法。算法通过结合NDT算法具有配准速率快的特点以及Trimmed ICP算法还顾及点云间配准只存在部分重叠度的问题,通过NDT算法对点云进行粗略配准和Trimmed ICP算法进行精确配准的方式,达到了既能快速配准点云数据,又能保证点云数据配准的精确性的效果。（3）针对点云的三维重建问题,对几种常见的基于网格三角化和基于曲面拟合的三维重建算法以及三维模型彩色纹理构建进行了研究。使用配准好的视觉场景RGBD数据作为实验数据,并分别采用不同三维重建算法进行三维重建实验。经实验分析和比较得出,贪婪投影三角化算法更适合于建立视觉场景下的三维模型。

关键词：深度图修复三维重建点云配准联合双边滤波 Trimmed ICP

室内场景下移动机器人导航中距离传感器的深度表现优化技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

室内场景下移动机器人导航中距离传感器的深度表现优化技术研究

作者：余家伟江汉大学

学位级别：硕士

距离估计是移动机器人和无人驾驶汽车的重要能力,为了保障行驶安全需要在行驶过程中不碰撞到任何人或物,也就是要实现自主避障和导航。当前主流的距离传感器是激光雷达和相机,但是两者受到各自工作原理等因素的影响,在深度获取上都有着... 详细信息

距离估计是移动机器人和无人驾驶汽车的重要能力,为了保障行驶安全需要在行驶过程中不碰撞到任何人或物,也就是要实现自主避障和导航。当前主流的距离传感器是激光雷达和相机,但是两者受到各自工作原理等因素的影响,在深度获取上都有着不足。针对移动机器人导航中距离传感器深度获取存在的问题,本文分别提出一种激光点云上采样方法和一种基于语义分割的MRF深度图修复方法;为了提升室内场景下语义分割精度,本文提出了针对RGB-D数据的深度可变形注意力模块,将RGB图像和深度图像进行特征融合。针对低线数机械式激光雷达存在获取的点云垂直方向分辨率低以及因物体之间的遮挡导致点云缺失的问题,本文提出了基于点云空间特性的上采样方法和通过线性拟合对缺失点云进行补全。通过对点云缺失区域的每一条激光线束点云进行线性拟合,对拟合曲线进行插值来补全缺失点云;补全之后的点云在相邻的激光线束之间按照角度均分的方式进行插值,对点云进行上采样。该方法能够设置任意上采样因子,有效提升点云的稠密性,一次上采样和二次上采样至少能够分别提升62.3%和124.6%的点云数目。对缺失点的补全能够和原始点云很好的契合,经过补全后的点云进行一次上采样的点云数目与未经过补全的点云进行一次上采样的点云数目相比提升了4.7%。并且新生成的点满足激光雷达点云的波动特点,结果更加可靠。针对室内场景由于光照不均匀、物体种类多、物体间空间距离小以及物体之间颜色和纹理相似,导致单纯依靠彩色图像对室内环境进行精确的语义分割面临巨大挑战。本文提出深度可变形注意力模块,将深度信息与视觉信息在主干网络特征提取阶段进行融合得到双模特征,利用可变形卷积的采样偏移性改善传统卷积受固定几何结构的影响,增强了卷积核对形状大小不一的物体的适应能力,加入注意力机制能够更加有效提取特征。本方法与编码阶段的高级别特征和低级别特征进行两次融合的策略相比,在NYUv2数据集上进行测试,mIoU分别提升了9.59%和7.97%,PA分别提升了4.87%和3.35%,MPA分别提升了15.64%和13.38%,和其他先进方法相比也有明显的优势。针对深度相机获取的深度图存在深度空洞和边缘深度模糊问题,本文提出了由语义分割作为先验信息引导的深度缺失处理和深度图平滑降噪方法。首先,通过传感器采集彩色图像以及和彩色图像对齐的深度图像,将彩色图像和深度图像输入语义分割网络进行分割得到深度平滑的各个物体;然后,利用深度数据和颜色数据的空间、结构相关性,结合语义分割结果标签,填充深度空洞;最后,构建马尔可夫随机场(Markov Random Field,MRF)模型,结合语义分割结果标签,对深度图进行修复。实验结果表明,本文算法和传统MRF算法、双边滤波等算法比较,具有对不同的深度空洞鲁棒性更好,在复杂深度空洞的情况下,修复后的图像PSNR值至少提高了7.7%。真实场景的深度图经过本文算法修复后,图像整体平滑、边缘清晰,伪影得到改善,图像质量明显提升。本文主要针对激光雷达和深度相机两种深度获取传感器的深度表现优化以及室内RGB-D语义分割进行研究,提出的方法对三维重建、逆向工程、室内移动机器人、自动驾驶感知等领域具有重要意义。

关键词：移动机器人距离传感器点云上采样 RGB-D语义分割深度图修复