检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于物方体素约束的深度图融合方法

北京测绘 2022年第11期36卷 1443-1448页

作者：张帅哲刘振东刘新蔡昊琳屈文虎张栋山东科技大学测绘与空间信息学院山东青岛266590 中国测绘科学研究院北京100089 泰安金土地测绘整理有限公司山东泰安271018

稠密重建是多视立体视觉三维重建技术中的关键环节,主要包括密集匹配以及深度融合两步。目前深度融合生成的密集点云仍然存在密度大、质量参差不齐等问题。为此,本文提出一种基于物方体素约束的深度图融合方法。在该方法中,首先根据影... 详细信息

稠密重建是多视立体视觉三维重建技术中的关键环节,主要包括密集匹配以及深度融合两步。目前深度融合生成的密集点云仍然存在密度大、质量参差不齐等问题。为此,本文提出一种基于物方体素约束的深度图融合方法。在该方法中,首先根据影像的地面分辨率自适应地确定体素网格尺寸;其次利用场景的几何特征约束计算融合点坐标;然后基于物方体素约束筛选融合点;最后利用无人机采集的滕州市某镇驻地倾斜影像数据以及ETH3D公开数据集进行验证。实验结果表明,本文方法能够有效降低密集点云密度并保证点云质量。

关键词：多视立体匹配深度图融合物方体素几何特征约束权重函数

在线全文

学校读者我要写书评

暂无评论

一种基于置信度的深度图融合方法

现代计算机（中旬刊） 2016年第12期 66-69页

作者：董鹏飞四川大学计算机学院成都610065

在三维重建过程中,由于受到噪声影响,计算出的深度图精度无法保证。针对此问题,提出一种基于置信度的抗噪融合方法。首先对每幅深度图来进行修正,并利用一致性原理来剔除错误点并填补某些空洞。然后通过保留在自身邻域内具有最高置信度... 详细信息

在三维重建过程中,由于受到噪声影响,计算出的深度图精度无法保证。针对此问题,提出一种基于置信度的抗噪融合方法。首先对每幅深度图来进行修正,并利用一致性原理来剔除错误点并填补某些空洞。然后通过保留在自身邻域内具有最高置信度的三维点,以删除冗余。最后将深度图反投影到三维空间,采用迭代最小二乘法优化三维点并剔除离群点。通过在测试数据集上与其他算法比较,验证此方法的有效性。

关键词：多目立体视觉三维重建深度图融合

在线全文

学校读者我要写书评

暂无评论

基于深度图的点云融合算法与系统研究

基于深度图的点云融合算法与系统研究

作者：曾光华中科技大学

学位级别：硕士

随着立体匹配算法的成熟与深度传感器的普及,获得深度图的方式更加便利,使得通过深度图序列恢复物体点云模型成为可能。如今在虚拟现实、3D打印等众多前沿场景应用中点云都具有重要意义。基于深度图的点云融合具有灵活性强的特点,但其... 详细信息

随着立体匹配算法的成熟与深度传感器的普及,获得深度图的方式更加便利,使得通过深度图序列恢复物体点云模型成为可能。如今在虚拟现实、3D打印等众多前沿场景应用中点云都具有重要意义。基于深度图的点云融合具有灵活性强的特点,但其过程中视角间存在大量冗余信息与无关背景点都会损害点云质量。本文借助一个多深度融合系统对以上问题展开研究。针对多深度融合中的冗余问题,提出一个建立在假设-检验框架下的融合算法。首先通过多视点之间的相机参数计算图像之间的单应性矩阵,建立视点间初步的对应关系。其次,为了进一步优化此对应关系,提出了基于多视点间视差差异的概率分布模型,联合此模型与三维点上的法向量信息计算每个点的视差置信度,并根据此置信度的值影响点云融合过程中该点的权重。若置信度满足接收域的条件则融合此点,否则在融合过程中拒绝该点。为了增强融合的实时性能,上述算法流程在GPU框架上实现并在公开和自有数据集上测试,实验结果表明该算法能有效解决点云融合消除冗余信息问题,获得高质量的点云模型。针对多深度融合系统中多相机标定问题,提出一个非共面多相机联合标定算法。通过联合标定物标定法与自标定法,结合两者优势建立初步相机参数信息。借助相机阵列的几何先验,估计经过所有相机光心的最小距离误差方程,通过迭代优化的方法更新该方程与离群相机光心的坐标,达到优化相机外部参数的目的。此外,在实验室环境下搭建一个多深度融合系统,该系统旨在达到一个端到端点云生成目的。系统使用上述联合标定算法获取相机参数,通过立体匹配方式获得深度信息,并应用提出融合算法输出物体点云模型。该融合系统上已建立一套自有多视点立体视觉数据集可以公开使用。

关键词：点云模型深度图融合一致性检测置信度多深度融合系统

基于多RGBD摄像机的动态场景实时三维重建系统

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

北京理工大学学报 2014年第11期34卷 1157-1162页

作者：段勇裴明涛北京理工大学计算机学院智能信息技术北京市重点实验室北京100081

使用多台基于FPGA嵌入立体计算的RGBD摄像机搭建动态场景实时三维重建系统.RGBD摄像机能够以视频速度输出场景的彩色(RGB)图像及对应的稠密视差(disparity)图像,由视差图像可进一步得到场景的深度图.多台RGBD摄像机运行在统一的外部时... 详细信息

使用多台基于FPGA嵌入立体计算的RGBD摄像机搭建动态场景实时三维重建系统.RGBD摄像机能够以视频速度输出场景的彩色(RGB)图像及对应的稠密视差(disparity)图像,由视差图像可进一步得到场景的深度图.多台RGBD摄像机运行在统一的外部时钟和控制信号下,可实现对目标场景数据的同步采集.为了提高各视点所获取的场景深度图质量,根据多RGBD摄像机系统视点分布较为稀疏的特点,使用概率密度函数估计的方法进行多视点深度图的融合.融合后的深度图由PC集群进行处理,可实时生成所拍摄场景的三维空间点云.实验结果表明,本文系统可以有效地重建包含多个运动目标的大型动态场景.

关键词：立体视觉多视点实时三维重建深度图融合

在线全文

学校读者我要写书评

暂无评论

面向输电线路场景的单目深度估计研究与应用

面向输电线路场景的单目深度估计研究与应用

作者：李科伟山东大学

学位级别：硕士

根据《国家电网有限公司2021年生产安全事故(事件)分析报告》显示,施工车辆、树木、鸟害以及异物等外力干涉是引起输电线路故障的重要原因之一,因此针对输电线路下的外部目标巡检对于维护电网安全稳定运行至关重要。其中,判断外部目标... 详细信息

根据《国家电网有限公司2021年生产安全事故(事件)分析报告》显示,施工车辆、树木、鸟害以及异物等外力干涉是引起输电线路故障的重要原因之一,因此针对输电线路下的外部目标巡检对于维护电网安全稳定运行至关重要。其中,判断外部目标与输电线路之间的距离关系是巡检工作中的重要一环。随着计算机视觉技术的快速发展,固定巡检摄像机、无人机巡检等无人巡检方式正在逐步取代人工巡检方式。但在目前的无人巡检方案中,固定巡检摄像机方案大多采用深度相机进行测距,无人机巡检方案大多采用激光雷达进行测距,这导致无人巡检的使用成本和后期维护成本较高。针对该问题,本文将单目深度估计技术引入电力领域的无人巡检任务中,可实现利用采集的图像直接计算出满足精度要求的距离,以减少无人巡检任务对深度相机和激光雷达等测距硬件的依赖,从而进一步降低使用成本和维护成本。目前主流的单目深度估计算法大多为基于卷积神经网络的编码器-解码器架构的方法,本文通过分析主流方法在应用于输电线路场景中的不足之处,总结了在当前场景下进行单目深度估计的挑战,即如何有效地避免卷积神经网络结构通过降采样扩大感受野的方式带来的细粒度信息损失的问题、如何有效地解决远距离小目标的预测精度过低的问题、如何在保留深度图中局部细节信息的同时保证深度图的预测一致性。针对输电线路场景下进行单目深度估计面临的挑战,本文在图像信息处理模块中采用Transformer架构建模深度预测过程,使得模型在保证全局感受野的同时,可以充分利用细粒度信息,从而确保了对于图像信息处理的完备性;针对实际场景中的远距离小目标,本文在自适应补丁嵌入模块中实现了多尺度特征的自适应选择,模型可以针对不同远距离小目标,学习到与自身更相关的尺度信息,从而更好地完成对深度图的预测;为了保留深度图中的局部细节信息并保证深度图的预测一致性,本文设计了多粒度深度图融合模块,用于整合模型在不同分辨率下深度估计的优势,将在低分辨率下的预测深度图的一致性优势与在高分辨率下的预测深度图的局部细节信息丰富的优势相结合,以此提升模型整体的预测准确性。本文在输电线路场景数据集上分别进行了详细的对比实验分析和消融实验分析。实验结果表明,本文模型相比于基线方法,AbsRel和SiLog分别提高了至少0.11和5.476。目前该算法已经在实际场景中落地应用,并取得了良好的预测效果。

关键词：输电线路单目深度估计注意力机制补丁嵌入深度图融合

基于立体视觉的多视角三维重建系统的研究与设计

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于立体视觉的多视角三维重建系统的研究与设计

作者：袁坤吉林大学

学位级别：硕士

三维重建是计算机视觉研究领域的经典问题之一。本文以立体视觉理论为基础,同时引入了运动建模算法(SFM)和多视角深度图融合算法,实现了一个基于立体视觉的多视角三维重建系统。本文三维重建系统包括三个模块:基于立体视觉的深度图模块... 详细信息

三维重建是计算机视觉研究领域的经典问题之一。本文以立体视觉理论为基础,同时引入了运动建模算法(SFM)和多视角深度图融合算法,实现了一个基于立体视觉的多视角三维重建系统。本文三维重建系统包括三个模块:基于立体视觉的深度图模块,基于运动建模的运动恢复模块和多视角深度图融合模块。基于立体视觉的深度图模块摄像机标定方面采用了张氏标定法,在立体校正方面采用了依赖摄像机外参数Bouguet算法,立体匹配方面则提出了一个改进的基于B-T匹配代价的局部立体匹配算法,并对实验结果进行了详细的对比分析,结果表明,本文改进的立体匹配算法在准确性方面有一定提升。基于SFM的运动恢复模块采用了基于优化引擎的SFM算法,并针对本文三维重建系统,做了一定优化改进,实验结果表明,优化改进的SFM算法恢复出了比较准确的运动矩阵,基本满足多视角深度图融合模块的应用需求。多视角深度图融合模块采用了基于可见性约束的深度图融合算法,算法对存在大量错误和冲突的深度图做了一系列依据可见性约束的一致性检测,最后将多个视角深度图融合为一体,重建出整体一致的全方位三维点云模型。最后的三维重建实验获得了准确性较高的实验结果,一定程度上表明了深度图融合算法的作用。本文的创新点主要有两方面,其一是提出了一个改进的基于B-T匹配代价的局部立体匹配算法,实验结果表明本文算法的准确性方面优于其他局部算法。其二是对原基于优化引擎的SFM算法进行了改进,使算法的准确性和效率得到了进一步提升。另外,本文三维重建系统采用了多视角深度图融合算法,该算法为三维重建的整体鲁棒性与一致性提供了保障,使重建效果更加完善。

关键词：计算机视觉三维重建立体视觉运动建模深度图融合

基于多传感器融合的足式机器人实时鲁棒三维环境感知技术研究应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多传感器融合的足式机器人实时鲁棒三维环境感知技术研究应用

作者：黄开基华中科技大学

学位级别：硕士

三维感知技术是机器人感知周围环境中三维信息的关键技术,是足式机器人进行路径规划等高级决策的基础。为了应对特殊任务需求和复杂作业环境,要求三维感知系统能够进行高速、高精度、高鲁棒性的场景深度估计。因此,本文针对足式机器人... 详细信息

三维感知技术是机器人感知周围环境中三维信息的关键技术,是足式机器人进行路径规划等高级决策的基础。为了应对特殊任务需求和复杂作业环境,要求三维感知系统能够进行高速、高精度、高鲁棒性的场景深度估计。因此,本文针对足式机器人中的高速高精高鲁棒三维感知问题开展研究,设计了一套基于多传感器融合的三维感知方案,并提出了一种局部描述子算法。具体研究工作如下:(1)针对双目相机和ToF(Time of Flight)相机的配准问题,本文研究了一种基于2.5D图案的标定方法。该方法分别对双目和ToF相机进行内参数标定,使用ToF深度数据与RGB(Red Green Blue)图像进行外参数标定,实现了对双目和ToF数据的精确配准。该方法达到了0.21 pixel重投影误差,优于基于棋盘格张标定法。(2)围绕单一数据来源的深度估计算法无法在复杂场景精确测距的问题,本文提出了一种基于置信度的双目和ToF的融合算法CTSLF(Confidence-based ToF Stereo Local Fusion)。该算法首先对稀疏ToF数据进行双边引导上采样,然后对双目视觉数据和ToF数据分别估计置信度,最后通过局部一致性算法(Locally Consistent,LC)进行数据融合。该融合算法的平均误差达到1.05%,优于双目、ToF和经典LC方法。(3)针对足式机器人回环检测和Sf M(Structure from Motion)等任务中现有描述子鲁棒性不足的问题,本文提出了一种基于空间对抗干扰的动态概率加权描述子算法SAPNet。该算法通过生成具有几何空间变换的对抗样本,提高了网络对视角变换的鲁棒性;同时使用了基于动态概率加权的方法,使得网络更专注于决策边界的样本优化。本文提出的SAPNet在UBC的指标达到了0.78%,超过了当前其他描述子。在理论研究的基础上,本文研制了一套实时鲁棒三维感知装置,并将CTSLF算法使用CUDA进行实现,从而达到了1024×1024 pixels@120 fps的双目图像和62fps融合深度图输出。本文在多种任务进行了实验验证,该系统优于单一传感器和市面上常见的RGB-D(Red-Green-Blue-Depth)传感器方案,证明了该系统的有效性。

关键词：三维感知多传感器标定深度图融合局部描述子三维感知装置

基于体扫描显示器的多视角立体三维重建系统的研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于体扫描显示器的多视角立体三维重建系统的研究

作者：徐伟华东师范大学

学位级别：硕士

三维显示器被誉为未来显示的发展趋势,体扫描显示器是今年来涌现的新产品。较之于传统的两维显示器和目前主流的双目视差立体显示器,它能赋予人们观察客观场景更直接的感受,同时能允许多人、多角度、裸眼观看场景。采用多视角立体的三... 详细信息

三维显示器被誉为未来显示的发展趋势,体扫描显示器是今年来涌现的新产品。较之于传统的两维显示器和目前主流的双目视差立体显示器,它能赋予人们观察客观场景更直接的感受,同时能允许多人、多角度、裸眼观看场景。采用多视角立体的三维重建系统能够采集现实世界物体的体像素信息,将体扫描显示器的应用领域推广到在军事、医疗、科学计算可视化、制造工程、文化娱乐、虚拟商贸、教育实训等方面,在未来的3D显示领域必占有可观的市场份额。本文对基于体扫描显示器的多视角立体三维重建系统进行了研究,主要集中在三个方向：摄像机网络,立体匹配和深度图融合。对于摄像机网络方面,首先分析了摄像机普遍存在的盲区现象,根据体扫描显示技术的360度可视性原理设计出像源采集网络的机械结构;然后针对立体校正中的对象泄漏问题,提出本文的解决方案：虚拟摄像机机制。试验结果表明在虚拟摄像机网络有效区域内采集的对象可以360度再现,并且实现了视角利用率的最大化。在立体匹配方面,首先分析了运算速率提高和匹配所面临的主要问题。运算速率主要限制是缺少适合普遍场景的对象分割方案,使得非感兴趣区域参与计算,导致算法效率的降低。匹配的问题包括：不同视角光强的变化,边界模糊匹配,稀疏纹理,重复纹理等。再提出了我们的方案。即,首先利用光流特性分割出对象;再用基于NCC的区域窗匹配克服不同视角光强问题;在NCC窗基础上加入方向特性来克服边界模糊匹配问题;再加上基于统计参数的自适应特性来解决稀疏纹理问题;最后加上高精度起始位匹配定位原则来克服重复纹理问题。此外整个算法可以以牺牲少量精度为代价,利用金字塔原理来提高运算速率。试验结果表明我们很好的实现了对象的分割以及成功了解决了常见的匹配问题。在深度图融合方面,首先给出了单幅深度图的计算公式;再推导了摄像机组坐标系间的转换矩阵;最后针对深度图融合中的干扰因素进行了分析并给出了相应的体滤波方案。仿真结果表明我们很好的实现了对象的360度再现。本文构建了从数据源采集的摄像机网络阵列设计到立体匹配的视差图计算再到深度图融合的完整框架,在目标体像素的再现和处理等相关的领域内有着重要的理论研究意义和商业利用价值。

关键词：体扫描显示器多视角立体三维重建摄像机网络立体匹配深度图融合

基于高帧率双目视觉的物体位姿估计方法及其在机器人抓取中的应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于高帧率双目视觉的物体位姿估计方法及其在机器人抓取中的应用

作者：曾灿灿上海交通大学

学位级别：硕士

在“中国制造2025”计划提出的背景下,中国工业对柔性生产线和智能机器人的需求越来越迫切。快速而准确的物体位姿估计是让机器人感知外部世界,实现机器人在复杂环境下操作三维物体（如抓取、装配）的基础。因此实时的三维物体检测和位... 详细信息

在“中国制造2025”计划提出的背景下,中国工业对柔性生产线和智能机器人的需求越来越迫切。快速而准确的物体位姿估计是让机器人感知外部世界,实现机器人在复杂环境下操作三维物体（如抓取、装配）的基础。因此实时的三维物体检测和位姿估计对于智能机器人的发展、对于中国制造“由大变强”目标的实现有着重要意义。目前对三维物体位姿估计的方法有两种,一种是基于二维图像检索的,另一种是基于三维点云配准的。前者需要获取大量的不同视角下的物体二维图像,对内存的消耗巨大且难以达到很高的精度。后者的鲁棒性和灵活性更好,且可以达到更高的精度,对于需要高精度位姿估计的应用已经成为一种趋势。但其存在对传感器精度过于依赖、单帧深度图的位姿估计在遇到无三维特征时可能失效等问题。目前大多数研究都选择了直接使用深度相机,例如基于结构光和ToF（Time of Flight）的深度相机,但是这类主动光深度相机受环境光影响严重,且多台设备同时使用时可能相互干扰。相比之下,双目相机不存在上述问题,但是双目相机的运算量巨大,难以做到实时深度估计,且精度相对较低。本文从深度图获取和采用多视角融合估计位姿等方面开展了以下工作:（1）提出了一种基于多尺度加权投票算法的高帧率双目匹配算法框架,该算法框架适用于多种立体匹配算法,本文以最为简单的块匹配（Block Matching）算法为例验证了算法框架的有效性。（2）采用了TSDF Volume模型对连续深度图进行时序融合,提高了深度图测量精度并提高了深度图的完整性。（3）采用了结合FPFH三维特征和ICP的由粗到精的点云配准方法,实现了较大位姿差异的两帧点云的高精度配准,从而实现了对机器人工作空间内三维物体在不同位姿状态下的高精度位姿估计。（4）搭建了一个机器人抓取实验平台,对多种物体的不同位姿实施了位姿估计和抓取,取得了在一定条件下物体检测成功率100%,重复定位位置精度0.2mm,方向精度0.02°,抓取成功率95%的实验结果。充分验证了提出算法的准确性和精确性。

关键词：位姿估计双目视觉深度图融合点云配准机器人抓取