检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于多传感器融合的室内三维重建系统

基于多传感器融合的室内三维重建系统

作者：刘丽颖北方工业大学

学位级别：硕士

近年来,随着虚拟现实、视觉识别领域的快速发展,开发场景理解能力强,并能应用于远程控制作业的移动机器人的平台是一个意义深远且极具挑战的课题。传统的基于计算机视觉的室内三维重建方法具有无法直接获取位置信息,鲁棒性较差等缺点。... 详细信息

近年来,随着虚拟现实、视觉识别领域的快速发展,开发场景理解能力强,并能应用于远程控制作业的移动机器人的平台是一个意义深远且极具挑战的课题。传统的基于计算机视觉的室内三维重建方法具有无法直接获取位置信息,鲁棒性较差等缺点。而雷达收集的三维点云缺少颜色支持,不便于直观的地形展现。基于上述问题本文提出了一种基于多传感器融合的室内三维重建系统。本文实现的室内三维重建系统主要包括多传感器数据融合、全局坐标系转换两个模块。在多传感器数据融合模块中,本文首先采用棋盘标定法实现相机的标定,并利用Levenberg-Marquardt方法快速迭代求解目标函数。为了获得精确的三维信息,本文结合雷达的几何模型进行了点云解算,在距离墙面的不同位置处作数据采集,实现了雷达内参标定的非线性优化。此外,本文还对雷达外参分为两部分进行标定:首先,将雷达坐标系下地平面和实际地面进行比对,求出雷达坐标系相对小车坐标系的俯仰角与侧滚角引起的旋转、平移矩阵。然后,比对匹配前后标定细杆在雷达坐标系与陀螺仪检测的小车的航向角及平移变化,求出航向角引起的旋转、平移矩阵。最后,合并上述两部分得到的参数矩阵,求得精确的雷达外参。本文提出了新颖的基于霍夫变换原理实现的二维墙面投影检测算法,利用连通区域标记算法(Connected Component Labeling,CCL)实现参数空间四个峰值的检测,通过计算获取二维直角坐标系的对应点,经过点云遍历和参数拟合后精确定位出墙体在场景中的位置。基于该墙体检测结果,本文采用二维棋盘标定板和墙面的联合标定装置利用两者共面的特性,统计出多组彩图下,相机坐标系中墙面的法向量矩阵、距离矩阵以及雷达坐标系下相应的两个矩阵,在求解出两者间投影变换矩阵后,将点云映射到视频流图像中。在全局坐标转换模块中,基于本文提出的室内定位系统,通过雷达和陀螺仪的信息融合,不断对IMU采集信息进行校准,实现雷达的同步定位。本文还研究了点云节约内存的快速加载与并行计算方法,提高了三维重建过程中图形图像处理的实时性。基于上述技术,本文实现了基于多传感器融合的室内三维重建系统,最终得到用图像渲染三维点云后的彩色激光图,实验验证了标定算法和全局定位算法的实用性,该工作为室内虚拟现实以及信息深度融合技术奠定了基础。

关键词：三维点云单目视觉多传感器融合室内三维重建 GPU

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

视觉SLAM技术在室内三维重建中的应用

测绘技术装备 2023年第4期25卷 77-80页

作者：刘学人刘康王安妮刘畅中煤航测遥感集团有限公司陕西西安710199

随着大数据、人工智能、数字孪生、元宇宙等对室内精细化三维重建的需求越来越多,快速、高效的三维重建成为了研究热点。视觉即时定位与地图构建(SLAM)作为高效的室内三维重建技术得到了广泛关注与快速发展。本文利用3D空间像机+视觉SLA... 详细信息

随着大数据、人工智能、数字孪生、元宇宙等对室内精细化三维重建的需求越来越多,快速、高效的三维重建成为了研究热点。视觉即时定位与地图构建(SLAM)作为高效的室内三维重建技术得到了广泛关注与快速发展。本文利用3D空间像机+视觉SLAM技术完成了室内2 500 m^(2)的快速三维重建与应用展示。最终结果表明,采用该方案能够快速完成三维结构重建,且三维成果具有丰富纹理信息,精度误差可以控制在厘米级。该方案作为室内三维重建技术的有效补充,可广泛应用于实景三维中国建设中部件级三维模型重建。

关键词：即时定位与地图构建 3D空间像机室内三维重建

在线全文

学校读者我要写书评

暂无评论

基于激光雷达的室内场景三维重建系统设计

电子设计工程 2019年第24期27卷 181-184,189页

作者：张明王铉陈柯颖中国民航大学中欧航空工程师学院

针对室内场景的三维重建问题,采用激光测距的方法并结合传感器及电机控制等技术设计了三维重建系统。该系统以树莓派卡片电脑为控制核心,以四轮模型小车为移动平台,搭载了RPLIAR A2激光雷达、MPU-6050惯性元件、测速码盘、电机及电机驱... 详细信息

针对室内场景的三维重建问题,采用激光测距的方法并结合传感器及电机控制等技术设计了三维重建系统。该系统以树莓派卡片电脑为控制核心,以四轮模型小车为移动平台,搭载了RPLIAR A2激光雷达、MPU-6050惯性元件、测速码盘、电机及电机驱动。本文首先搭建了硬件系统。其次进行了软件系统设计,分别设计并实现了设计了系统的人机交互界面、传感器数据传输功能、多传感器数据融合功能以及三维重建功能。最后进行测试,证明系统能够实现室内空间的三维重建,具有良好的精度。

关键词：室内三维重建激光测距激光雷达树莓派数据融合

在线全文

学校读者我要写书评

暂无评论

四元组标靶辅助下的RGB-D室内点云配准

测绘通报 2020年第12期 32-36页

作者：杨海舰徐二帅陈文佳许志华中国矿业大学(北京)地球科学与测绘工程学院北京100083 煤炭资源与安全开采国家重点实验室北京100083

面向室内弱纹理三维重建需求,本文以RGB-D摄影测量技术获取室内点云为基础,提出了四元组标靶辅助的点云配准方法。该方法首先通过阈值筛选大曲率点,自动识别邻接点云中的辅助标靶,然后采用随机采样一致性表达方法,拟合标靶参数及其中心... 详细信息

面向室内弱纹理三维重建需求,本文以RGB-D摄影测量技术获取室内点云为基础,提出了四元组标靶辅助的点云配准方法。该方法首先通过阈值筛选大曲率点,自动识别邻接点云中的辅助标靶,然后采用随机采样一致性表达方法,拟合标靶参数及其中心坐标,并根据拟合参数匹配同名标靶中心,通过刚性转换完成邻接点云粗配准。在此基础上,迭代估算邻接点云间的重叠区域,优化点云间的配准参数,从而实现点云精配准。利用Kinect相机获取两类室内场景各12站点云对本文方法进行测试,试验结果表明,配准后的多站点云间距最大均方根误差优于一个采样间隔,证明了该方法在弱纹理室内点云配准中的可靠性。

关键词：室内三维重建弱纹理 Kinect 点云配准四元组标靶

基于分层优化特征检测的复杂场景三维地图构建技术研究

在线全文

学校读者我要写书评

暂无评论

基于分层优化特征检测的复杂场景三维地图构建技术研究

作者：苏焱苏州大学

学位级别：硕士

随着现代产业的数字化和智能化进程不断深入推进,计算机视觉日益受到诸如医学图像处理、文物复原保护、影视娱乐、机器人和无人驾驶汽车等行业的密切关注。而三维重建技术作为计算机视觉领域中的热门研究方向之一,通过计算机重建出能精... 详细信息

随着现代产业的数字化和智能化进程不断深入推进,计算机视觉日益受到诸如医学图像处理、文物复原保护、影视娱乐、机器人和无人驾驶汽车等行业的密切关注。而三维重建技术作为计算机视觉领域中的热门研究方向之一,通过计算机重建出能精确、客观地展示现实场景和现实物体的三维空间模型具有比二维图形更加明显的优势,对如今现代化的生产生活发展具有十分重要的意义,是一项具有广泛应用前景和较高研究价值的热门研究方向。在三维重建研究方面,英美等国家起步较早,研究较为深入。而近年来,国内许多研究团队也在三维重建技术尤其是结合神经网络进行三维重建等方面取得了许多成果,推动了国内三维重建技术的发展。在实际三维重建过程中,仍然存在许多干扰因素影响着最终的重建效果。比如,相机在图像采集过程中移动过快易导致特征跟踪丢失,模型点云稀疏甚至缺失。图像特征处理不当易导致边缘、细节处的特征被忽略,从而影响特征匹配效果和位姿精度。考虑到累积误差的影响,相机多次经过同一地点的位姿估计会产生偏差,影响模型整体的视觉效果。针对上述问题,本文综合考虑系统的精确性、便捷性、鲁棒性等要素,从特征处理效果、位姿估计精度、三维重建效果、回环检测优化和图像采集平台等方面展开了研究,并尝试引入卷积神经网络来进一步优化模型中的回环效果,确保模型整体质量,最终构建起了一套比较完善可行的基于RGB-D（Red,Green,Blue and Depth Images,即包含红绿蓝三种颜色变化的彩色图像以及显示深度信息的深度图像）深度视觉相机移动式图像采集平台,改进的图像特征处理策略,分层优化位姿估计策略和多尺度图像特征检测网络优化回环效果的室内复杂场景三维重建系统。主要内容如下:（1）针对目前三维重建算法中的图像采集方式多以手持相机进行移动采集为主,对数据采集人员技术的依赖性较大,并且数据传输和处理方式不便捷的问题,本文设计了基于RGB-D深度视觉相机的远程移动式图像采集平台,通过局域网络中上位机PC对图像采集模块和运动控制模块中各自下位机的远程控制,分别实现利用RGB-D深度视觉相机进行图像采集和控制双轮差速式底盘进行移动的功能。最后通过安全文件传输协议实现数据传输,提高数据传输的便捷性。图像采集平台的搭建降低了图像采集的难度,提高了系统稳定性和可控性。（2）针对一些三维重建算法对图像特征处理存在的提取特征点数量不足,边缘、细节特征缺失以及位姿估计的误差较大导致模型变形或产生空洞等问题,本文提出了改进AKAZE特征算法与分层优化位姿估计的策略来优化系统对于图像特征的处理和位姿估计的精度。实验部分对SIFT,SURF,ORB,KAZE,AKAZE和本文改进后的AKAZE算法进行了图像特征提取与匹配的效果对比,验证了本文设计对于提升特征点数量和保留细节信息的有效性。并且本文还与Kintinuous,ElasticFusion和ORB-SLAM2算法的位姿结果进行比较,以TUM数据集fr2/metallicphere2的均方根误差（Root Mean Square Error,RMSE）为例,本文结果为0.143m,而上述三种算法的结果分别为0.254m,0.932m和0.205m,证明了本文位姿估计结果的精度优势。最后利用基于移动截断符号距离函数算法进行模型重建,并在所示的TUM公开数据集与实际实验场景中具有较好的重建效果。（3）针对目前一些三维重建算法在部分场景中的回环效果不佳,导致对重建模型的整体连接效果带来影响的问题,本文在传统视觉词袋模型的基础上,进一步利用深度学习方法作为辅助,利用多尺度图像特征检测网络进行图像特征识别。通过回环处图像对应的初始位姿进行位姿纠正,帮助重建模型实现回环处对齐。并通过回环效果优化前后的重建效果比较展示来验证了本文设计的优势。综上所述,本文针对室内复杂场景三维地图的构建进行了深入探究,设计了基于RGB-D深度视觉相机的远程移动图像采集平台,减少人为干扰因素对图像采集的影响,提高图像采集质量。改进后的AKAZE特征算法以及分层优化位姿估计策略改善了系统对图像的处理能力和位姿估计的精度,为模型提供良好的位姿信息。同时利用多尺度图像特征检测网络辅助模型进行优化,纠正回环处的位姿信息,有效提升了三维重建模型的整体效果。本文研究分别从图像采集与处理,位姿估计与优化,模型回环位姿调整方面进行了优化,并获得了良好的重建模型。

关键词：深度视觉相机位姿估计室内三维重建回环检测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于场景预分割的实时点云语义分割算法研究

基于场景预分割的实时点云语义分割算法研究

作者：吕坤杭州电子科技大学

学位级别：硕士

三维场景理解是计算机视觉和机器学习领域的一个重要研究方向,它旨在利用三维传感器数据和深度学习算法使计算机拥有和人类一样感知和理解真实世界的能力,是计算机与真实世界实现交互的基础。通常情况下,场景理解可解释为提取并分析几... 详细信息

三维场景理解是计算机视觉和机器学习领域的一个重要研究方向,它旨在利用三维传感器数据和深度学习算法使计算机拥有和人类一样感知和理解真实世界的能力,是计算机与真实世界实现交互的基础。通常情况下,场景理解可解释为提取并分析几何场景中的语义信息,即对三维场景进行语义分割。针对该任务,目前国内外主流方案分为两类,一类关注于对整体场景进行端到端的语义分割,另一类则致力于将实时重建与语义分割同步处理。本文结合国内外研究现状,针对应用于室内场景的重建与语义分割同步处理的实时语义分割任务,从框架搭建入手,并对框架中涉及到的场景主平面检测问题及点云聚类分割问题进行相关研究,具体研究内容如下所示:(1)提出了基于场景几何预分割的实时语义分割框架,致力于以物体为单位进行语义信息的提取,以解决上述两种主流方案对场景中物体边缘语义信息提取效果不佳的问题。本文随重建进程实时保持对室内场景主平面信息的检测,以获取当前场景中的点云物体,并对其进行几何上的聚类分割以保证物体及物体集合间互相独立,待其重建完毕后再对其进行语义信息的提取,以提高对物体边缘的语义信息提取效果。在公开数据集上的实验验证了本文方法的有效性。(2)针对点云场景主平面提取任务提出了离线及实时两种解决方案。离线主平面检测方案以整体点云场景作为输入,通过超体素分割降低计算量,并对超体素分割结果进行聚类,随后经由随机一致性采样算法来提取出聚类结果中属于主平面的部分。实时主平面检测方案为:随RGB-D序列的输入对每一帧深度图进行平面信息检测,再针对墙面及地面提出不同的约束方法以从平面信息中提取相应信息,并保持毫秒级别的速率,以满足实时重建系统的运行效率要求。(3)提出一种基于多视图模拟的点云聚类算法,在应用主平面检测算法后,将当前场景中的主平面信息去除以得到点云物体。依据当前帧相机姿态设定多个虚拟相机视角以渲染当前场景中的点云物体的投影图及该视角下的深度图像。随后,针对每个视角的投影图像进行超像素分割及聚类以捕获点云投影的区域,并通过深度图像进行坐标变换以获取点云物体的聚类结果。在公开数据集上的实验验证了该算法能够极大地减少点云聚类操作所需的计算量,在保证与点云欧式聚类算法精度一致的同时,实现了毫秒级别的运行效率。

关键词：室内三维重建三维场景理解点云平面检测点云聚类

基于多目视觉与电机耦合的静态室内场景定位方法与建图研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多目视觉与电机耦合的静态室内场景定位方法与建图研究

作者：许成浩杭州电子科技大学

学位级别：硕士

随着计算机视觉技术的不断发展与进步,室内场景三维重建技术也得到了相应的发展,并应用到了众多领域之中。相比于采用单一深度相机依靠人在房间中手持扫描的传统扫描方式,利用深度相机结合电机进行固定组合扫描来完成室内场景的三维重... 详细信息

随着计算机视觉技术的不断发展与进步,室内场景三维重建技术也得到了相应的发展,并应用到了众多领域之中。相比于采用单一深度相机依靠人在房间中手持扫描的传统扫描方式,利用深度相机结合电机进行固定组合扫描来完成室内场景的三维重建工作具有扫描速度稳定、重建精度较高和实时性能较好等特点。电机的引入可以帮助代替人工实现相机的稳定旋转扫描,并为相机的位姿匹配提供较为良好的先验信息。然而,如何有效利用和融合多相机与电机信息进行室内三维重建便成为了新的待解决问题。为此,本文基于自主设计的多目结构装置,将多相机与电机信息进行数据融合,针对室内场景的定位方法与建图以及多传感器间的标定与同步进行了相关研究,具体研究内容如下:(1)设计了一种基于多个深度相机与电机传感器的多目结构。根据自主设计和搭建的多目结构装置,构建了基于多目视觉与电机的模型。该模型通过引入和融合虚拟的、代表多相机簇位姿的刚体帧坐标系以及电机坐标系,建立了一个统一的观测方程用以描述其所观测到的室内环境信息。同时,为了获得该模型的各个参数,研究了电机与相机以及相机与相机之间的同步和标定问题。(2)设计了一种基于多个深度相机与电机传感器的位姿估计方法。首先,对电机数据进行线性插值处理,为后续相机位姿的匹配和解算提供先验信息;其次,利用多个相机的图像数据帮助扩大特征匹配的点对数量;最后,通过ICP迭代计算得到相邻两帧之间较为准确的相机位姿信息。这一方法可以有效地将电机与相机数据进行融合,并利用电机所提供的先验信息帮助解算和获得更为准确的相机位姿信息,有利于增强室内定位结果的准确性和实时性。(3)设计了一种基于多个深度相机与电机传感器的因子图框架。基于所设计的多目结构模型,构建了其对应的因子图框架。通过引入地标观测因子、相机位姿正则化因子和电机-相机位姿正则化因子,以约束整个装置与地标点之间的运动、多相机模型与电机之间的运动和相机本身的水平旋转运动。

关键词：室内三维重建多目视觉与电机耦合室内定位与建图因子图

室内三维模型的数据采集处理系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

室内三维模型的数据采集处理系统的设计与实现

作者：朱玲芳南京大学

学位级别：硕士

传统的照片因为展现形式简单、内容单薄,不能让客户充分了解相应场景的三维空间结构。随着房地产、家装等线上展示平台的发展,使用三维模型结合全景图片来重现室内场景的方式受到越来越多人的推崇。但是,当前国内产品都只是简单的全景... 详细信息

传统的照片因为展现形式简单、内容单薄,不能让客户充分了解相应场景的三维空间结构。随着房地产、家装等线上展示平台的发展,使用三维模型结合全景图片来重现室内场景的方式受到越来越多人的推崇。但是,当前国内产品都只是简单的全景图片的切换,并不具有三维结构,用户无法获知空间信息。在这个背景下,本项目旨在将全景和模型进行结合,对室内三维场景进行数据采集、处理和展示。本文主要研究室内三维数据的采集和模型的拼接,设计并实现了基于IOS设备对室内三维场景数据进行采集处理和管理的系统。本文设计并实现的室内三维模型的数据采集处理系统,包含项目管理、数据拍摄获取、模型拼接三个子系统。其中,项目管理子系统负责在IOS应用上对单个项目数据进行编辑处理和多个项目的展示、编辑。数据拍摄获取子系统负责数据采集,IOS应用通过连接拍摄设备的WI-FI控制拍摄设备转动,并获取拍摄到的点云数据和全景图片数据。模型拼接子系统负责处理拍摄设备采集的原始3D点云,通过计算出两次扫描的相对旋转、平移信息,将多次不同的扫描数据放在同一坐标系中。该系统IOS应用开发使用Objective-c语言和MVC框架,IOS应用与拍摄设备间使用Socket进行通信,数据存储使用CouchbaseDB,模型点云展示使用SceneKit,在I0S应用与服务器间使用HTTP和HTTPS通信,底层的室内三维模型的拼接使用C++实现。本文介绍了室内三维模型的数据采集处理系统的项目背景、研究现状、使用到的技术背景;而后对系统进行需求分析,完成对系统的整体架构设计和各模块的详细设计;最后,对系统各模块的实现细节进行描述,并展现项目的成果。室内三维重建应用广泛,并开始走进大众视野。本文对室内三维模型的数据采集处理的研究,是对三维重建的实际应用场景的一次探究。降低了室内三维模型的数据采集的门槛,提高了三维重建的数据采集的自动化程度和采集效率。

关键词：室内三维重建点云拼接 Objective-C语言 MVC框架

一种基于Mask R-CNN的室内三维像素级语义分割方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种基于Mask R-CNN的室内三维像素级语义分割方法