检索结果-南通市图书馆

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

面向弱纹理对象的多视图立体视觉算法研究

面向弱纹理对象的多视图立体视觉算法研究

作者：孔维航华中科技大学

学位级别：硕士

多视图立体视觉是三维视觉领域的一个重点问题,广泛应用于遥感测绘、机器人学、计算机图形学等多种领域。其主要目的是从多个视角的彩色影像中恢复出立体结构,并生成高质量的三维模型。然而,在现实世界中,存在许多复杂的环境因素,例如... 详细信息

多视图立体视觉是三维视觉领域的一个重点问题,广泛应用于遥感测绘、机器人学、计算机图形学等多种领域。其主要目的是从多个视角的彩色影像中恢复出立体结构,并生成高质量的三维模型。然而,在现实世界中,存在许多复杂的环境因素,例如遮挡、薄结构、非朗伯表面以及弱纹理等,这些因素使得多视图立体视觉算法很难实现高精度和高完整度的三维重建。因此,对于这些难题的研究和探索,一直是学术界和工业界所关注的重点。本文研究了多视图立体视觉在重建高度准确和完整的三维模型时所遇到的难点,针对弱纹理区域无法有效恢复准确深度的问题,提出了两种算法来解决弱纹理区域无法恢复可靠深度信息的问题。首先提出了一种平面先验引导的多尺度块匹配立体视觉算法PGM-MVS。该算法设计了一种改进的三角剖分平面模型,并结合多尺度框架来加强其对弱纹理区域的感知能力。构造输入图像集合的图像金字塔,逐层恢复深度图信息来优化深度估计。首先在较粗的尺度上快速得到一个粗略的估计结果,然后将该尺度上的深度估计上采样到更精细的尺度上并采用细节校正来保留粗尺度上的可靠估计,在较细的尺度上逐渐优化深度结果,从而在细节精细度和整体准确度之间取得一个平衡。最后,在最精细的尺度上采用动态阈值的点云重建方法,通过动态地考虑相对深度误差、法向夹角和重投影误差等几何约束,更灵活地生成最终的三维点云模型。通过在ETH3D数据集和Tanks and Temples数据集多个真实世界场景上进行深度图和三维点云的定量和定性分析,验证了PGM-MVS算法的有效性。该算法通过充分利用多尺度特征和平面信息,实现更准确和完整的深度估计。其次提出了一种全局-局部平面先验联合优化的室内三维重建算法LGP-MVS。该算法构建了全局-局部平面先验,并采用一种动态的纹理相关的多视图聚合代价平衡光度一致性和平面先验信息。具体来说,该算法以多视角图像及其相机参数为输入,首先构建全局-局部平面先验;然后,基于全局-局部平面先验和纹理信息计算纹理相关的动态多视图聚合成本;最后,将块匹配算法与动态纹理相关的多视角聚合成本相结合,用于估计参考视图的最终深度图。在构建全局-局部平面先验时,首先采用简洁高效的块匹配算法ACMH来得到参考图像的初始深度图和相应的代价图。然后通过阈值滤波得到可靠估计,接下来通过德劳内三角剖分构建局部平面模型,并通过深度学习算法检测全局平面。最后,将局部平面模型和全局平面模型整合起来,生成平面先验。通过在Scan Net数据集和ETH3D数据集上多个真实世界场景和ICL-NUIM的合成室内场景上进行深度图和三维点云的定量和定性分析,验证了该算法的有效性。该算法能够有效地恢复弱纹理区域的深度信息,从而获得更完整更精细的三维模型。本文介绍了多视图立体视觉的基础理论和研究热点,指出了现有算法面临的挑战,尤其是在弱纹理区域、薄结构、遮挡和反射表面等复杂情况下难以实现高精度和高完整度的三维重建。针对弱纹理区域无法有效恢复准确深度的问题,论文主要从多尺度和平面先验两个角度,对多视图三维重建算法进行了研究和改进。本文提出的算法能够提升三维重建的准确性、完整性和鲁棒性,对于解决现实世界中存在的复杂因素对多视图立体视觉的挑战具有重要意义。

关键词：三维重建多视图立体视觉块匹配弱纹理多尺度平面先验

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向嵌入式平台多视图立体视觉深度感知

计算机系统应用 2023年第5期32卷 105-111页

作者：单兵胡益民张龙李加东南京理工大学机械工程学院南京210094 中国科学院苏州纳米技术与纳米仿生研究所苏州215123 中国科学院多功能材料与轻巧系统重点实验室苏州215123

针对目前基于神经网络的多视图立体视觉(multi-view stereo,MVS)深度估计算法存在参数量大、内存消耗严重,难以满足当下低算力嵌入式平台的需求.提出基于MVS2D极线注意力机制与MobileNetV3-Small的MVS深度感知网络(Mobile-MVS2D).该网... 详细信息

针对目前基于神经网络的多视图立体视觉(multi-view stereo,MVS)深度估计算法存在参数量大、内存消耗严重,难以满足当下低算力嵌入式平台的需求.提出基于MVS2D极线注意力机制与MobileNetV3-Small的MVS深度感知网络(Mobile-MVS2D).该网络采用编码器-解码器的结构,使用MobileNetV3-Small网络进行编码特征提取,对源图像与参考图像之间不同特征层的尺度信息耦合采用极线注意力机制,解码阶段引入SE-Net与跳跃连接扩展解码特征细节,提升预测精度.实验结果表明,提出的模型在ScanNet数据集中在深度图的评价指标中展现较高的精度.在与视觉SLAM结合下可以展现出较准确的三维重建效果,具有较好的鲁棒性.在Jeston Xavier NX上推理精度为Float16尺寸为640×480的图片组,仅需0.17 s,GPU消耗仅需1 GB,能够满足低算力嵌入式平台的需求.

关键词：多视图立体视觉嵌入式注意力机制三维重建

维普期刊数据库

多视图立体视觉的岩矿手标本三维重建与三维交互设计

在线全文

学校读者我要写书评

暂无评论

多视图立体视觉的岩矿手标本三维重建与三维交互设计

基于多视立体视觉与Leiden图聚类的多视图直线匹配

第十三届全国数学地质与地学信息学术研讨会

作者：张强梁奎陈志军中国地质大学(武汉)资源学院

虚拟和远程实验室是未来教育技术发展的新方向。岩石、矿石标本是地质教学的珍稀样品。PlotoScan为基于多视图立体视觉技术的岩矿手标本三维重建提供了先进软件,Unity游戏引擎为手标本虚拟实习提供了良好的三维交互软件平台。本文通过... 详细信息

虚拟和远程实验室是未来教育技术发展的新方向。岩石、矿石标本是地质教学的珍稀样品。PlotoScan为基于多视图立体视觉技术的岩矿手标本三维重建提供了先进软件,Unity游戏引擎为手标本虚拟实习提供了良好的三维交互软件平台。本文通过对手标本三维重建工作,总结了相关技术经验并对虚拟实习平台提出了三维交互设计方案。

关键词：多视图立体视觉岩矿手标本三维重建三维交互虚拟和远程实验室

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

地球信息科学学报 2024年第7期26卷 1629-1645页

作者：兰泽清王竞雪王丽芹辽宁工程技术大学测绘与地理科学学院阜新123000 辽宁工程技术大学地理空间信息服务协同创新研究院阜新123000 辽阳市国土资源勘查规划院辽阳111000

直线特征的精确匹配对三维模型的重建与优化具有重要意义。但是传统的双视图直线匹配由于视图数量较少导致直线匹配结果鲁棒性较差,且对于存在断裂的直线提取结果,同一直线在不同影像上提取直线的数目不等,导致直线匹配结果完整性较差... 详细信息

直线特征的精确匹配对三维模型的重建与优化具有重要意义。但是传统的双视图直线匹配由于视图数量较少导致直线匹配结果鲁棒性较差,且对于存在断裂的直线提取结果,同一直线在不同影像上提取直线的数目不等,导致直线匹配结果完整性较差。针对上述问题,本文提出多视图立体视觉(Multiple View Stereo,MVS)与Leiden图聚类相结合的多视图直线匹配算法。该算法首先使用直线提取算法和MVS三维重建算法对输入的多视影像分别进行直线信息提取和多视图三维信息提取,得到各视图上的直线与覆盖多视图场景的稠密三维点及其相关信息,并以此构建直线描述符;接着通过三维直线投影角度约束、点-线位置关系约束及同名点约束对匹配候选进行筛选,并根据各视图上直线间的相似性关系以各视图上的直线为节点,直线间的相似性得分为边权重构建无向图,同时剔除无向图中由单个节点构成的连通分量,得到连通分量集合,即初始匹配结果;最后对各个连通分量的节点基于同视图共线约束进行重构,得到子无向图,并对子无向图节点使用Leiden算法进行聚类。最终在多视影像上得到精确的直线匹配结果。本文选取大疆无人机拍摄的2组影像以及网上公开的1组影像进行实验。实验结果表明,采用本文算法获得的直线匹配结果较对比算法在直线匹配数目以及匹配正确率上均有所提升。

关键词：多视图直线匹配特征匹配几何约束无向图稠密三维点多视图立体视觉 Leiden算法

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于多视图立体视觉的沙堆三维尺寸测量研究

计量学报 2019年第3期40卷 403-408页

作者：陈辉杨剑黄晓铭裴琴黄梅丽上海电力学院自动化工程学院上海200090

利用从运动中恢复结构方法(SFM),提出了一种基于多视图立体视觉的沙堆三维重建及三维尺寸测量方法。首先根据SFM方法的求解不稳定特点,结合光束平差法对SFM求解过程进行分析及优化;其次针对SFM重建结果为稀疏点云的问题,利用基于面片的... 详细信息

利用从运动中恢复结构方法(SFM),提出了一种基于多视图立体视觉的沙堆三维重建及三维尺寸测量方法。首先根据SFM方法的求解不稳定特点,结合光束平差法对SFM求解过程进行分析及优化;其次针对SFM重建结果为稀疏点云的问题,利用基于面片的稠密重建算法重新生成稠密的三维点云,再利用泊松算法对密集点云进行三维曲面重建;最后获得模型的三维尺寸信息。对某建筑工地的沙堆进行了三维尺寸的测量实验,实验结果验证了该方法的有效及可行性,提高了重建能力及精度,同时考虑了目标实际测量误差与重建误差,能够满足实际智能测量的应用需求。

关键词：计量学多视图立体视觉三维尺寸测量沙堆运动恢复结构曲面重建

维普期刊数据库

基于多视图立体视觉和迭代网格变形的个性化人手三维建模

在线全文

学校读者我要写书评

暂无评论

基于多视图立体视觉和迭代网格变形的个性化人手三维建模

作者：余权浙江大学

学位级别：硕士

手是人在与物理世界交互中使用得最为频繁的工具。在虚拟现实和交互游戏中,使用个性化而非通用的人手模型能够提升用户对虚拟环境的沉浸感和认同感,在一定程度上减轻了交互的难度,并提高了交互的准确性。然而构建个性化的人手模型是一... 详细信息

手是人在与物理世界交互中使用得最为频繁的工具。在虚拟现实和交互游戏中,使用个性化而非通用的人手模型能够提升用户对虚拟环境的沉浸感和认同感,在一定程度上减轻了交互的难度,并提高了交互的准确性。然而构建个性化的人手模型是一项非常具有挑战性的工作,原因在于人手的几何形状极其复杂,并且缺少足够的纹理特征,尤其是在使用低端设备和没有任何标记的情况下。本文利用网络摄像头,对用户的裸手进行个性化的三维建模。基本思路是首先在点线面三个层次上提取用户手的几何特征,通过立体重建构建三维点云,然后用点云指导通用的人手模板进行网格变形,逐步满足用户手的几何特征。本文综合使用轮廓凸包缺陷点(点层面)、轮廓点(线层面),以及SIFT、SURF和Sobel滤波响应(面层面),描述用户手的几何特征。注意到对于低分辨率的图像来说,这些特征的重要性和可靠性都是依次降低的;并且注意到下一次网格变形所需要的点云与模板之间的顶点对应关系,依赖于上一次网格变形的结果。因此本文提出了一种层次式的构建个性化人手三维模型的方法,即通过逐步网格变形,将通用的人手模板变形到具有用户手的几何特征,从而避免了一次性网格变形中低可靠性的特征冲淡高可靠性特征的情况。随着网格变形的进行,通用的人手模板越来越与用户的手相似,同时对用户手几何特征的准确性要求逐渐降低。这样本文就在低端设备和高精度之间做出了一个合理的折中方案。具体而言,本文的研究工作和主要贡献包括以下三个方面： (1)提出了一种新的个性化人手三维建模方法。由于使用了低廉的硬件设备,在人手皮肤图像纹理较弱、缺少足够的强特征的情况下,很难利用传统的视觉三维重建方法直接获得人手的三维模型。为此,本文首先从人手图像中提取点线面三个层次的特征点,并通过三维重建技术获得点云数据,以点云数据为约束,指导通用的入手模板分步进行网格变形,使得模板逐步满足用户手的几何特征,最终获得个性化的人手三维模型。 (2)提出了一种迭代网格变形算法。由于在网格变形中,模板和点云数据之间的顶点对应关系与网格变形处于一种相互依赖、相互耦合的关系,因此本文通过阈值的设置,将这两者交叉迭代进行,逐步获得最佳的网格变形效果。 (3)提出了一种基于单幅图像恢复轮廓三维信息的方法。为了充分利用图像的像素信息,本文要求人手尽量撑满整幅图像。根据本文的实际情况,在双目视觉中,左右视图图像中的人手轮廓并不存在对应关系,因此不能通过特征匹配的方法直接获得人手轮廓的深度信息。本文以双目视觉的三维重建基本原理为基础,假设人手轮廓点的深度信息在经过点特征的网格变形之后保持不变,由此得出轮廓点的近似三维信息。

关键词：虚拟手几何建模多视图立体视觉拉普拉斯变形迭代最近点算法

基于计算机视觉的交通事故现场三维重建技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于计算机视觉的交通事故现场三维重建技术研究

作者：李小雪长安大学

学位级别：硕士

随着经济发展和交通基础设施建设的不断完善,人们通行更加便捷的同时也面临着交通事故频发带来的诸多困扰。然而,传统的交通事故勘测方法耗时长且精度低,已经难以满足现代交通管理的需求,因此基于三维重建技术的交通事故现场勘测方法逐... 详细信息

随着经济发展和交通基础设施建设的不断完善,人们通行更加便捷的同时也面临着交通事故频发带来的诸多困扰。然而,传统的交通事故勘测方法耗时长且精度低,已经难以满足现代交通管理的需求,因此基于三维重建技术的交通事故现场勘测方法逐渐崭露头角,它可以真实还原事故现场场景,为交通事故勘测提供了一种新的解决方案。三维重建技术在多个领域得到广泛应用,包括人脸识别、医学图像重建、机器人路径规划、建筑物损毁鉴定和灾害预测等。然而,传统方法存在很大的局限性,而基于深度学习的方法虽然重建效果更好,但对硬件要求较高。因此本文通过将三维重建技术引入交通事故现场勘测中,提出了IPMSFM(Improved Panch Match Net and Structure From Motion)算法,该算法将传统的SFM(Structure From Motion)算法与改进的PMN(Patch Match Net)深度学习网络交叉融合,充分发挥传统方法和深度学习方法的优势,能够高效、精准地重建交通事故现场的三维模型,并在此基础上设计开发交通事故现场三维重建系统,可实现三维重建流程的同时对三维模型及其他交通资讯进行综合展示。本文的研究内容主要分为以下几个方面:1.针对利用深度学习进行三维重建虽能获得较好重建效果但效率较低、设备成本过高的问题,利用SFM得到场景的稀疏三维模型,将生成的稀疏点投影插值得到稀疏深度图,替代原PMN的随机初始化,进而降低计算复杂度,减小内存开销,同时进一步优化PMN的损失函数,获取更高质量的深度图像,从而提高重建模型精度,加快模型重建速度,减小模型训练时间。2.使用大规模、开源的多视图三维重建DTU数据集对IPMSFM进行训练,并将其在模拟交通事故现场场景的数据集上进行测试,与MVS(Multiple View Stereo)方法和PMN进行比较分析。结果显示,IPMSFM的重建时间相比MVS减少13215s,相比PMN减少8782s;IPMSFM的重建模型相较MVS和PMN的均值误差分别减小37cm,18cm,中值误差分别减小28cm,12cm。实验结果表明IPMSFM在重建点云的完整性、重建效率、重建模型精度等方面都优于MVS和PMN。3.研究交通事故现场勘测要求并据此模拟了交通事故现场,通过实验测试选择了高效可行的摄影方案,利用无人机对模拟的交通事故现场进行拍摄以获取高质量交通事故现场数据集,随后通过利用IPMSFM对拍摄到的数据集进行处理和分析,从而生成了高度真实的三维交通事故现场重建模型。4.设计开发了交通事故现场三维重建系统,包含实现三维重建流程功能的软件和用于展示三维模型和综合交通信息的交通数据可视化大屏两个部分,该系统为交警和路政工作人员提供一个随时进行交通事故现场复核和分析的工具,以便准确判断事故的成因。

关键词：交通事故现场勘查三维重建 IPMSFM 多视图立体视觉摄影测量

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多视图的图像三维重建算法研究

基于多视图的图像三维重建算法研究

作者：潘飞扬河北工程大学

学位级别：硕士

多视图立体视觉(Multi-view stereo,MVS)是从已知相机参数的图像集合中恢复出物体的三维信息,是计算机视觉中最具挑战的任务之一。经过多年的发展,三维重建在医学、军事、工业等领域得到了广泛的应用。目前基于多视图的图像三维重建主... 详细信息

多视图立体视觉(Multi-view stereo,MVS)是从已知相机参数的图像集合中恢复出物体的三维信息,是计算机视觉中最具挑战的任务之一。经过多年的发展,三维重建在医学、军事、工业等领域得到了广泛的应用。目前基于多视图的图像三维重建主要研究方向是向着轻量化发展。早期研究都是通过3D卷积实现代价体构建,虽然结构简单但是需要消耗大量计算资源和时间,所以在不降低重建精度的情况下,如何减少计算资源的消耗成为研究的重点;同时模型泛化能力欠佳,如何提高模型的泛化能力,提高完整性也是研究的难点。针对上述问题,本文的主要研究内容如下:(1)为了降低计算消耗,本文提出了一种基于动态迭代代价体的多视图三维重建算法。本算法利用构建动态代价体的方式降低因采用复杂3D卷积而带来的计算消耗,通过对参考帧图像几何特征、深度特征和邻域帧图像映射特征进行融合来构建动态代价体。与其他工作相比,该动态代价体体量更小,因此可以将其输入到门控循环单元(Gate Recurrent Unit,GRU)中进行多轮迭代,优化深度图,提高重建精度;同时级联分层结构和多尺度特征提取,加快模型收敛速度。实验结果表明,采用动态代价体的方法可以在不影响精度的情况下,缩短计算时间,降低内存消耗。(2)为了提升模型的泛化能力,本文提出了一种基于数据增强的多视图区域匹配算法。在数据输入阶段,利用数据增强改变输入图像的亮度、对比度和色调,同时从图像中去除随机区域像素,模拟图像出现高亮和遮挡的情况,为后续网络模型训练时,提高模型鲁棒性奠定基础;在深度估计阶段,利用动态采样间隔的方法获取更多图像信息,同时利用邻域像素的特征信息,通过区域匹配算法构建代价体,从而完成深度值的最优估计,利用自适应传播和自适应评估模块代替传统的3D卷积,在减少内存消耗的同时,能够有效地提升重建的精度。通过对比实验,验证了该方法重建出的3D点云在DTU数据集上有更高的完整性,在Tanks&Temples数据集上进行泛化性能验证,表明该方法具有较强的泛化能力。

关键词：三维重建多视图立体视觉动态代价体数据增强

基于深度神经网络的三维视图融合算法的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度神经网络的三维视图融合算法的设计与实现

作者：李梦阳海南大学

学位级别：硕士

多视图立体视觉(Multi-view stereo,MVS)技术是一项通过多张相关联的二维图像经过神经网络处理图像所含有的相关信息从而生成三维图像模型的非常可靠且实用的技术。随着计算机算力的飞跃式增长从而引发深度学习领域相关技术的飞速发展,... 详细信息

多视图立体视觉(Multi-view stereo,MVS)技术是一项通过多张相关联的二维图像经过神经网络处理图像所含有的相关信息从而生成三维图像模型的非常可靠且实用的技术。随着计算机算力的飞跃式增长从而引发深度学习领域相关技术的飞速发展,对于三维视图融合技术的促进也是肉眼可见的。但是传统三维重建技术所带来的高昂的技术、人力成本以及对所需物体的视图采集方法的低效低质甚至危险所导致生成效果不如人意,所以通过对国内外各种三维视图融合技术与方法的大量深入研究之后,本文整合了相关技术并加以改进,设计了一套基于深度神经网络的三维视图融合算法对物体进行视图融合重建,具体的研究内容与创新点总结如下:1.对深度学习领域进行了深入的了解和研究,分析了卷积神经网络的构成原理,生成对抗网络的技术原理,传统三维重建的相关技术以及当下最新的基于深度学习的三维视图融合技术原理与应用,包括两者之间的优劣之处,总结出本文的主要研究方向。2.设计了一种基于改进的HTHGAN网络对低分辨率图像进行超分辨率增强技术。现实生活中对物体采集的图像像素往往要受到很多因素的影响和干扰,这会影响后续的三维视图融合模型对图像特征的提取和处理。本文提出了改进的HTHGAN视图超分辨率模型,在“低到高”网络层生成器中嵌入了密集连接残差模块来提高特征提取的密度,以达到提高分辨率,对图像序列逐个增强的目的。后续实验结果表明,本文设计的方法输出的超分辨率图像效果良好,达到了后期工作的标准。3.提出了基于多尺度特征提取模块的多视图立体视觉网络M-MVSNet。通过对各类多视图立体视觉网络进行深入分析研究后,发现提取图像特征的精细程度会直接影响到三维视图融合的准确度等问题,依据经典的多视图立体视觉网络MVSNet,提出了多尺度特征提取网络M-MVSNet,该网络引入了一种新的轻量级多尺度特征提取模块,用以提取稠密特征信息,避免图像内关键信息的丢失。本文提出的方法能够在维持图像原分辨率的情况下连接图像的多尺度特征信息,使得最终融合出的三维视图精确度和完整度更高。经过一系列实验对比,本文提出的方法对于三维视图融合的三维视图完整度和精度以及图像质量均高于原始方法,证明了本文提出的方法的优势。4.基于上述方法设计实现了简单实用的三维视图融合系统。首先简明概述了该系统的架构,随后根据本文的内容对功能模块进行了设计。在界面、系统接口、系统功能模块进行设计后,本文将本系统进行可视化的实现。该系统根据实际需求分析,经过多种系统测试方式后综合的评估系统。实验结果最终表明了该系统高效与实用,且该系统具有一定的可扩展性,实现了三维视图融合效果,使得本文提出的算法得到了实际应用。

关键词：多视图立体视觉深度神经网络特征提取三维重建