检索结果-南通市图书馆

基于深度学习的三维计算机视觉下的6D姿态估计

在线全文

学校读者我要写书评

暂无评论

基于深度学习的三维计算机视觉下的6D姿态估计

作者：张耕慎中国科学院大学(中国科学院深圳先进技术研究院)

学位级别：硕士

随着近些年计算机视觉研究的不断进步,三维计算机视觉不断地得到应用和发展,而6D姿态作为三维计算机视觉中的一个重要的方向,其融入到我们生活的方方面面之中。例如,自动驾驶,增强现实(AR),机器人应用等等。鉴于以上的背景,在本文中将... 详细信息

随着近些年计算机视觉研究的不断进步,三维计算机视觉不断地得到应用和发展,而6D姿态作为三维计算机视觉中的一个重要的方向,其融入到我们生活的方方面面之中。例如,自动驾驶,增强现实(AR),机器人应用等等。鉴于以上的背景,在本文中将要解决两个主要的工作内容:(1)基于深度学习的6D姿态估计算法研究;(2)基于6D姿态估计的机器人定位方法研究。针对第一点的工作,本文提出了使用特征选择机制(Feature Selecting Mechanism,简称FSM)网络结构的端到端6D姿态估计的神经网络。而本文对特征选择机制(FSM)网络结构提出了两种方案:第一种方案是人工调整比重方案,第二种方案是网络自动调整比重方案。通过与已有方法Pose CNN网络和Dense Fusion网络,在三种数据集,即Line MOD数据集,YCB-Video数据集,以及自制的Synthetic Image数据集下进行对比实验。由实验结果来看,本文所提的网络自动调整比重方案在多种数据集的实验设置下都能达到较好甚至最好的实验效果,例如在Line MOD数据集下,平均准确率相比于Pose CNN网络提高了8.1%,相比于Dense Fusion网络提高了2%。在YCB-Video数据集下,相比于Dense Fusion网络提高了1%。在自制的Synthetic Image数据集下,相比于Dense Fusion网络提高了1.9%。针对第二点的工作,本文提出了将第一点工作所提出来的网络自动调整比重方案迁移至机器人平台,进行基于6D姿态估计的机器人定位方法的研究。然后通过在三种情况下进行实验,实验所展示的效果表明该部分所提出的方法具有一定的有效性和能应用于多个场景的稳定性。

关键词：深度学习三维计算机视觉 6D姿态估计机器人应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

三维计算机视觉及在场景分割解释中应用

福州大学学报（自然科学版） 2001年第z1期29卷 72-74页

作者：杜谊陈新吴芳福建医科大学网络中心福建福州350004 福州大学信息科学与技术学院福建福州350002

介绍一种实用的三维立体计算机视觉方法 ,以自动汽车的简单立体视觉系统为例 ,利用一些与立体视觉相对应的关键特征 ,结合多目标并行图象信息和色彩信息进行场景描述 ,同时使用场景中有关物体的先验知识和已知模型等 ,基于这些描述、知... 详细信息

介绍一种实用的三维立体计算机视觉方法 ,以自动汽车的简单立体视觉系统为例 ,利用一些与立体视觉相对应的关键特征 ,结合多目标并行图象信息和色彩信息进行场景描述 ,同时使用场景中有关物体的先验知识和已知模型等 ,基于这些描述、知识和模型 ,大多数的场景目标可以根据预处理所获得的信息进行有效的分割解释处理 .

关键词：三维计算机视觉多目并行图象场景分割场景解释

在线全文

学校读者我要写书评

暂无评论

立体视觉测量中摄像机标定的新技术

电子学报 1999年第2期27卷 12-14页

作者：高立志方勇林志航西安交通大学CIMS研究中心

本文实现并改进了一种利用径向排列约束（ＲＡＣ）的摄像机标定算法，并利用该算法标定了安装在ＺＥＩＳＳＣＭＭ坐标测量机伺服机构上的ＣＣＤ摄像机的内部和外部参数．算法巧妙地利用了成像过程中的ＲＡＣ分解摄像机参数，提出了带有... 详细信息

本文实现并改进了一种利用径向排列约束（ＲＡＣ）的摄像机标定算法，并利用该算法标定了安装在ＺＥＩＳＳＣＭＭ坐标测量机伺服机构上的ＣＣＤ摄像机的内部和外部参数．算法巧妙地利用了成像过程中的ＲＡＣ分解摄像机参数，提出了带有一阶径向畸变的摄像机模型，利用合理组织的求解次序使得每一步参数的求解都只须求解线性方程组，从而彻底改变了以往摄像机标定依赖于非线性优化方法．这种改进使得ＲＡＣ方法较以往的算法更为精确、快速、简便．

关键词：机器视觉摄像机标定透镜畸变三维计算机视觉

在线全文

学校读者我要写书评

暂无评论

矢量型网络的研究及其在三维视觉的应用

矢量型网络的研究及其在三维视觉的应用

作者：张强宁波大学

学位级别：硕士

深度学习在计算机视觉领域取得极大进展,越来越多的工作尝试将2D视觉中的卷积神经网络(Convolutional Neural Network,CNN)应用到3D视觉领域。等变性的缺失使传统CNN无法处理姿态变换,比如3D目标旋转。不同3D数据使用不同表征方式,更使... 详细信息

深度学习在计算机视觉领域取得极大进展,越来越多的工作尝试将2D视觉中的卷积神经网络(Convolutional Neural Network,CNN)应用到3D视觉领域。等变性的缺失使传统CNN无法处理姿态变换,比如3D目标旋转。不同3D数据使用不同表征方式,更使CNN用于3D难上加难。胶囊网络是一种矢量型神经网络,用矢量神经元替代传统的标量神经元,是用于解决等变性缺失的一种方案,其在3D数据上的研究也有重大意义。本文以旋转3D目标分类和3D旋转角度预测两个任务为例,研究矢量型网络处理旋转3D网格目标的能力。本文提出以下两个工作:(1)针对3D目标分类问题,提出一种基于矢量型球面卷积网络(Vector Spherical Convolutional Neural Network,VSCNN)的分类方法。由于3D网格数据能更好表示目标的表面信息,且可用球面信号作为其近似表征。因此,本文以3D网格数据作为分析目标,用球面信号卷积作为矢量型网络的卷积算子。首先,将3D网格目标规范化并映射到单位球上,获取球面的信号表示;然后,使用矢量型分类网络和重建网络学习等变的三维模型特征;最后,使用分类网络完成三维模型分类。本文使用矢量型神经元作为网络的基础神经元,并提出一种新型矢量层间的卷积方式。经过消融实验对比,使用本文提出的球面卷积模块和矢量卷积层,并在训练时加入重建模块。对原本未旋转(NR)数据集进行任意旋转(AR),并设定NR/AR、AR/AR和NR/NR共三种训练/测试策略的分类任务,其中NR/AR任务衡量模型识别未知旋转的能力。在刚性数据集Model Net40上,相比基于球面卷积网络的分类方法,在三种任务上分别提高了7.7%、1.8%和3.1%。为验证本文方法在识别非刚性三维网格目标的优越性,在非刚性数据集SHREC15上,相比球面卷积网络,本文方法在三种任务上分别提高了8.8%,4.5%,5.0%。(2)针对3D旋转角度预测问题,提出一种自监督式矢量型球面卷积网络(VCompass)。改进VSCNN的矢量卷积层,提出一种基于共享卷积核的矢量神经元预测方法,用于减少参数量;提出基于soft-argmax和基于矢量神经元两种方法,来预测3D旋转;使用自监督的方式训练V-Compass,从而更好地学习3D旋转角度。所提出的方法可以用于学习三维网格目标的规范角度和旋转角度。在基准数据集Model Net40进行实验对比,发现使用V-Compass将旋转三维模型旋转回规范角度,能大幅提高旋转不鲁棒方法的识别准确率,从而验证所提出方法学习三维旋转变换的有效性。

关键词：深度学习三维计算机视觉矢量型网络胶囊网络旋转等变旋转三维目标分析

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

由平行平面的投影确定无穷远平面的单应矩阵

软件学报 2003年第5期14卷 936-946页

作者：孙凤梅吴福朝胡占义北方工业大学基础学院北京100041 中国科学院自动化研究所模式识别国家重点实验室北京100080

在三维计算机视觉中,无穷远平面的单应矩阵扮演了极其重要的角色,可使众多视觉问题的求解得到简化.主要讨论如何利用平行平面的投影来求解两个视点间的无穷远平面的单应矩阵,用代数方法构造性地证明了下述结论:(1) 如果场景中含有一组... 详细信息

在三维计算机视觉中,无穷远平面的单应矩阵扮演了极其重要的角色,可使众多视觉问题的求解得到简化.主要讨论如何利用平行平面的投影来求解两个视点间的无穷远平面的单应矩阵,用代数方法构造性地证明了下述结论:(1) 如果场景中含有一组平行平面,则可以通过求解一个一元4次方程来确定两个视点间的无穷远平面对应的单应矩阵;(2) 如果场景中含有两组平行平面,则可以线性地确定两个视点间的无穷远平面对应的单应矩阵.并对上述结果给出了相应的几何解释和具体算法.所给出的结果在三维计算机视觉,特别是摄像机自标定中具有一定的理论意义和应用价值.

关键词：三维计算机视觉图像匹配平行平面投影无穷远平面单应矩阵

在线全文

学校读者我要写书评

暂无评论

摄像机标定与三维重建

摄像机标定与三维重建

作者：孙凤梅首都师范大学

学位级别：硕士

三维计算机视觉的中心任务是从二维图像恢复三维空间物体的几何形状，主要步骤有：图像对应点的确定，摄像机内外参数的标定，关键点重建，稠密点重建，纹理映射等。本文主要围绕摄像机标定和关键点重建等内容开展了一些工作。论文的主... 详细信息

三维计算机视觉的中心任务是从二维图像恢复三维空间物体的几何形状，主要步骤有：图像对应点的确定，摄像机内外参数的标定，关键点重建，稠密点重建，纹理映射等。本文主要围绕摄像机标定和关键点重建等内容开展了一些工作。论文的主要工作有以下四部分： 1：提出了利用平行平面的投影来求解两个视点间的无穷远平面的单应矩阵，用代数方法构造性地证明了下述结论：（A）如果场景中含有一组平行平面，则可以通过求解一个一元4次方程来确定两个视点间的无穷远平面对应的单应矩阵;（B）如果场景中含有两组平行平面，则可以线性地确定两个视点间的无穷远平面对应的单应矩阵，并对上述结果给出了相应的几何解释和具体算法。 2：探讨了摄像机正交平移运动下关于内参数方程的独立性问题。一般来说，5组摄像机的正交运动就可以线性标定摄像机的5个内参数。然而，关于这5组摄像机运动应满足什么条件才可以保证所产生的5个线性约束方程是独立的，文献中对这个问题至今没有答案。一种流行的猜测是只要这5组正交运动下的平移向量任意3个不共面，则对应的5个摄像机内参数约束方程必然独立。我们证明了当5组正交运动中其中的三组构成一个三正交运动时，此时尽管构成5组正交运动的7个平移向量没有任意三个共面，但产生的5个约束方程却可能不独立，并给出了一个不独立的具体例子。 3：系统地研究了摄像机简化模型对3D重构的影响。主要工作有：（1）当摄像机在两幅图像间的运动为纯平移运动时，从理论上证明了使用摄像机简化模型重构空间点与实际空间点之间满足仿射变换;实验表明，简化模型焦距与实际摄像机焦距的相对误差在±10％范围之内，使用简化模型所重构的物体保持原物体的形状。（2）当摄像机在两幅图像间的运动为一般刚体运动时，理论分析和实验表明，使用简化模型的重构只有在满足下述两个条件下才能较好地保持原物体的形状：条件A、简化模型焦距与实际摄像机焦距的相对误差在±2％范围之内;条件B、对一幅512×512的图像，实际摄像机的主点坐标误差在±5个像素范围之内。一般地，使用简化模型的重构不能很好地保持原物体的形状;（3）指出在简化模型下，基于Kruppa方程的方法所估计的焦距精度不能满足3D重构的要求。因此，在3D重构中，我们不能使用简化模型，必须对摄像机内参数进行全面地标定。 4：提出了基于单个平行四边形单幅图像的物体定位方法。主要结论有：如果平行四边形的两组边长均未知的话，则从该平行四边形的单幅图像，仅可以确定物体坐标系与摄像机坐标系之间的旋转矩阵和平移向量的方向，平移向量的大小无法确定。当知道平行四边形任一组边长时，旋转矩阵和平移向量均可以唯一确定。另外，诸如相邻边长之比，相邻边之间的夹角等信息，由于它们不是射影不变量，所以它们对基于单幅图像的物体定位来说，提供不了任何有用的额外信息。

关键词：三维计算机视觉摄像机标定二维重建物体定位

基于深度学习的跨模态文本摘要生成及三维物体描述应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的跨模态文本摘要生成及三维物体描述应用

作者：要博伦南京理工大学

学位级别：硕士

简要描述一件事务一直被认为是只有人类可以完成的任务,但近年来深度学习的发展使得计算机生成描述成为可能。而跨模态的描述又在自然语言的摘要任务上增添了新的挑战,我们不但需要对非自然语言的信息进行抽象,还需要将抽象后的特征解... 详细信息

简要描述一件事务一直被认为是只有人类可以完成的任务,但近年来深度学习的发展使得计算机生成描述成为可能。而跨模态的描述又在自然语言的摘要任务上增添了新的挑战,我们不但需要对非自然语言的信息进行抽象,还需要将抽象后的特征解码为描述性的文本。本文对跨编程语言-自然语言与跨视觉-语言模态的两类跨模态任务开展了研究,希望通过改进预训练的Transformer结构对这些任务的效果带来提升,并帮助计算机理解跨模态信息。其中主要贡献有:(1)提出了一个新的任务:代码错误问题生成,用以衡量编程语言理解方法的性能,该任务要求理解错误信息、编程语言片段及自然语言,并要求不同的部分产生交互来生成合理的问题。我们采集、整理了超过20万条错误信息与问题的数据,并将该数据集公开以供进一步探索。我们为该任务设计了预训练的Transformer模型CMPPN,该模型的实验结果表明了深度学习模型在该任务上的有效性,通过预训练及拷贝机制,代码错误问题生成的性能可以得到进一步的提升。(2)通过使用无监督对比学习的方法,提高代码特征抽取方法的性能,并进一步在代码摘要任务及代码纠错上对该方法进行检验。与传统对比学习仅增广原始数据以获得训练样本不同,我们抽取代码的自然语言描述,并以此为查询为训练集中的代码寻找正例匹配,以达到将代码的设计目标与特征表示相结合的目的。我们同时借助MoCo方法减少传统对比学习负例样本特征分布不均衡的问题。我们使用公开的数据集Code-SearchNet进行训练,为了验证方法的有效性,我们完成了 CodeXGLUE基准测试上代码摘要与代码纠错两个任务,并获得了优于现有预训练代码模型的好成绩。(3)在另一个广泛的跨模态领域,视觉-语言领域中,RNN网络仍是主流方法。我们希望通过引入Transformer,使得网络可以利用纯文本的语料信息进行预训练。我们将适用于摘要生成的n-gram解码器生成应用于三维物体描述生成,通过在解码器中加入Multi-Stream Attention,优化解码器不但能预测未来一步的输出,而且保证未来更多步骤的正确性。我们通过在三维物体描述数据集上的的实验证明了我们方法的有效性。

关键词：跨模态自然语言生成软件工程三维计算机视觉对比学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于点云块生成的双路结构三维点云补全网络

基于点云块生成的双路结构三维点云补全网络

作者：何祺丰电子科技大学

学位级别：硕士

三维点云补全已经成为三维计算机视觉领域的一个热门研究方向,其旨在利用三维点云的不完整部分来恢复出完整的三维形状。因为三维点云是人们从现实世界中最方便获取并储存的三维形状格式之一,其在各个领域得到了广泛的研究和应用。但是... 详细信息

三维点云补全已经成为三维计算机视觉领域的一个热门研究方向,其旨在利用三维点云的不完整部分来恢复出完整的三维形状。因为三维点云是人们从现实世界中最方便获取并储存的三维形状格式之一,其在各个领域得到了广泛的研究和应用。但是,因为各种各样的局限性,人们获得的三维点云数据往往是不完整的,会出现不同的残缺和空洞,影响到下游任务的进行。所以人们想到借助深度学习神经网络强大的联想和预测能力来进行三维点云补全任务。然而,三维点云补全以往的方法要么是在生成阶段直接预测输出整个三维形状,改变了原始点云中点的分布,或甚至出现了一个完全不同的形状;要么就是在还原三维物体的局部细节方面效果有限,不能很好地利用原始点云中存在的对称性和相似性等几何特征。本工作针对上述问题提出了一种全新的基于点云块生成的双路网络来应用于三维点云补全任务,提高结果的准确性和美观性,在维持原始输入点云点分布不变的同时,更好地还原出三维物体的局部细节。这个网络利用不同编码器网络架构设计的优点,将它们放置于上下两路网络中,通过上路来提供对三维点云缺失区域整体形状的粗略估计,然后通过下路生成多个点云块的方式来根据上路的结果进一步填充细节,细化结果。同时本工作还提出了一个识别模块,用于尽可能地保留原始输入点云中点的分布。本工作在多个数据集上和前人的数项方法进行了数值和可视化的对比实验,并通过消融实验来验证本工作各项设计的有效性,同时还进行了鲁棒性实验来测试本工作在不同输入点云缺失程度下的表现。这些实验证明了本工作方法表现效果出色,各个模块设计切实有效,能高精度地在不破坏原始输入的情况下还原出完整的三维点云。其数值评估和可视化效果优于前人的工作,并且即使在点云缺失比例不同的时候也具有很好的效果。

关键词：三维点云补全三维计算机视觉三维几何深度学习双路网络

基于Frobenius范数奇异值分解的快速ICP算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

太赫兹科学与电子信息学报 2023年第10期21卷 1263-1270页

作者：许可顾尚泰元志安万建伟马燕新王玲国防科技大学电子科学学院湖南长沙410073 国防科技大学气象海洋学院湖南长沙410073

迭代最近点法(ICP)及其变体是三维点云刚性配准的典型方法,但此类通过迭代计算逐点距离矩阵实现点云配准的方式,严重制约了点云的配准效率。本文提出一种快速ICP算法,利用Frobenius范数表示待配准的两幅点云之间的误差函数,获得误差值... 详细信息

迭代最近点法(ICP)及其变体是三维点云刚性配准的典型方法,但此类通过迭代计算逐点距离矩阵实现点云配准的方式,严重制约了点云的配准效率。本文提出一种快速ICP算法,利用Frobenius范数表示待配准的两幅点云之间的误差函数,获得误差值最小点位置,并对此位置进行奇异值分解,从而得到旋转矩阵和平移向量,极大压缩了迭代次数和配准时间。在Standford数据集和3DMatch数据集上进行试验,与传统ICP算法及其变体、3种基于学习的点云配准算法进行对比,本文方法配准效率最优;在达到相近的配准精确度时,提出的快速ICP方法的迭代次数仅为传统ICP算法的0.2倍,在Standford数据集上配准所需时间为传统ICP算法的1/4,在3D Match数据集上配准所需时间为传统ICP算法的1/8倍。本文提出的快速ICP算法在数据量大的点云场景下,具有更高的效率。

关键词：三维计算机视觉点云数据处理点云配准快速迭代最近点法 Frobenius范数奇异值分解