检索结果-南通市图书馆

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于分支混合注意力机制的布局估计模型

青岛大学学报(自然科学版) 2024年

作者：张靖贤杨杰周萌萌郭传磊青岛联合创智科技有限公司青岛大学机电工程学院

应用场景理解算法时，现有多任务学习方法存在任务冲突。为此，提出了一种高精度布局估计模型（High Accuracy Layout Model，HALayout），并基于注意力机制设计了一种分支混合注意力模块（Branch Hybrid Attention Module，BHAM）。利... 详细信息

应用场景理解算法时，现有多任务学习方法存在任务冲突。为此，提出了一种高精度布局估计模型（High Accuracy Layout Model，HALayout），并基于注意力机制设计了一种分支混合注意力模块（Branch Hybrid Attention Module，BHAM）。利用分离融合结构强化模型对不同特征的分辨能力，使算法能够更好地处理特征之间的共性和差异性，提高模型的最终计算精度；使用Structured3D数据集测试HALayout性能，并设计消融实验验证BHAM网络模块有效性。与改进之前算法相比，HALayout各项性能指标均有提升，其中IoU指标提升了2.71%，达到84.11%。

关键词：布局估计注意力机制计算机视觉深度学习

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于多任务监督学习的室内空间布局估计模型

北京航空航天大学学报 2022年

作者：邹一波李涛陈明葛艳赵林林上海海洋大学信息学院农业农村部渔业信息重点实验室

室内空间布局估计作为当下计算机视觉领域的研究之一，在目标检测、增强现实和机器人导航等任务中发挥着重要的作用。该任务存在室内空间被众多杂物遮挡、环境条件复杂以及场景拓扑结构不同等挑战性问题，现有的基于传统几何学或单任务... 详细信息

室内空间布局估计作为当下计算机视觉领域的研究之一，在目标检测、增强现实和机器人导航等任务中发挥着重要的作用。该任务存在室内空间被众多杂物遮挡、环境条件复杂以及场景拓扑结构不同等挑战性问题，现有的基于传统几何学或单任务监督学习的方法，对语义特征的提取仍然存在一定的不足。为了更加有效地感知室内场景的布局关系，提出了一种基于多任务监督学习的室内空间布局估计方法，端到端地提取出室内场景的空间分割图。针对室内布局图像的分割特点，设计编码器-解码器的网络结构，并引入多任务监督学习，从而推理出室内空间布局和各个区域的语义边缘结果；同时定义联合损失函数，在模型训练过程中不断优化分割效果；为更好地表达出各区域之间的布局关系，通过各个区域的边缘预测结果，对网络模型的输出进行局部精细化处理，以推理出室内场景空间的最终布局。在公共数据集LSUN和Hedau上进行实验，所提出的方法能够有效地优化室内空间布局估计效果，分别获得7.54%和7.08%的像素误差，总体上优于对比方法。

关键词：布局估计室内场景多任务监督学习端到端语义边缘

基于深度学习的室内空间布局估计模型研究与系统实现

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于深度学习的室内空间布局估计模型研究与系统实现

作者：李涛上海海洋大学

学位级别：硕士

随着智能家居和虚拟现实等技术的发展,人们对数字化建模和可视化室内空间的需求不断提高,如何快速而准确地估计室内空间布局已经成为备受关注的问题。室内空间布局估计为大多数增强现实、机器人导航和场景理解等任务提供先验基础,具有... 详细信息

随着智能家居和虚拟现实等技术的发展,人们对数字化建模和可视化室内空间的需求不断提高,如何快速而准确地估计室内空间布局已经成为备受关注的问题。室内空间布局估计为大多数增强现实、机器人导航和场景理解等任务提供先验基础,具有广泛的应用场景和重要的研究意义。该任务存在室内空间被众多杂物遮挡、环境条件复杂以及场景拓扑结构不同等挑战性问题,现有的基于传统几何学或单任务监督学习的方法对于提取语义特征仍然存在一定的不足。对此,本文研究内容具体如下:(1)为了更加有效地感知室内场景的布局关系,进一步提升室内场景空间图像分割的准确率,提出了一种基于多任务监督学习的室内空间布局估计模型。针对室内布局图像的分割特点,设计了一种改进的编码器-解码器网络结构,使用轻量级的Mobile Net V2网络作为主干网络,大大减小模型的训练难度,并在ASPP中引入深度可分离卷积,有效捕捉到多尺度信息,进一步减少模型的参数。引入多任务监督学习来推理出室内空间布局和各个局部区域的语义边缘结果,多个任务共享一些通用的特征表示,从而提高模型的泛化能力和效率。利用局部区域语义边缘的输出对语义分割图的结果做特征融合后处理,优化区域与区域之间的边缘位置。在网络训练过程中,设计一种联合损失函数,平滑损失和边缘损失被用来协助网络模型的训练,从而提高语义分割结果的几何合理性。(2)应用LSUN和Hedau数据集进行室内场景图像语义分割模型的研究与实验,采用Io U、m Io U、PA、MPA和PE等语义分割领域常用的评价指标对各个模型的实验分割结果进行评估。1)使用多个语义分割领域中常用的方法和主干网络构建了五种网络模型,并在LSUN和Hedau数据集上与本文模型进行对比实验。与FCN、PSPNet网络模型相比,Deep Lab V3+模型在室内空间布局估计任务中整体上表现更好,并且本文所提模型在LSUN和Hedau数据集上的全局指标m Io U、MPA、PE的值为78.06%、87.51%、7.54%和78.77%、87.54%、7.08%,整体上要优于其他方法。具体到每一个区域面,采用Io U、PA类别指标得到的结果说明,本文模型对各个区域面的分割效果更好,对中墙的分割能力提升的尤为明显。2)将本文所提模型与其他室内空间布局估计相关研究工作在PE指标上进行了定量比较,对比中包含了非端到端的传统方法和端到端的深度学习方法。与近几年的室内布局估计研究方法相比,本文模型在LSUN和Hedau数据集上的PE指标都要低于其他方法,布局估计的精度具有一定的优势。3)选用参数量和推理时间作为评价指标,进一步比较各个网络模型的大小和室内布局估计的快慢,并分析了多种网络模型在训练过程中m Io U、MPA和PE的波动情况。对比分析可知,本文模型在保证分割精度的同时,具有不错的分割效率。在网络模型训练过程中,相较其他模型的收敛速度更快,m Io U、MPA和PE的表现处于领先地位。4)为验证对编码器结构进行改进的必要性,以及引入多任务监督学习模块和特征融合模块的有效性,在LSUN数据集上设置了五组不同的方案以进行消融实验。实验结果表明,改进的编码器-解码器模块、多任务监督学习模块、特征融合后处理模块对室内场景图像的分割有一定的提升效果。这主要是因为本文模型中的多任务监督学习和联合损失函数对语义信息的感知能力更强,能够增强模型对室内空间布局的分割能力,提高分割结果的几何合理性。5)利用本文模型对LSUN和Hedau数据集进行可视化,并对其进行定性分析。从可视化结果可以看出,本文模型具备较好的鲁棒性和泛化能力,即使在环境条件复杂、众多杂物遮挡和多种拓扑结构的情况下,模型依然表现不错的效果,能正确地识别出室内场景布局分割图。(3)设计开发了一个室内空间布局估计系统,将深度学习中的语义分割算法与软件开发相结合,以此方便非技术用户观察模型对室内布局估计的分割效果。从需求和系统结构与功能两个方面对系统进行分析,给出系统的架构和所需技术框架,选用Py Qt框架搭建系统的UI界面,并结合My Sql、Python和Py Torch等技术开发实现系统功能。然后对系统的用户和布局估计两大功能模块进行设计与实现,并对各个UI界面和用户登录、注册、分割等功能操作进行了详细的介绍。最后在功能和性能两个方面对布局估计系统进行测试,进一步评估系统的可行性。测试结果表明,该系统可靠性较好、界面美观、运行稳定,在保证效率的同时,能有效地推理出室内布局结果,对室内空间布局估计具有一定的应用价值。

关键词：布局估计语义分割多任务监督学习编码器-解码器端到端

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于平面语义分割的室内场景布局估计

基于平面语义分割的室内场景布局估计

作者：黄仕中南昌航空大学

学位级别：硕士

室内场景布局估计指基于室内场景图像估计场景的整体空间结构,是室内导航、虚拟现实、增强现实等应用的关键技术之一。传统方法大多通过人工设计特征检测器来提取灭点、消失线,以此构造布局结构,算法通用性不强。目前的基于深度学习的... 详细信息

室内场景布局估计指基于室内场景图像估计场景的整体空间结构,是室内导航、虚拟现实、增强现实等应用的关键技术之一。传统方法大多通过人工设计特征检测器来提取灭点、消失线,以此构造布局结构,算法通用性不强。目前的基于深度学习的布局估计方法通过深度神经网络提取图像的高级语义特征,直接预测室内布局结构。虽然深度学习方法在精度、鲁棒性上都有较大提升,但定位被严重遮挡的布局边界仍存在巨大挑战,而且现有的网络结构复杂,运算速度慢,实用性有限。针对上述问题,本文进行了如下工作:(1)针对布局角点、边界等关键信息常被遮挡严重或完全不可见的问题,本文基于Xception模块构造了一种语义表面分割的深度学习模型来推断布局结构。该模型对Xception的深度可分离卷积进行了优化,并且包含了一种新的空间注意力模块,使网络获在严重遮挡区域获得了很好的学习能力。在公开数据集上的测试表明,本文提出的模型具有更低的像素误差和更好的泛化能力,消融实验证明了网络中的优化卷积和注意力模块对提高布局估计准确率的有效性。(2)针对端到端布局模型运算速度慢,无法满足实时性的问题,本文提出了一种轻量的双路径实时布局估计模型。该模型由上下文路径与空间路径组成。上下文路径通过高效轻量的实时语义分割网络Mobile Net-v2快速下采样特征图,编码高层语义上下信息;空间路径通过三个结构简单的Soft Pool层来保留更多的空间尺度,编码丰富的空间信息,同时空间路径使用快速下采样策略,加块网络下采样速度;两种类型的特征通过双向交叉融合模块互相补充,使网络特征表达能力进一步加强,进而更有利于定位墙面边缘。实验表明,本文提出的方法能够在牺牲少量精度的同时大大提高布局估计的推理速度,FPS可达62.81,满足实时要求。消融实验证明了本文模型与所提出的空间路径、双向交叉融合模块的参数量少。

关键词：布局估计室内场景语义分割注意力机制卷积神经网络

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种由粗至精的室内场景的空间布局估计方法

机器人 2019年第1期41卷 58-64页

作者：刘天亮顾雁秋曹旦旦戴修斌罗杰波南京邮电大学江苏省图像处理与图像通信重点实验室江苏南京210003 罗彻斯特大学计算机科学系美国罗彻斯特14627

为有效标注室内场景的布局关系,提出一种由粗至精的空间布局估计方法.首先,采用局部不连续自适应阈值检测场景的长直线段,根据直线段的方向将其分为竖直和水平直线段;基于投票机制和正交准则估计垂直与水平消失点,由这两个消失点等角度... 详细信息

为有效标注室内场景的布局关系,提出一种由粗至精的空间布局估计方法.首先,采用局部不连续自适应阈值检测场景的长直线段,根据直线段的方向将其分为竖直和水平直线段;基于投票机制和正交准则估计垂直与水平消失点,由这两个消失点等角度间隔地引出成对射线生成场景候选布局.其次,采用VGG-16全卷积神经网络估计相应场景的几何上下文和信息化边界,采用softmax分类器决策其fc7层特征以获取布局类别,融合信息化边界和布局类别生成全局特征以粗选取场景候选布局.接着,基于VGG空间多尺度卷积神经网络估计相应场景的法向图和深度图以提取法向特征和深度特征.然后,利用消失点射线夹角参数化3D盒式布局模型,利用几何积分图聚集候选布局中的直线段成员、几何上下文、法向量和深度等区域级特征,采用割平面法学习结构化模型参数.最后,对候选布局的结构化预测得分进行排序,将得分最高者选取为最终空间布局.Hedau和LSUN数据集实验表明,该方法能获得空间布局的精准区域面划分个数和精确边界位置.

关键词：室内场景布局估计卷积神经网络场景布局类别

在线全文

学校读者我要写书评

暂无评论

基于改进轻量网络的实时室内场景布局估计

激光与光电子学进展 2022年第18期59卷 79-85页

作者：岳有军张杰赵辉王红君天津理工大学电气电子工程学院天津市复杂系统控制理论与应用重点实验室天津300384 天津农学院工程技术学院天津300392

为简化布局估计网络结构,提高输出特征利用率,提出一种基于改进轻量网络的实时布局估计方法。利用轻量级的编码解码网络,端对端直接获得室内场景的主要平面分割图,实现实时的布局估计。针对以往联合学习方法特征利用率不高的问题,引入... 详细信息

为简化布局估计网络结构,提高输出特征利用率,提出一种基于改进轻量网络的实时布局估计方法。利用轻量级的编码解码网络,端对端直接获得室内场景的主要平面分割图,实现实时的布局估计。针对以往联合学习方法特征利用率不高的问题,引入简化的联合学习模块,使用输出分割图的梯度作为输出边缘,将边缘的损失直接整合到整个网络输出损失中,提高特征利用率并精简联合学习网络。针对数据集正负标签不平衡和布局类型分布不平衡问题,使用分割型语义迁移,使用在LSUN数据集上训练得到的语义分割网络参数初始化所提网络参数,提高网络训练的稳定性。在两个基准数据集上对所提方法的性能进行评估。实验结果表明,在LSUN数据集上所提方法的平均像素误差为7.35%,在Hedau上为8.32%。通过消融实验证明了分层监督、简易学习联合和语义迁移机制对提高准确率的有效性。最终实验表明,所提方法能够实时获得准确的室内场景布局估计。

关键词：编码解码网络室内场景布局估计端对端语义分割

在线全文

学校读者我要写书评

暂无评论

室内场景的布局估计与目标区域提取算法

计算机工程 2018年第8期44卷 257-262,267页

作者：吴晓秋霍智勇南京邮电大学通信与信息工程学院南京210003 南京邮电大学江苏省图像处理与图像通信重点实验室南京210003

现有的目标提取方法在应用于复杂的室内场景图像时,容易出现小尺寸物体与平面区域中物体被忽视,以及因遮挡造成大物体提取错误等问题。为此,提出一种针对室内RGB-D场景的无监督布局估计与目标区域提取算法。利用3D点云进行平面分割与分... 详细信息

现有的目标提取方法在应用于复杂的室内场景图像时,容易出现小尺寸物体与平面区域中物体被忽视,以及因遮挡造成大物体提取错误等问题。为此,提出一种针对室内RGB-D场景的无监督布局估计与目标区域提取算法。利用3D点云进行平面分割与分类以完成布局估计,采用2种图像分割方法对RGB-D图像做过分割处理,并利用4种相似度衡量方式进行层次分组。在此基础上,根据布局估计的结果,对不同类别的区域采取不同的边界框匹配策略。实验结果表明,该方法无需预训练即可改善目标区域提取效果,在产生较少目标候选区的情况下提高边界框召回率,加快计算速度。

关键词：深度信息特征融合室内场景布局估计图像分割目标提取

在线全文

学校读者我要写书评

暂无评论

由粗至精的室内场景图像空间布局估计

由粗至精的室内场景图像空间布局估计

作者：顾雁秋南京邮电大学

学位级别：硕士

室内场景布局估计作为图像处理和计算机视觉的研究热点之一,广泛应用于3D重建、场景恢复等新兴领域。室内场景通常存在家具等杂物,虽然为场景语义分类提供较丰富上下文线索,但也会遮挡房间结构布局边界,致使仅基于RGB图像的室内场景布... 详细信息

室内场景布局估计作为图像处理和计算机视觉的研究热点之一,广泛应用于3D重建、场景恢复等新兴领域。室内场景通常存在家具等杂物,虽然为场景语义分类提供较丰富上下文线索,但也会遮挡房间结构布局边界,致使仅基于RGB图像的室内场景布局估计任务具有挑战。于是,本文设计了一种由粗至精的室内场景图像布局估计方法,主要包括改进型消失点估计方法生成布局候选项、全局特征诱导布局候选项粗选取和基于区域级特征的布局估计。针对传统方法难以估计统一顺序的消失点问题,本文提出改进型室内场景房间消失点序列化估计方法。首先,基于局部不连续自适应阈值的直线段检测方法得到室内场景图像中若干长直线段,根据线段方向性划分为竖直和水平方向线段。然后,采用投票评分机制,针对竖直方向直线段组计算相应直线段对可能竖直消失点的贡献得分,估计得到竖直方向消失点;再根据正交性原理和投票评分机制针对水平方向直线段组估计得到水平和投影方向消失点;据此,有序地估计得到相应消失点坐标值。相比于传统消失点估计方法,本文改进型消失点估计方法不仅可以提高计算效率和估计精确度,而且能有效实现有序的消失点估计。针对传统方法仅涉及布局区域级特征提取和学习,本文提出基于全局特征的布局候选项粗选取策略。首先,整幅原始图像输入以VGG-16为原型且模型参数已训练的全卷积神经网络,估计输出相应室内场景的布局边界信息;且经Softmax分类器处理上述网络fc7层特征估计出布局类别。然后,融合场景布局边界和相应类别信息生成全局特征,以约束整个室内空间布局的潜在边界,粗选取场景布局候选项,以缩小后续布局候选项的搜索空间,有利于高效选取潜在空间布局候选项。Hedau和LSUN数据集实验表明,相比于传统布局估计方法,本文全局特征诱导粗选取策略能实现对室内场景空间布局结构和房间边界位置的整体约束。针对传统布局方法仅限颜色和纹理等外观特征,本文提出融入几何深度法向量区域级特征的布局候选项最优化选取估计方法。首先,采用消失射线夹角参数化三维盒式空间布局以构建布局估计模型,将布局估计任务转化为结构化预测问题;接着,利用改进型空间多尺度VGG卷积神经网络迁移估计场景表面法向量和几何深度,几何积分累加提取并融合各个布局多边形区域的空间几何和平面外观特征为区域级特征;最后,采用Cutting-plane结构化优化算法求解模型参数。利用即得模型参数,依据最大化得分的结构化预测估计室内场景布局结构。Hedau和LSUN数据集实验表明,相比于传统布局估计方法,本文布局估计方法能提升空间布局估计的准确性,有利于提高布局模型对被室内物体遮挡场景布局边界的鉴别能力。

关键词：室内场景布局估计场景布局类别卷积神经网络 Softmax分类器

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于关键点的室内场景布局估计

科学技术创新 2021年第7期 63-64页

作者：饶佳莉缪君航空工业江西洪都航空工业集团有限责任公司江西南昌330000 南昌航空大学江西南昌330063

本文利用单幅RGB图像进行房间布局估计的任务,我们将这个问题转换为房间布局关键点的有序集合的分类判断问题。首先设计一个端到端可训练的编码器/解码器网络来预测房间布局关键点的位置,然后通过房间布局关键的检测并建立关键点的顺序... 详细信息

本文利用单幅RGB图像进行房间布局估计的任务,我们将这个问题转换为房间布局关键点的有序集合的分类判断问题。首先设计一个端到端可训练的编码器/解码器网络来预测房间布局关键点的位置,然后通过房间布局关键的检测并建立关键点的顺序,房屋空间布局由这些排好序的关键点完全指定。

关键词：布局估计关键点深度学习网络