检索结果-南通市图书馆

浙江科技学院学报 2024年第3期36卷 218-227,270页

作者：张喻铭周武杰叶绿浙江科技大学信息与电子工程学院杭州310023

【目的】为了使室内机器人能准确地识别室内不同类别的物体,从而选择更安全可行的路线,提出一种用于室内场景解析的基于自蒸馏和双模态的自蒸馏多级级联网络(self-distillation multi-stage cascaded network,SMCNet)。【方法】首先,使... 详细信息

【目的】为了使室内机器人能准确地识别室内不同类别的物体,从而选择更安全可行的路线,提出一种用于室内场景解析的基于自蒸馏和双模态的自蒸馏多级级联网络(self-distillation multi-stage cascaded network,SMCNet)。【方法】首先,使用分割变换器(segmentation transformer,SegFormer)作为骨干网络以双流的方式分别提取三色图(red green blue,RGB)和深度图中的特征信息,得到4组特征输出;其次,设计了特征增强模块(feature enhancement module,FEM),将这四组特征进行特征增强后分组融合,以充分提取双模态特征中的有用信息并充分交融;最后,设计了自蒸馏监督模块(self-distillation supervision module,SSM),通过自蒸馏方法将高层特征中的有价值信息传递到低层特征中,并设计了多级级联监督模块(multi-stage cascaded supervision module,MCSM)进行跨层监督,得到最终的预测图。【结果】在室内场景双模态数据集纽约大学深度版本2(New York University Depth version 2,NYUDv2)和场景理解彩色-深度(scene understanding red green blue-depth,SUN RGB-D)上,相比已有的方法,本研究提出的模型在相同条件下得到的结果超过其他方法,均值交并比(mean intersection over union,MIoU)在NYUDv2和SUN RGB-D两个数据集上分别达到了57.3%和53.1%。【结论】SMCNet能比较准确地解析出室内场景中不同类别的物体,可为室内机器人获取室内视觉信息提供一定的技术支撑。

关键词：室内场景解析自蒸馏多级级联双模态

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于RGB-D多模态图像的室内场景解析算法研究

基于RGB-D多模态图像的室内场景解析算法研究

引用

作者：杭凌霄华中科技大学

学位级别：硕士

随着Kinect等深度传感器的普及和深度学习在计算机视觉领域的广泛应用,基于多模态图像的室内场景解析虽然已经取得了长足进步,但在实际应用中仍然存在不足。一方面,绝大多数算法在训练和测试阶段都依赖RGB-D图像,但彩色图像对用户隐私... 详细信息

随着Kinect等深度传感器的普及和深度学习在计算机视觉领域的广泛应用,基于多模态图像的室内场景解析虽然已经取得了长足进步,但在实际应用中仍然存在不足。一方面,绝大多数算法在训练和测试阶段都依赖RGB-D图像,但彩色图像对用户隐私的侵犯性,以及光学成像导致黑暗环境下失效的局限性,使得研究在测试阶段只依靠深度图像工作的算法更具现实意义。另一方面,深度学习算法十分依赖人工标注的训练样本,为减少在陌生场景中重新标注对人力财力的耗费,需要研究能自动生成分割结果的非监督算法。针对上述问题,本文开展了基于多模态图像的室内场景解析算法研究。针对测试阶段只使用深度图像的深度学习算法,本文提出基于双编码器的深度图像室内场景解析算法,基于“编码器–解码器”的模型框架,利用双编码器分别从二维深度图像和三维点云两个角度提取特征,融合得到更具表达力的特征送入解码器进行预测,后处理高阶CRF模块保障了解析结果的类别标签一致性。为了在训练阶段有效利用彩色图像资源辅助特征提取,本文又提出基于彩色图像指导深度图像的模态知识蒸馏算法,基于双流网络模型,提出在“特许信息学习”的框架下,训练输入彩色图像的教师模型,并通过模态知识蒸馏损失函数提升输入深度图像的学生模型的特征提取能力,使最终的深度图像模型模仿彩色图像的特征提取模式,实现了不同模态的知识迁移。针对非监督室内场景自动解析的问题,本文提出基于RGB-D融合模态信息的协同分割算法,该算法利用深度图像对彩色图像的互补性,很大程度上解决了室内场景彩色图像造成的语义混淆问题。算法整体基于聚类思想对图像的超像素逐级融合,通过提出的边界平面先验,算法能够简单有效地区分图像的前景和背景部分;基于前景物体点云目标性度量的两阶段物体假设滤除机制,能够进一步更好地区分遮挡条件下不同的前景物体。

关键词：室内场景解析图像分割多模态信息融合非监督图像分割

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：