检索结果-南通市图书馆

控制与决策 2023年第10期38卷 2867-2874页

作者：李明鹿朋朱龙朱美强邹亮地下空间智能控制教育部工程中心江苏徐州221116 中国矿业大学信息与控制工程学院江苏徐州221116

针对当前抓取检测模型对密集遮挡物体的检测效果差以及人工数据标注工作量大的问题,提出基于rgb-d图像融合的目标检测与抓取检测分步骤进行的改进方案.新方案支持将单物体图像训练的抓取检测模型直接应用于密集遮挡的多物体图像场景中.... 详细信息

针对当前抓取检测模型对密集遮挡物体的检测效果差以及人工数据标注工作量大的问题,提出基于rgb-d图像融合的目标检测与抓取检测分步骤进行的改进方案.新方案支持将单物体图像训练的抓取检测模型直接应用于密集遮挡的多物体图像场景中.首先,考虑到密集遮挡场景下抓取物具有多尺度的特点,提出子阶段路径聚合(SPA)的多尺度特征融合模块,用于丰富rgb-d特征级别融合的目标检测模型SPA-YOLO-Fusion的高维语义特征信息,以便于检测模型定位所有的抓取物;其次,使用基于rgb-d像素级别融合的GR-ConvNet抓取检测模型估计每个物体的抓取点,并提出背景填充的图像预处理算法来降低密集遮挡物体的相互影响;最后,使用机械臂对目标点进行抓取.在LineMOd数据集上对目标检测模型进行测试,实验结果表明SPA-YOLO-Fusion的mAP比YOLOv3-tiny与YOLOv4-tiny分别提高了10%与7%.从实际场景中采集图像制作YOdO_Grasp抓取检测数据集并进行测试,结果表明增加背景填充预处理算法的GR-ConvNet的抓取检测精度比原模型提高了23%.

关键词： rgb-d融合密集遮挡检测多尺度检测抓取检测机械臂深度学习

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

一种基于邻域度量关系的rgb-d融合语义分割算法

引用

机器人 2023年第2期45卷 156-165页

作者：张健陈烨恒朱世强李月华之江实验室浙江杭州311100

针对深空探测活动中地外环境复杂和计算资源受限,导致语义分割精度较低的问题,提出了一种基于邻域度量关系的rgb-d融合语义分割算法。该算法采用多模态的rgb-d信息取代传统的单目相机数据,并以中期融合框架构建基础网络,且额外设计了邻... 详细信息

针对深空探测活动中地外环境复杂和计算资源受限,导致语义分割精度较低的问题,提出了一种基于邻域度量关系的rgb-d融合语义分割算法。该算法采用多模态的rgb-d信息取代传统的单目相机数据,并以中期融合框架构建基础网络,且额外设计了邻域度量关系模块来优化表现。具体来说,中期融合网络针对不同尺度的原始特征执行精炼、融合、跳接等操作,实现跨模态数据以及跨层级特征的有效互补。进一步地,结合语义特征图与语义标签,以不增加网络推理开销的方法构建邻域度量关系,从全局及局部特征中挖掘样本类别之间的关联信息,提升分割网络的性能。分别在室内数据集NYUdv2和火星模拟场地数据集MARSv1上进行实验,结果表明多模态rgb-d信息以及邻域度量关系均能显著提升语义分割的精度。

关键词：深度学习语义分割 rgb-d融合邻域度量关系

来源：

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

基于rgb-d融合的实时物体检测方法

引用

信息技术 2023年第4期47卷 29-34,40页

作者：梅军辉任栩蝶葛昊上海联适导航技术股份有限公司上海201702 上海交通大学电子信息与电气工程学院上海200240 上海数迹智能科技有限公司上海201702

随着深度学习技术在工业中的广泛应用,目标检测技术作为深度学习和机器视觉中的关键技术,也在越来越多的应用中成为基本的构建模块。为提升算法的鲁棒性,使其能更好地适应光照较弱和过度曝光等不利环境,使用rgb与深度数据融合的方式构... 详细信息

随着深度学习技术在工业中的广泛应用,目标检测技术作为深度学习和机器视觉中的关键技术,也在越来越多的应用中成为基本的构建模块。为提升算法的鲁棒性,使其能更好地适应光照较弱和过度曝光等不利环境,使用rgb与深度数据融合的方式构建模型,并使用可分离卷积、预设框优化以及损失函数优化的方式提升算法的检测速度与精度。最后使用采集的数据进行训练和测试,验证方法的有效性。

关键词：目标检测深度卷积神经网络 rgb-d融合可分离卷积

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于Transformer-CNN混合架构的跨模态融合抓取检测

引用

控制与决策 2024年

作者：王勇李邑灵苗夺谦安春艳袁鑫林重庆理工大学两江人工智能学院同济大学电子与信息工程学院

在机器臂抓取检测领域，rgb图像和深度图像的处理效率仍有很大提升空间。提出了一种基于Transformer-CNN混合架构的新型跨模态交互融合的机械臂抓取检测方法。为了充分利用rgb和深度图像的特征信息，开发了一种高效的跨模态特征交互融... 详细信息

在机器臂抓取检测领域，rgb图像和深度图像的处理效率仍有很大提升空间。提出了一种基于Transformer-CNN混合架构的新型跨模态交互融合的机械臂抓取检测方法。为了充分利用rgb和深度图像的特征信息，开发了一种高效的跨模态特征交互融合模块，用来校准rgb和深度图像相对应的特征信息，并交互增强双模态的特征。此外，还设计了一种Transformer与CNN并行的网络模块，结合CNN的局部建模能力和Transformer的全局建模能力，获得更好的特征表示，从而提高抓取检测性能。实验结果表明，该方法在Cornell与Jacquard抓取数据集上分别达到了99.1%和96.2%的准确率。在真实场景下的抓取检测实验证明了该方法可以有效预测各种场景下物品的抓取位置。

关键词：机械臂抓取检测跨模态 rgb-d融合 Transformer CNN

来源：

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于多注意力机制的目标检测研究与应用

基于多注意力机制的目标检测研究与应用

引用

作者：朱龙中国矿业大学

学位级别：硕士

随着人工智能领域研究的不断深入,机器人逐渐从传统工业走向更为宽阔的应用领域。智能自主抓取是机器人智能化的一项重要任务,而精准的目标检测和抓取位姿估计是实现机器人智能自主抓取的必要前提。在非结构化场景中,物体形状各异,位姿... 详细信息

随着人工智能领域研究的不断深入,机器人逐渐从传统工业走向更为宽阔的应用领域。智能自主抓取是机器人智能化的一项重要任务,而精准的目标检测和抓取位姿估计是实现机器人智能自主抓取的必要前提。在非结构化场景中,物体形状各异,位姿随机,相互堆叠遮挡,这对机器人的多目标检测和抓取检测提出了更高的要求。本文针对物体堆叠密集遮挡场景下的多目标检测及抓取检测展开研究,提出了一种融合多注意力机制的目标检测模型以及基于目标检测的二阶段抓取检测模型,并进行实验场景下的抓取实验。本文的主要研究工作如下:首先,针对密集遮挡场景下多物体目标检测的错检漏检问题,对包含自注意力机制的dETR(detection Transformer)模型进行特征级别的深度信息融合,增强模型输入的边缘纹理信息和位置信息。为提升模型在密集遮挡场景中对目标物体的特征提取能力,提出一种多注意力机制模块(Multi-Attention Block,MAB)和MAB-dETR-Fusion目标检测模型。从实际场景中采集堆叠场景的数据,补充重构了YOdO＿det数据集。基于该数据集进行训练验证,经过消融实验验证,深度信息融合提升了原模型1.6%的检测精度,MAB模块提升了1.8%的检测精度。本文提出的MAB-dETR-Fusion目标检测模型达到了90.5%的检测精度,较原模型提升了2.6%的检测精度且具有一定的光照鲁棒性。其次,由于目前的抓取检测模型在密集遮挡场景中存在重复检测、检测精度不足等问题,本文提出基于MAB-dETR-Fusion目标检测的二阶段抓取检测模型。对GR-Conv Net抓取检测网络引入SE通道注意力模块,加强其对密集遮挡场景下感兴趣区域的特征提取能力。对两个阶段的模型采用裁剪背景填充的衔接处理方法,降低了密集遮挡场景中复杂背景信息的干扰。在实验场景中采集数据,扩充了YOdO＿Grasp数据集。经过消融实验验证,融合了SE通道注意力模块的GR-Conv Net模型提升了1.7%的抓取检测性能。本文提出的基于目标检测的二阶段抓取检测模型的精度为83%,推理速度为43.5FPS,满足实际应用需求。最后,使用Jaco2机械手机和Real Sense d435i深度相机搭建实验抓取平台。使用基于目标检测的二阶段抓取算法进行抓取检测,并基于有效的抓取检测结果对每类物品都进行20次抓取实验。面向单物体抓取时,目标检测和抓取检测精度都为96.7%,基于有效抓取检测的抓取成功率为92.2%;面向多物体抓取时,具有92.5%的目标检测精度,79%的抓取检测精度,基于有效抓取检测的抓取成功率为86.7%,具有良好的抓取效果。该论文有图53幅,表6个,参考文献86篇。

关键词：多注意力机制目标检测抓取检测 rgb-d融合

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于图像融合的目标识别与抓取检测研究

基于图像融合的目标识别与抓取检测研究

引用

作者：鹿朋中国矿业大学

学位级别：硕士

随着人工智能以及深度学习的不断发展,机器人的自主抓取在智慧工厂以及智能家居等领域都发挥着不可替代的作用。针对端到端的抓取检测模型对密集遮挡等多物体的检测存在重复检测、鲁棒性差的不足,本文提出基于rgb图像与depth图像融合的... 详细信息

随着人工智能以及深度学习的不断发展,机器人的自主抓取在智慧工厂以及智能家居等领域都发挥着不可替代的作用。针对端到端的抓取检测模型对密集遮挡等多物体的检测存在重复检测、鲁棒性差的不足,本文提出基于rgb图像与depth图像融合的目标识别与抓取检测分步骤处理的方法,该方法支持抓取检测模型在单物体场景下进行训练,并直接应用于多物体场景中,这增加了模型的泛化性并减少了人工标注数据的工作量。本文的主要内容如下:首先,针对基于rgb图像的目标检测器对密集遮挡的多物体场景易出现漏检与误检的问题,提出了将低维特征与高维特征进行多尺度特征融合的子阶段路径聚合模块（Sub-stage and Path Aggregation,SPA）与基于rgb-d特征级别融合的SPA-YOLO-Fusion目标检测模型。SPA-YOLO-Fusion在YOLOv3-tiny的基础上,利用两个不同的特征提取网络对rgb图像以及depth图像分别进行特征提取,使用特征叠加的方式处理rgb特征以及depth特征,并使用了SPA模块对叠加的两类图像特征进行融合。对Line MOd数据集进行补充标注并从实际场景采集图像制作YOdO＿det数据集,实验结果表明SPA-YOLO-Fusion模型在两个数据集上的检测精度分别为91%和95%,且光照鲁棒性以及特征融合模块的泛化性也优于YOLOv3与YOLOv4的轻量级模型。其次,从损失函数、预处理以及后处理算法三方面对基于rgb-d像素级别融合的GR-Conv Net抓取检测模型进行了改进。本文提出的MS-L1（Mask Smooth L1）损失函数,对SPA-YOLO-Fusion模型所输出的目标区域图像赋予较大的权重,并提出白色背景填充的预处理算法以及对目标区域外的图像像素进行过滤的后处理算法。从实验室场景采集图像并制作YOdO＿Grasp数据集,该数据集的特点是训练集为单物体图像,而测试集为多物体图像。实验结果表明改进之后的GR-Conv Net与GG-CNN的精度分别85%和73%,性能分别提升了23%与17%。然后,在配备RealSense d435i深度相机与Jaco2机械臂的抓取平台上,对单物体场景以及六类物体密集摆放的多物体场景都进行了目标检测与抓取检测,并针对有效的抓取框再进行了20次抓取实验。实验结果表明在单物体场景下目标检测精度为97%,抓取检测精度为97%,抓取成功率为93%;在多物体场景下的抓取检测精度为75%,抓取成功率为90%,优于其他抓取检测模型。最后,将基于rgb-d图像融合的目标识别与抓取检测的功能进行软件集成,提高了抓取检测任务的可视化能力以及可操作性。该论文有图61幅,表7个,参考文献92篇。

关键词：卷积神经网络 rgb-d融合目标检测抓取检测多尺度特征融合

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多模态的手部姿态估计方法研究

基于多模态的手部姿态估计方法研究

引用

作者：孙晓静上海师范大学

学位级别：硕士

手部姿态估计是计算机视觉中一个非常重要的领域,该技术可从输入图像中获取准确的手部骨骼关键点,广泛应用于安防、医疗、3d电影制作等领域。传统的手部姿态估计方法使用深度图像或rgb图像作为输入。虽然这些方法在一定场景下取得了一... 详细信息

手部姿态估计是计算机视觉中一个非常重要的领域,该技术可从输入图像中获取准确的手部骨骼关键点,广泛应用于安防、医疗、3d电影制作等领域。传统的手部姿态估计方法使用深度图像或rgb图像作为输入。虽然这些方法在一定场景下取得了一定的成就,但固有的挑战仍然存在。深度传感器很大程度上依赖于距离,只能在室内使用,因此基于深度的方法在实际应用中存在许多局限性。基于rgb的方法存在严重的自遮挡且因rgb图像对光线较为敏感,在实际应用中对使用场景要求很高。3d姿态的标注难度大使得该领域缺乏大型、真实场景数据集。随着消费级深度相机的推广和普及,rgb-d图像的应用越来越广泛,深度信息与彩色信息的融合提高了计算机视觉任务的准确性。IR图像作为深度相机的产物之一在光线较差的情况下表现良好的性能。上述挑战和深度相机的优势启发本文将多种输入模态相融合以增强优势,弥补劣势。本论文基于多模态的输入对手部姿态估计进行了系统的方法研究,主要研究工作包括以下几个方面:(1)rgb-d图像在场景分割、物体检测等视觉领域表现出优秀成果,由于早期深度相机价格较高,在早期的研究方法中鲜有使用rgb-d图像,绝大部分研究者选择使用深度图像或rgb图像作为输入。针对目前基于单幅深度图像或单幅rgb图像的方法所存在的3d姿态估计不准确的问题,本文将深度信息与rgb彩色信息相结合提出了多模态交叉融合方法并设计了基于rgb-d的多模态交叉融合网络模型。该模型使用成对的rgb图像与深度图像作为输入,经双分支初始特征提取模块后在交叉融合模块完成rgb模态与深度模态的融合,最终经回归模块输出准确度更高的三维手部姿态结果。交叉融合模块是本文启发性的贡献,目的是为了两种模态实现更好的融合。(2)基于rgb-d的方法可以有效提高模型的准确性,但因rgb图像对光线较为敏感,故在实际应用中该方法受到一定限制。针对实际应用中光线不满足要求的情况下深度相机效果不理想的情况,本文使用IR图像作为输入之一,提出了基于IR和depth的多模态手部姿态估计方法。该方法放弃对光照条件有很高要求的rgb图像而是选择深度相机在近红外光源下的产物—IR图像以及对应的深度图像作为输入。在网络模型设计方面,引入注意力机制以加强网络对重要特征的学习,回归模块采用常见的基于热图的回归方式,该模型的最终输出为三维手部关键点坐标。该方法在阴暗或是光线过强的情况下能表现良好的性能。(3)针对手部姿态估计领域内真实场景下IR数据集少的问题,本文自建了首个含有三维标注信息的多模态数据集,deptrum Hand数据集。该数据集在真实场景下拍摄并且包含三维关节点标注数据,填补了IR图像手部姿态估计数据集的空白。该数据集含有成对的IR图像与深度图像,可用于相关手部姿态估计方法的训练与验证。数据集内含多种手部动作,亦可作为手部动作识别数据集。本文在deptrum Hand数据集训练了本文的基于IR和depth的多模态手部姿态估计模型并验证了本文方法的有效性。本文的方法在多个公开数据集以及自建数据集上都达到了领域内领先的效果,同时对于模型的评估也展示了模型在实际应用中的良好性能和巨大的发展空间。

关键词：手部姿态估计卷积神经网络 rgb-d融合多模态融合注意力机制

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：