检索结果-南通市图书馆

东南大学学报（自然科学版） 2016年第4期46卷 681-687页

作者：刘天亮冯希龙顾雁秋戴修斌罗杰波南京邮电大学江苏省图像处理与图像通信重点实验室南京210003 罗彻斯特大学计算机科学系美国罗彻斯特14627

为了标注室内场景中可见物体,提出一种基于RGB-D数据由粗至精的室内场景语义分割方法.首先,利用分层显著度导引的简单线性迭代聚类过分割和鲁棒多模态区域特征,构建面向语义类别的超像素区域池,基于随机决策森林分类器判决各个超像素区... 详细信息

为了标注室内场景中可见物体,提出一种基于RGB-D数据由粗至精的室内场景语义分割方法.首先,利用分层显著度导引的简单线性迭代聚类过分割和鲁棒多模态区域特征,构建面向语义类别的超像素区域池,基于随机决策森林分类器判决各个超像素区域的语义类别,实现粗粒度区域级语义标签推断.然后,为了改善粗粒度级的语义标签,利用几何深度导引和内部反馈机制改进像素级稠密全连接条件随机场模型,以求精细粒度像素级语义标注.最后,在粗、细粒度语义标注之间引入全局递归式反馈,渐进式迭代更新室内场景的语义类别标签.2个公开的RGBD室内场景数据集上的实验结果表明,与其他方法相比,所提出的语义分割方法无论在主观还是客观评估上,均具有较好的效果.

关键词： RGB-D室内场景语义分割 slic过分割稠密CRFs 递归式反馈

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于RGB-D图像的室内场景语义分割方法

基于RGB-D图像的室内场景语义分割方法

引用

作者：冯希龙南京邮电大学

学位级别：硕士

图像语义标注作为图像场景理解的核心之一,已成为图像处理与计算机视觉领域的研究热点。室内场景存在大量语义类别、互相遮挡、低层视觉特征辨识力较弱以及不均匀光照等问题,使得室内场景语义标注已成为图像理解中棘手且极富挑战的研究... 详细信息

图像语义标注作为图像场景理解的核心之一,已成为图像处理与计算机视觉领域的研究热点。室内场景存在大量语义类别、互相遮挡、低层视觉特征辨识力较弱以及不均匀光照等问题,使得室内场景语义标注已成为图像理解中棘手且极富挑战的研究方向。随着深度传感器的普及和计算机视觉研究人员的不懈努力,当前能便捷且可靠地获得包含多模态的RGB纹理和Depth深度的RGB-D数据。利用富含几何深度信息的RGB-D感知数据,融入并解决视觉计算中室内场景语义标注问题,具有巨大潜力和诱人前景。本文设计了一种基于RGB-D图像由粗至精的室内场景语义分割方法,包括粗粒度区域级语义标签推断与细粒度像素级语义标签求精两大部分。首先,在粗粒度区域级语义标签推断过程中,利用基于图像分层显著度导引的简单线性迭代聚类(Simple Linear Iterative Clustering,slic)过分割算法和鲁棒的多模态区域特征构建超像素语义标签池,由已训练的随机决策森林分类器对超像素语义类别标签进行判决;然后,在细粒度像素级语义标签求精过程中,利用几何深度深度信息和内部反馈机制改进像素级稠密条件随机场(Conditional Random Fields,CRFs)概率图模型,对粗粒度语义标注结果求精;最后,引入全局递归式反馈,渐进式迭代更新室内场景的语义类别标签。针对目前快速的非监督过分割算法在杂乱的室内场景中难以得到具有较高边缘一致性的超像素区域的问题,利用图像分层显著度所具备的抗小范围高对比度模式的特点,本文改进了一种基于图像分层显著度导引的简单线性迭代聚类slic过分割,用于实现粗粒度区域级语义标签的推断方案。首先,提取RGB彩色通道中三个不同尺度的图像层次结构,针对每个图像层次结构分别计算对应的显著度信息,将这些分层视觉显著度融合成一个统一的显著度图像,以构建树状推断模型;然后,利用场景即得的分层显著度与相应的深度信息,对传统slic过分割仅包含彩色三通道的聚类空间进行多模态扩充,聚类得到较紧凑的超像素区域;接着,计算超像素区域的质心、色彩HSV分量均值与相应直方图、彩色RGB图像梯度方向直方图(Histograms of Oriented Gradients,HOG)、深度图像HOG以及表面法线向量图像HOG等特征并做归一化成单位向量;然后,将即得的各个归一化特征向量,串联拼接成超像素区域的多模态特征;最后,对即得区域的多模态特征,采用随机决策森林分类判别相应区域的语义标签类。NYU Depth v2和SUN3D RGB-D数据集上的实验表明,改进型过分割方案有助于改善室内场景中局部小范围高对比度模式对划分场景的超像素区域的不利影响,能提升所划分超像素区域边界性能,有利于粗粒度区域级语义标签推断,得到精度较高、整体视觉效果较好的语义标注结果,为后续求精细粒度的语义标签提供更为可靠的上下文信息。鉴于传统室内场景语义标注方案尚未充分挖掘几何深度信息对上下文推理过程的贡献,本文设计了一种基于几何深度信息和内部递归式反馈机制改进像素级稠密CRFs概率图模型的方案,以实现细粒度级别语义标签的推断求精。首先,利用场景深度信息和摄像机内部参数计算室内场景的三维点云和相应点云表面的法线向量;然后,利用即得场景的深度图像及相应的表面法线向量,修正稠密CRFs概率图模型中由高斯核线性组合而成的成对项势能,推断获得细粒度级别的初始语义类别标注;最后,根据区域级语义标签推断部分产生的过分割信息和即得的细粒度语义标注以及合适的终止条件,迭代更新粗粒度区域级的语义标注结果。若满足终止条件,则终止该内部反馈,将对应的细粒度语义标注图像作为最终细粒度级别标注图像;否则,返回前一步骤。NYU Depth v2和SUN3D RGB-D数据集上的实验表明,相较于传统稠密CRFs概率图模型,改进型稠密CRFs概率图模型一定程度上能抑制曝光过度或不均匀的室内光源对场景语义标注的不利影响,提升语义标签预测的准确性;而引入内部递归式反馈机制,能改善细粒度像素级语义标签求精的准确性和稳定性,以产生视觉表现力更强、标注准确率更高的细粒度语义标注图像。针对传统场景语义标注方案中存在难以合适选择标注基元尺度的问题,本文设计了由粗到精全局递归式反馈的RGB-D室内场景语义标注框架。首先,将最终的细粒度语义标注图像作为一种额外感知通道对所摄场景图像进行slic过分割方法中的聚类空间进行扩展;然后,根据更新后的细粒度级别标注图像与未更新前的细粒度级别标注图像变化小于某一阈值,作为全局递归式反馈机制中判断终止的条件。若满足该终止条件,则终止该全局反馈,并将该更新后的最终细粒度级别标注图像作为该查询图像的最终标注图像;否则,返回前一步骤。与传统单一的区域级或像素级语义标注框架不同,该框架合理地引入全局递归式反馈的机制,能在粗粒度

关键词：室内场景语义分割 RGB-D图像 slic过分割稠密CRFs 递归式反馈

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：