检索结果-南通市图书馆

作者：黄燕清上海交通大学

学位级别：硕士

在众多公共场所的视频监控以及安防领域,对复杂人体行为识别的能力显得尤为重要,特別是对人体异常行为的检测和预警。然而,现在只能通过人工干预完成危险事件或异常行为的预警工作,计算机视觉领域的蓬勃发展,使得自动识别监控视频系统... 详细信息

在众多公共场所的视频监控以及安防领域,对复杂人体行为识别的能力显得尤为重要,特別是对人体异常行为的检测和预警。然而,现在只能通过人工干预完成危险事件或异常行为的预警工作,计算机视觉领域的蓬勃发展,使得自动识别监控视频系统中被监控人的行为变得可行。本文把手持刀行为分析和检测作为主要研究内容,详细阐述了人体行为识别研究类别和方法、手持刀异常行为和基于realsense的应用研究现状和发展状况。紧接着介绍了realsense的平台架构、SDK模块和深度图像获取原理等,为后续的实验内容做好充分的准备。首先针对目前基于RGB彩色图像的手持刀行为检测方法,为了提高其应用的召回率,提出了两种基于MPEG-7 EHD特征提取算法的改进方法,分别是特征旋转法和添加最大全局边缘和特征法。其中特征旋转法通过旋转候选图片的MPEG-7边缘直方图特征,来适应不同的拍摄角度,同时也是增加训练样本的一种方式;添加最大全局边缘和特征法针对刀的长直边缘特性,提取图像的全局边缘特征作为新的特征维度与原始边缘直方图特征组成81维特征向量。基于公共数据集和自制数据集的实验结果表明,两种改进方法都提升了手持刀图片检测的召回率、精确率和F分数,两个算法的整合模型表现出最高的召回率,相比基准模型提升了17.56%。由此可见,我们的算法对该类异常行为检测有更好的效果。最终基于该训练模型,利用realsense SR300摄像头实现了一套完整的近距离异常行为检测系统。同时为了充分利用realsense摄像头的深度图,针对手持刀异常行为检测提出了新的算法——基于深度图像的3D物体滑动形状检测算法。该方法首先利用3D刀模型生成多种视图的深度映射图,然后从对象的3D点云中提取并结合多类特征(点密度特征、3D形状特征、3D表面特征和TSDF特征)训练SVM分类器。本实验中还对模型做了健壮性设计,提出了处理杂波,遮挡和深度缺失等的若干种方法。并将实验数据分为三类进行分析阐述,结果表明,本算法针对远距离下的手持刀行为检测具有可靠的准确识别率,在3米范围内的刀检测召回率达到75%左右。

关键词：手持刀 realsense SVM分类器特征提取 MPEG-7 深度图

基于realsense的动态表情识别方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于RealSense的动态表情识别方法研究

作者：张钊华中师范大学

学位级别：硕士

面部表情作为人类情感交流的重要途径之一,表情识别成为了情感计算在教育领域中的关键课题。便携式3D传感器和移动设备的发展,也为新型人机交互方式带来了更多的可能,使表情识别的应用可以更加自然的融入智慧教学。本文通过对国内外学... 详细信息

面部表情作为人类情感交流的重要途径之一,表情识别成为了情感计算在教育领域中的关键课题。便携式3D传感器和移动设备的发展,也为新型人机交互方式带来了更多的可能,使表情识别的应用可以更加自然的融入智慧教学。本文通过对国内外学者在表情识别上的研究工作进行总结,发现现有的研究多基于采集平面2D图像的普通RGB传感器的静态表情识别。静态表情相比动态表情,缺乏了连续变化的信息,而基于2D图像的表情识别容易受到光照,拍摄角度的影响,扩展性不强,用2D图像描述3D的人脸必然会造成一些重要信息的丢失或失真,从而影响表情识别的精度;部分采用3D传感器的识别方法,传感器造价昂贵,特征提取过程较为繁琐,不利于表情识别的应用。为了克服以上问题,本文引入了 realsense 3D传感器用于面部信息的获取,得到面部标记点后提取人脸动态几何特征,并转化为语义层面的特征描述标签,将SVM分类方法与基于区域特征描述标签的分类方法进行融合,实现动态三维表情的识别。主要研究工作如下:（1）录制realsense三维动态表情数据库。鉴于目前国内外没有基于realsense的面部表情数据库,课题组组织并录制了包含面部RGB-D、头部姿态、面部78个标记点坐标信息的realsense表情数据库。该数据库包含六种基本表情类别（高兴、悲伤、惊讶、愤怒、害怕、厌恶）。（2）针对包含RGB-D信息的面部数据,使用了一种基于三维空间的归一化方法,通过分析每种表情的特点,对面部表情特征按面部区域眼、眉、嘴、鼻构建局部特征描述标签集合。在面部标记点基础上提取三维动态表情的几何特征,包含距离特征和角度特征,完成底层特征提取。（3）提出基于SVM和区域特征描述标签融合的表情分类方法。分类方法融合过程中,使用几何特征训练SVM分类器进行初次分类,通过输出SVM的后验概率,筛选出SVM分类过程中模糊的样本,使用区域特征描述标签的分类方法进行二次分类。区域特征描述标签的分类方法通过构建树形特征描述标注器,将几何特征从特征空间转换到语义空间,完成特征描述标签的标注,通过迭代训练,得出特征描述标签对表情类别的贡献度,构造特征描述-类别矩阵,使用BOW匹配的方法,确定表情类别。分类方法的融合,有效降低了表情识别中由于样本差异,导致分类方法泛化能力差的问题。结合本文提出的三维动态表情识别算法,在Windows平台下,使用VS2015集成开发环境,结合realsense3D传感器,搭建了一套表情识别系统。同时使用录制的realsense表情库和CK+表情库验证分类方法有效性。

关键词：表情识别三维动态特征特征描述标签 realsense

基于realsense的自动换盘移栽秧苗检测研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于RealSense的自动换盘移栽秧苗检测研究

作者： TABINDA NAZ SYED 江苏大学

学位级别：硕士

移栽是蔬菜和花卉生产过程中最重要的环节之一,为了满足穴盘苗的生长空间和养分需求,需将其从高密度穴盘中移栽到低密度穴盘。由于人工幼苗分选的效率较低和劳动强度较高,目前难以扩大生产规模。因此,分选出健康幼苗是实现高质量移栽的... 详细信息

移栽是蔬菜和花卉生产过程中最重要的环节之一,为了满足穴盘苗的生长空间和养分需求,需将其从高密度穴盘中移栽到低密度穴盘。由于人工幼苗分选的效率较低和劳动强度较高,目前难以扩大生产规模。因此,分选出健康幼苗是实现高质量移栽的前提和基础。另外,植物损伤信息检测是穴盘苗自动移栽的重要问题。基于图像处理的检测技术具有速度快、效率高、精准可靠的优点,视觉检测对提高效率、减轻劳动强度、保证移栽速度、促进苗木快速发展具有重要意义。近年来,已经提出了几种基于图像的检测方法,并且可能将其开发用于农业生产。然而,现有的基于深度信息的识别技术主要是通过深度点云的3D重建,图像特征提取或RBG信息的融合来实现幼苗的识别,复杂程度高并且对健康幼苗的识别非常有限。针对上述缺点,本文提出了利用realsense深度传感器开发了基于深度信息的健康温室穴盘苗的识别方法。主要研究内容如下:1、根据移栽要求,研究了黄瓜幼苗形态特征参数与苗木之间指标的相关性和灰色关联度分析,确定了黄瓜苗叶面积,茎直径和株高的阈值。结论:当黄瓜幼苗的叶面积,茎直径和株高分别大于257mm 、1mm和27mm时,即可进行移栽。反之,如果叶面积,茎直径和植物高度分别小于257mm、1mm和27mm,则它们将不能满足移栽的要求。本文确定的阈值可以为健康黄瓜幼苗特征提取提供理论依据。2、为了幼苗对象的近距离识别和预处理,基于realsense及近景深度信息,开发了近距离识别检测的机器视觉（MV）系统,实现近距离苗-坨多指标集成监控。此外,使用点云聚类算法来获得3D幼苗模型的分割,开发了数据处理通道以检测4种不同幼苗品种的不同形态参数。实验是用4种不同的幼苗品种（胡椒,番茄,黄瓜和生菜）进行的,并在不同的光照条件下（光照和黑暗）进行了测试。分析结果表明,由于近距离近红外（IR）检测,在明暗环境中发现的差异无统计学意义（prealsense和手动方法之间的茎直径关系。而realsense和手动方法之间的幼苗高度关系被发现分别高于胡椒,番茄,黄瓜和生菜的R=0.99、0.99、0.99和0.99。根据实验结果,可以得出结论,使用该方法的RGB-D集成监控系统有望在苗木自动化移栽方面得到应用。该系统显示出良好的坚固性和对植物生长监测的相关性。3、为了进一步验证近距离识别方法的有效性和通用性,将所设计的算法应用于黄瓜幼苗,根据获得的阈值在移植模式下识别健康幼苗。在已开发的全自动综合移栽机系统上进行了实验,并逐一鉴别了无-苗,劣质苗和健康苗。实验结果表明,在第10天,105个孔格的识别精度为96.59%,耗时为0.3秒。同时,观察到健康幼苗的识别率随着幼苗生长阶段的增加而降低。然而,在第16天,健康幼苗的识别率为92.65%。因此,根据实验结果,建立了基于多特征的健康苗木综合评价方法。综上所述,realsense SR300具有成本低,精度高、集成度高等优点,是一种深度信息采集设备。利用近景中简单的结构,开发了黄瓜幼苗在移栽过程中的健康苗识别方法。整个算法简单可行、效果显著,可以高效剔除不健康和劣质的幼苗,对许多种苗都有很好的可行性。此外,这项研究具有较好的应用前景,对实时视觉伺服操作系统在移栽机机器人移栽作业期间识别不同类型的健康幼苗具有实际应用价值。

关键词：移植机器人 realsense 近景识别图像处理穴盘苗

基于realsense的自发学习表情识别研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于RealSense的自发学习表情识别研究

作者：高倩华中师范大学

学位级别：硕士

情感在人的生活中发挥重要的作用,能够直接影响人的思维、记忆、创造力以及行为。课堂学习环境中学生的情感状态会影响其认知活动,积极的情感将对学习活动起到促进作用。传统课堂中教师面对的学生数量较多,在保证授课质量的同时难以及... 详细信息

情感在人的生活中发挥重要的作用,能够直接影响人的思维、记忆、创造力以及行为。课堂学习环境中学生的情感状态会影响其认知活动,积极的情感将对学习活动起到促进作用。传统课堂中教师面对的学生数量较多,在保证授课质量的同时难以及时感知每个学生的学习情感状态,不利于师生之间的和谐情感交互。人工智能技术的发展推动了智慧学习的深入研究,智慧学习环境中学生情感的准确识别是帮助教师及时调控学生情感状态、优化教学的重要手段。面部表情是情感的主要表达途径,并且在学习环境中相较于其他生理信息更容易获取,因此智慧学习环境中学生的学习情感多通过表情进行判断。通过总结相关研究发现,对于学习情感的探索起步较晚,近几年发展迅速,但仍存在以下问题:其一,各研究关注的学习情感类型不同,并且没有给出合理的分类依据;其二,学习表情相关的数据库较少,难以支持算法的深入研究;其三,学习表情大多比较细微,区分度小,缺少针对学习表情特点的特征提取方法,识别率较低,不利于应用到实际学习环境中。基于以上问题,本文构建学习表情数据库,提出了一种基于深度学习的融合特征提取方法。首先,基于对学习情感的发生机制、教育功能和类型的研究,提出本文关注的学习情感类型,即五种常见并具有关键教育功能的情感状态:惊奇、困惑、愉悦、疲倦、中性,并给出研究依据。结合面部动作编码体系总结了每种表情的关键表征。其次,构建自发学习表情数据库,包括惊讶、困惑、高兴、疲倦、中性五种表情类型,制定了严格的数据库录制标准,采用Intel realsense SR300摄像头拍摄被试在学习状态下的自然情感流露,并由心理学人员和被试分别标注情感,以保证标签的准确性。再次,本文针对学习表情特点提出了一种融合特征提取方法。构建7层卷积神经网络(CNN)用于深度全局特征提取;利用完整局部二值模型(CLBP)提取浅层全局纹理特征,并使用核主成分分析(KPCA)对纹理特征进行分块降维;在眉毛、眼睛、嘴巴部分定义了四种几何特征,将三者融合后的特征作为最终的表情特征数据。通过深层与浅层、局部与全局两个层面的特征融合,有效增加了特征表现力与稳健性,同时特征维度低,能够提高识别效率。最后,通过实验验证本文算法有效性。将本文提出的方法在自发学习表情数据库、中国化面孔情绪图片系统和CK+库中进行测试,识别准确率达到95.6%、87.6%、96.3%。分别将单一特征与融合特征识别率进行对比,结果表明本文特征融合方法比单一特征效果更好;同时对比目前主流方法的识别效果,证明本文方法能够有效识别学习表情,提高基本表情的识别率。本文研究为在课堂学习环境中实现学生学习情感分析,促进智慧学习的发生奠定了技术基础。

关键词：面部表情识别学习情感 realsense 卷积神经网络几何特征融合特征智慧学习环境

基于realsense的室内物体3D分割技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于RealSense的室内物体3D分割技术研究

作者：郭也东北林业大学

学位级别：硕士

图像分割是将图像按照一定的规则分割成若干个特定的区域,然后将这些区域提取出来的过程。随着计算机图形学以及二维、三维图像技术快速发展,图像分割技术作为其中重要的基础步骤之一已经被广泛应用各个领域。但目前多半图像分割工作主... 详细信息

图像分割是将图像按照一定的规则分割成若干个特定的区域,然后将这些区域提取出来的过程。随着计算机图形学以及二维、三维图像技术快速发展,图像分割技术作为其中重要的基础步骤之一已经被广泛应用各个领域。但目前多半图像分割工作主要集中在二维图像的处理上。realsense立体深度摄像机作为可以同时获取彩色图像和深度图像的设备,其提供的深度图像中的深度信息为当前在三维图像方面的研究提供了技术储备,目前利用realsense进行研究已经成为趋势。为此,本文以GrabCut图像分割算法为基础,在二维图像分割算法的基础上结合realsense摄像机获取的深度信息,对三维图像分割技术进行研究,主要工作如下:首先,为提高GrabCut算法在图片细节丰富时的分割效率与分割效果,在预处理过程中,用SLIC算法（线性迭代聚类算法）引入超像素以代替像素估计高斯混合模型的参数,构造网络流图;用流行排序算法进行背景先验和前景先验生成显著图,将显著图融合并进行优化,通过对显著图进行阈值分割以获得显著目标的分割结果,使得前景背景更加分离。SLIC算法能有效地提高算法分割效率,减少分割时间。然后,本文提出了一种融合深度信息的GrabCut算法,将普通的二维分割算法转变为三维分割算法。深度信息提取于realsense深度摄像机获取的深度图像,以深度信息指导生成显著图以进行算法的初始化;然后再将深度信息引入GrabCut算法的能量公式。深度信息可以描述出物体距离拍照源的远近,更加准确地区分目标对象和背景。将改进后的算法与其他图像分割算法进行对比,实验表明,同时利用深度信息和颜色信息可以使分割结果更精确。本文提出的新的三维图像分割方法,在背景与目标物体颜色相近区别较小或者图中存在阴影时,有效改善了分割结果,提高了算法的分割效率以及分割准确度,为图像分割技术的研究提供了一种新的思路。

关键词：三维图像分割 realsense GrabCut 简单线性迭代聚类深度信息

基于realsense的动态手势设计及识别方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于RealSense的动态手势设计及识别方法研究

作者：张超华中师范大学

学位级别：硕士

随着科技的不断进步,人机交互技术也获得了长足的发展,变得更加人性化、更加自然。传统的人机交互界面如命令行界面、图形用户界面已经不能够满足人们的需求。基于语音、触控、手势等的新一代人机交互方式正在快速发展。与身体其它部位... 详细信息

随着科技的不断进步,人机交互技术也获得了长足的发展,变得更加人性化、更加自然。传统的人机交互界面如命令行界面、图形用户界面已经不能够满足人们的需求。基于语音、触控、手势等的新一代人机交互方式正在快速发展。与身体其它部位相比,手是最有效的人机交互工具,手部动作简单直观,不需要与机器直接接触就可以完成交互,因此手势将成为未来人机交互领域的热门研究内容之一。目前对于手势识别的研究主要利用数据手套和摄像头,数据手套成本高,穿戴不便,很难在实际中大规模应用,而基于视觉的手势识别所需的摄像头更易于普及。随着realsense、Kinect等3D摄像头的问世,基于视觉的手势识别获得了更大的发展,成为当下热门的研究领域之一。现有的手势识别研究多局限于识别手势数据库中的标准手势,无法进行实时的手势识别或难以达到实用的地步。本文针对上述问题首先设计了一套教学中使用的基础动态手势用于实现与教学软件的交互;其次利用realsense 3D摄像头提供的基础数据,基于状态自动机的连续手势分割算法确定手势的开始和结束,以获取完整的手势数据;针对不同类别的手势,选取特征构造特征向量;在识别环节,构造分类树,结合DTW实现动态手势识别;在此基础上,针对教学场景对手势识别方法进行了优化,有效地降低了误识率;最后,设计并实现了一个实时的手势识别系统,系统包括手势录制、手势识别和应用三个模块,分别实现手势的录制和识别,用手势代替鼠标和键盘的部分交互功能。为了验证手势识别系统的有效性,本文首先针对7种基础动态手势建立标准手势数据库,对数据库中手势进行识别,并在此基础上进行了实时手势识别实验。实验表明,连续手势分割算法可以准确地确定手势开始和结束的时刻,将有效手势完整地分割出来。手势识别算法的识别率达到96%,具有准确度高、实时性强的特点。将本文的手势识别系统与课堂教学相结合,通过手势实现对教学软件的操控。教师在课堂教学中更加灵活自由,教学也更具趣味性。

关键词：人机交互 realsense 动态手势识别状态自动机 DTW

基于realsense线上教育表情识别的研究及应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Realsense线上教育表情识别的研究及应用

作者：赵利佳黑龙江大学

学位级别：硕士

随着远程实时视频技术的不断发展以及新冠疫情的爆发,线上教育的重要性已经日益显现。虽然目前我国疫情已经稳定,但是这次突发事件也为全世界敲响了警钟,使线上教育的发展走向了“高速公路”。而线上教育由于其时空分离的特点,师生之间... 详细信息

随着远程实时视频技术的不断发展以及新冠疫情的爆发,线上教育的重要性已经日益显现。虽然目前我国疫情已经稳定,但是这次突发事件也为全世界敲响了警钟,使线上教育的发展走向了“高速公路”。而线上教育由于其时空分离的特点,师生之间无法进行情感交流一直是该领域亟待解决的问题。本文使用realsense深度相机,帮助教师实时获取线上教育中学生的面部表情和姿态,分析其学习状态,从而提高教学质量。本文主要内容和创新点包括:(1)针对线上教育学生学习表情的特点,研究分析常见的学习表情后使用realsense深度相机自制了一个学习表情数据集,该数据集包含RGB图像和对应帧的深度图像以及不同表情的姿态。本文后续对RGB-D图像进行了多种预处理方式,通过对比实验选出最适合本文数据集的方法。(2)针对线上教育表情识别易受到光照、头部姿态等因素影响的问题,提出了一个双通道多任务的DCMT-Res Net34网络模型,将RGB图像和深度图像分别输入进行特征提取,并加入头部姿态这个相关联性较强的任务作为辅助依据联合训练,共同引导模型学习特征从而提高效率,最后将提取的特征融合,使用Softmax函数进行表情识别,使用全连接层进行头部姿态估计,两个任务同时进行从而提高线上教育中师生互动的效率。(3)针对DCMT-Res Net34网络模型过大从而影响速度和精度的问题,在整个网络中融入空洞卷积和空间注意力机制,保证速度的前提下扩大模型视野,进一步挖掘特征。并且本文设计了一个交叉熵与欧氏距离融合的损失函数,提高了两个任务特征提取的精度。实验结果表明,本文方法速度可达到0.584秒,表情识别准确率达到88.04%,姿态识别准确率达到97.97%。(4)本文设计了一个realsense线上教育表情识别系统,在腾讯会议上对单个和多个学生的学习状态进行实时识别和整体过程分析,验证了本系统的可行性与实用性。

关键词： realsense 线上教育表情识别卷积神经网络深度图像

基于realsense虚拟人脸表情显示的研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于RealSense虚拟人脸表情显示的研究

作者：储海威电子科技大学

学位级别：硕士

面部表情是人类社交中传递情绪状态的重要方式之一,它与手势、语言、声音及肢体姿势一起构成了人类在社会环境中的基本交流系统。随着计算机性能的提升,以面部表情为对象的虚拟人脸表情显示技术的研究已成为当下计算机视觉领域非常活跃... 详细信息

面部表情是人类社交中传递情绪状态的重要方式之一,它与手势、语言、声音及肢体姿势一起构成了人类在社会环境中的基本交流系统。随着计算机性能的提升,以面部表情为对象的虚拟人脸表情显示技术的研究已成为当下计算机视觉领域非常活跃的方向之一。其研究成果广泛应用于虚拟教学、表情分析、混合现实、人工智能、电影特效制作等领域。本文提出了一种基于realsense和Unity 3D驱动的实时虚拟人脸表情显示系统。本系统无需进行人脸标记,用户只需在自然环境下表演,并使用realsense捕获用户的3D面部视频作为驱动即可。本文分别介绍了目前虚拟人脸表情显示领域的表情合成方案及相关的人脸建模技术,并分析了其优缺点,提出使用基于图像的建模技术方案,并使用基于人脸特征点驱动的虚拟人脸合成方案;本文使用realsense采集的深度信息预处理图像,降低了背景对人脸检测追踪的干扰,基于LBP算子的Adaboost算法追踪检测人脸位置,并且使用均值漂移算法结合人脸肤色信息,交替检测追踪人脸,提高了捕捉环节的时间效率,增强了多角度人脸的追踪的能力;在捕获人脸的基础上,基于主动外观模型检测算法,结合全局的纹理和几何信息,提取人脸特二维征点。针对基于表情编码系统建立的模型控制单元,对提取的二维特征点结合深度图信息,计算其变化趋势,传递给模型;结合之前的算法,在Unity 3D游戏引擎下实现了基于realsense的彩色深度相机实时检测追踪人脸驱动的虚拟人脸表情显示系统。原型系统已在普通电脑平台上实验和测试。实验结果表明,该技术方案提高了系统的时间效率,同时增强了对复杂背景下的人脸动画的鲁棒性。人脸模型可以模仿表演者的基本表情面部表情,且面部动画每秒可以达到30帧的视频拍摄速度。相比于现有其他虚拟人脸表情显示技术,本系统成本更加低廉,且易于操作,可以适用于虚拟现实,游戏娱乐等领域。

关键词：深度信息人脸表情 realsense Unity3D

基于realsense的深度信息的障碍物检测与避障方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于RealSense的深度信息的障碍物检测与避障方法

作者：周雄才重庆邮电大学

学位级别：硕士

随着科技的迅速发展,自主移动机器人已经融入到了我们的工作和生活当中。然而,机器人只有具备足够优秀的环境感知能力和自主移动能力才能真正地实现其应用价值。目前的移动机器人通过搭载各式各样的传感器来帮助其检测环境中的障碍物,... 详细信息

随着科技的迅速发展,自主移动机器人已经融入到了我们的工作和生活当中。然而,机器人只有具备足够优秀的环境感知能力和自主移动能力才能真正地实现其应用价值。目前的移动机器人通过搭载各式各样的传感器来帮助其检测环境中的障碍物,进而自主地完成移动工作,例如激光传感器、红外传感器等。然而,要让移动机器人完整地感知环境,需要安装多个传感器相互配合工作,这使得机器人的能耗增加,无法长时间工作。本文针对现有障碍物检测方法中设备复杂,获取环境信息不全,实时性差以及避障方法中的实时性、稳定性、局限性等问题,在现有的障碍物检测及避障方法的基础上,提出了一种基于realsense深度信息的障碍物检测和避障方法。主要研究内容如下:第一,针对目前障碍物检测方法中设备繁琐、实时性不高的问题,提出了一种基于realsense深度信息的障碍物检测方法。该方法以realsense作为信息采集设备,能够同时获取环境的彩色图像信息和深度图像信息。首先,通过对图像信息预处理,去除采集过程中由于设备精度及采集操作所产生的噪声点及离散点;其次,对预处理过后的深度图像进行平面拟合和去除操作,以此消除图像中背景平面以及地面对障碍物检测的影响,减少后续检测过程中所需要处理的点云数量;最后采用一种基于Harris角点检测的方法提取障碍物的特征值,通过基于视点特征直方图的描述符计算目标物体的描述符,并将色彩信息作为描述符的一部分加入其中,用以判断检测点是否为目标物体的点,通过描述符匹配算法得到检测结果。第二,针对传统人工势场法中目标不可达问题和局部最小值问题,对传统人工势场法进行改进。针对目标不可达问题,引入目标点与机器人的相对距离作为斥力因子,来限制斥力对移动机器人的影响;针对局部最小值问题,使用基于机器视觉的方法帮助机器人判断局部最小值区域,并帮助机器人脱离此区域,到达目标点。第三,在以上研究的基础上,设计并实现了一套基于realsense深度信息的障碍物检测及避障系统。该系统通过realsense摄像头实时获取场景的图像信息和深度信息,并结合以上两点的研究内容,解决了在机器人自主行走过程中障碍物检测和避障的问题,实现智能机器人的环境感知和自主行走功能。

关键词： realsense 深度信息障碍物检测避障

基于realsense的三维动态手指姿态识别技术

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于RealSense的三维动态手指姿态识别技术

作者：孟萌重庆邮电大学

学位级别：硕士

随着手指姿态识别技术的不断成熟,其广泛应用于现今各种交互场景中。为适应虚拟现实、超大型屏幕等交互设备对文本输入的新要求,空中文本输入技术也随之出现。本文在空中十指文本输入场景下对三维动态手指姿态识别进行了研究,发现目前... 详细信息

随着手指姿态识别技术的不断成熟,其广泛应用于现今各种交互场景中。为适应虚拟现实、超大型屏幕等交互设备对文本输入的新要求,空中文本输入技术也随之出现。本文在空中十指文本输入场景下对三维动态手指姿态识别进行了研究,发现目前技术存在关节点定位鲁棒性差、单词识别耗时过长等问题,为进一步提高空中文本输入方法的识别率和识别速率,就存在的问题做了相应的研究和改进,主要工作包括:第一,针对手部关节点定位中因自遮挡导致手指关节定位不准确的问题,提出了一种基于位移速度的3D关节点位置估计方法。该方法是在基于位移速度的2D目标点位置估计方法的基础上,将2D目标点状态向量改进为3D关节点状态矩阵,利用视觉传感器获得的3D关节点数据作为初始数据,通过Kalman滤波器对3D位置坐标数据进行位移速度运算,完成当发生位置偏移时3D关节点的位置估计。实验表明,该方法在满足实时性的要求下减少了关节点定位误差。第二,针对基于手指序列的文本输入识别方法中存在单词识别耗时过长的问题,提出了一种基于敲击字母识别的空中文本输入识别方法。该方法是在基于手指序列的空中文本输入识别方法的基础上增加了对敲击字母的识别,进一步提取敲击手指特定关节长度和弯曲角度作为特征值,使用K-NN分类算法识别敲击字母,当连续敲击获得候选单词时,通过朴素贝叶斯文本输入模型计算候选单词概率,最终输出概率最大的单词。实验表明,该方法提高了敲击字母识别能力,并且有效减少了朴素贝叶斯文本输入模型的计算量,提高了单词识别速率。第三,在上述研究的基础上,设计并实现了一个基于手指姿态的文本输入识别系统。该系统通过realsense 3D摄像头实时获取深度图像信息,通过realsense SDK相关函数实现手部关节点识别。运用第三章和第四章研究内容,有效防止了关节点漂移的问题,实现了基于手指姿态的空中文本输入识别技术。

关键词： realsense 空中文本输入字母识别遮挡