检索结果-南通市图书馆

检索条件"主题词=手语机器人"

共 2 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

人机手语交互中的动作识别与生成

人机手语交互中的动作识别与生成

引用

作者：李威杰浙江大学

学位级别：硕士

语言不通对听障群体的日常生活和职业发展都造成了严重的影响,并且手语相关从业人员一直十分稀少,使得这一情况长久以来都没有得到改善。与此同时,服务机器人近年来发展十分迅猛,在服务机器人上增加手语交互方式成为缓解目前手语相关从... 详细信息

语言不通对听障群体的日常生活和职业发展都造成了严重的影响,并且手语相关从业人员一直十分稀少,使得这一情况长久以来都没有得到改善。与此同时,服务机器人近年来发展十分迅猛,在服务机器人上增加手语交互方式成为缓解目前手语相关从业人员稀缺问题的一种可行途径。为了实现一套具有手语交互能力的智能机器人系统,本文研究了手语动作识别和手语动作生成这两项关键性基础技术。本文主要研究成果如下:(1)针对现有方法鲁棒性差的问题,提出了多特征融合的手语动作识别方法。本文使用改进的图割算法预处理输入图像,剔除其中的无关背景信息。在此基础上,本文构建了一种以RGB视频数据和骨架关节轨迹数据作为输入的深度神经网络,可以结合手语传递的静态和动态信息实现手语动作识别。本文提出的网络在公开数据集上达到了最好的识别表现。此外,在背景杂乱的自建数据集上的实验结果验证了该网络的鲁棒性。(2)针对现有方法依赖大量标注的问题,提出了少样本学习下的手语动作识别方法。该方法通过在度量空间中比较待测样本表示与所有全局类别表示之间的距离判断样本类别,其中距离函数使用可微分动态时间规整(Dynamic Time Warping,DTW)计算。该方法避免了设计复杂的分类器,减轻了对于数据量的需求,并通过引入样本生成模块进一步缓解新类的样本量不足问题。实验结果表明该方法在数据稀疏条件下具有更好的识别表现,并且对于环境条件变化有更强的泛化性。(3)针对现有方法操作繁琐、效率低下的问题,提出了一种基于编码解码器的手语动作生成方法。该方法维持一个手语单词动作轨迹数据库,根据输入文本从数据库中检索出单词动作轨迹,然后使用基于时序编码解码器的过渡动作生成网络和基于图编码解码器的人机动作映射网络对单词轨迹进行拼接和映射,自动生成机器人的手语语句动作轨迹。该方法的过渡动作轨迹由深度神经网络动态生成,因此可以泛化到新的手语语句。实验结果验证了本文方法生成的手语动作轨迹的人机相似性、安全性和可执行性。

关键词：手语机器人手语动作识别少样本学习手语动作生成示教学习

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向手语的双臂及手协同运动学习

面向手语的双臂及手协同运动学习

引用

作者：梁煜伟浙江大学

学位级别：硕士

目前,服务机器人往往采用语音、图像或文字等方式与人进行交流互动,这对普通人来说十分便捷,但却无法满足听障人群的需求。为了让该群体也享受到科技进步带来的便利,需要研发手语机器人,增加更适合该群体的手语交互方式。现有的大部分... 详细信息

目前,服务机器人往往采用语音、图像或文字等方式与人进行交流互动,这对普通人来说十分便捷,但却无法满足听障人群的需求。为了让该群体也享受到科技进步带来的便利,需要研发手语机器人,增加更适合该群体的手语交互方式。现有的大部分手语机器人都采用人工编程或动觉示教等繁琐且低效的方法对机器人编程。为实现便捷高效的机器人手语动作生成,本文基于示教学习和人机对应的思想,开展了对手语动作人机对应的研究。本文对包含双臂及双手运动的复杂手语动作进行了建模,搭建了手语示教数据采集系统,构建了中国手语动作示教数据集,并针对现有的人机对应方法主要面向手臂大动作而在小空间内效果不佳的不足之处,重点研究了双臂和双手在小范围空间内的复杂协同运动学习问题。本文主要的研究工作和贡献包括以下三个部分:(1)提出了具有仿人性和可迁移性的手语动作模型,搭建了手语动作示教数据的采集系统,构建了中国手语词汇动作示教数据集。本文针对仿人性、可迁移性的要求和手语动作的特点,提出了充分描述双臂和双手运动的模型,研发了一套手语示教数据采集系统,利用光学运动捕捉系统、数据手套和USB摄像头捕捉人的双臂、双手运动数据和视频信息,并进行时间同步处理。在此基础上,构建了中国手语词汇动作示教数据集,其中包含208个单词和20条句子的手语动作信息。(2)提出了基于运动关键点的比例缩放人机对应方法。为应对人机尺寸差异问题,本文实现了比例缩放的人机对应方法,实验分析了其在手语这类复杂双臂动作上的局限性。考虑到手语动作中肢体间相对运动关系对于表达语义的重要性,提出引入运动关键点的概念,将关键点上的相对位姿约束融入人机对应优化问题中。实验结果显示,该方法解决了一般比例缩放方法中存在的双臂末端错位问题,并将相对位置轨迹各个维度的平均绝对误差降低了 23.5%～88.7%,验证了该方法保留示教数据中左右腕相对运动特性的能力。(3)提出了基于主从动态运动基元学习的人机对应方法。借助动态运动基元(Dynamic Movement Primitive,DMP)的泛化能力,本文以主从方式利用DMP从示教数据中学习,能够在新生成的轨迹中保留原动作的路径形状、运动节奏和关键部位之间的相对运动关系。在此基础上,采用图优化算法,结合机器人的可执行性约束与避障要求,优化DMP起止点和机器人关节轨迹,找到适合于机器人执行且与原轨迹差异尽可能小的轨迹。在中国手语词汇动作上与其他几种人机对应方法进行的对比实验显示,该方法的成功率达到了100%。在该方法所有可执行动作结果的运动数据中,100%的姿态轨迹、88.9%的相对位置轨迹和66.7%的绝对位置轨迹的弗雷歇距离低于对比方法,分别降低了 94.9%～99.7%、8.6%～70.4%和4.8%～72.5%,验证了该方法维持相似性和保留相对运动关系的能力。

关键词：手语机器人协同运动人机对应动态运动基元双臂机器人

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：