检索结果-南通市图书馆

检索条件"主题词=自然语言对象检索"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于自然语言对象检索的人机交互技术研究

基于自然语言对象检索的人机交互技术研究

引用

作者：缪海峰吉林大学

学位级别：硕士

随着工业自动化、智能化的发展,智能机器人在制造业领域中应用愈发广泛,《中国制造2025》明确将智能机器人技术列入重点推动突破的科技领域。机器人、人类、环境三者的共融交互是机器人智能化的标志,而图形界面、力反馈等传统交互方式... 详细信息

随着工业自动化、智能化的发展,智能机器人在制造业领域中应用愈发广泛,《中国制造2025》明确将智能机器人技术列入重点推动突破的科技领域。机器人、人类、环境三者的共融交互是机器人智能化的标志,而图形界面、力反馈等传统交互方式无法满足智能化的要求。因此,研究更加智能的人机交互技术是实现机器人智能化的重要途径,这能够有效提高人机协作的效率,加速制造业智能化的进程。众多交互方式中,人类语言(自然语言)是人机交互最自然的接口。机器人理解人类的自然语言表述可大大提高机器人智能化的程度,使得机器人和人类之间能像人与人一样进行交互。想要可靠地做到这一点,人类和机器人之间必须对环境有共同的理解,这正是自然语言对象检索任务的体现:基于自然语言表述在全局场景图像中定位目标对象。本文将自然语言对象检索应用于人机交互技术,使得机器人可以根据作业人员对场景图像中特定对象的描述定位目标对象,并自主完成目标对象的抓取和放置任务。相比于肢体手势、图形界面等交互方式,基于自然语言对象检索的人机交互方式更加智能化,可有效提高作业人员与机器人协作的效率。本文主要工作内容如下:(1)搭建了基于Kinect摄像机和EPSON机器人的机器人视觉定位系统,并采用Tsai两步法对视觉定位系统进行了手眼标定。根据摄像机成像原理,分析了场景图像中目标对象空间位置坐标的测量方法。结合EPSON机器人的D-H参数,完成了机器人正逆运动学解算,并根据解算结果采用C#编程语言实现了机器人运动控制算法。(2)构建了基于Faster-RCNN架构的候选区域提取算法模型,该算法用于提取场景图像中所有的候选区域,并构建自然语言对象检索算法所需的候选区域集。采集并标注了机器人抓取数据集,并在该数据集上完成了候选区域提取模型的训练和性能评估。(3)结合目标检测技术和自然语言处理技术,搭建了基于残差网络(ResNet)和长短时记忆网络(LSTM)的自然语言对象检索算法——空间上下文记忆残差网络(SCLR)模型,该模型主要包括特征提取、词向量编码、LSTM模块和表述预测层四个模块。在机器人抓取数据集上,采用迁移学习方法训练了SCLR模型,并在测试集以及实际实验场景中评估了SCLR模型的检测精度。(4)搭建了人机交互实验平台,以客户端-服务器模式实现了人机交互平台的软件设计。在Linux服务器中完成了SCLR模型搭建、训练、评估以及对象检索进程的程序设计,在Windows客户端中完成了候选区域提取进程和机器人控制系统进程的程序设计,并采用TCP/IP通讯实现了进程和线程之间的通讯。基于人机交互实验平台,开展了基于语音的人机交互实验,验证了基于自然语言对象检索的人机交互技术的智能性和高效性。

关键词：自然语言对象检索人机交互目标检测机器人抓取手眼标定

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：