检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于模型的机器人强化学习研究综述

模式识别与人工智能 2022年第1期35卷 1-16页

作者：孙世光兰旭光张翰博郑南宁西安交通大学人工智能与机器人研究所西安710049

基于模型的强化学习通过学习一个环境模型和基于此模型的策略优化或规划,实现机器人更接近于人类的学习和交互方式.文中简述机器人学习问题的定义,介绍机器人学习中基于模型的强化学习方法,包括主流的模型学习及模型利用的方法.主流的... 详细信息

基于模型的强化学习通过学习一个环境模型和基于此模型的策略优化或规划,实现机器人更接近于人类的学习和交互方式.文中简述机器人学习问题的定义,介绍机器人学习中基于模型的强化学习方法,包括主流的模型学习及模型利用的方法.主流的模型学习方法具体介绍前向动力学模型、逆向动力学模型和隐式模型.模型利用的方法具体介绍基于模型的规划、基于模型的策略学习和隐式规划,并对其中存在的问题进行探讨.最后,结合现实中机器人学习任务面临的问题,介绍基于模型的强化学习在其中的应用,并展望未来的研究方向.

关键词：人工智能机器人学习强化学习基于模型的强化学习

基于动态运动原语和自适应控制的机器人技能学习

在线全文

学校读者我要写书评

暂无评论

上海交通大学学报 2023年第3期57卷 354-365页

作者：张文安高伟展刘安东浙江工业大学信息工程学院杭州310023

提出一种基于动态运动原语(DMP)和自适应控制的机器人技能学习方法.现有的DMP从单示教轨迹中学习动作,且其高斯基函数分布方式固定,并不适用于各种不同特征的动作轨迹.因此,将高斯混合模型和高斯混合回归引入DMP中,使其能从多示教轨迹... 详细信息

提出一种基于动态运动原语(DMP)和自适应控制的机器人技能学习方法.现有的DMP从单示教轨迹中学习动作,且其高斯基函数分布方式固定,并不适用于各种不同特征的动作轨迹.因此,将高斯混合模型和高斯混合回归引入DMP中,使其能从多示教轨迹中学习技能,并且将径向基神经网络(RBFNN)引入DMP中构成RBF-DMP方法,以梯度下降的方式学习高斯基中心位置和权重,提高技能学习的精度.设计自适应神经网络控制器,用于控制机械臂复现示教中学习的动作.在Franka Emika Panda协作机械臂上开展实验研究,验证方法的有效性.

关键词：动态运动原语高斯混合模型径向基神经网络机器人学习

在线全文

学校读者我要写书评

暂无评论

基于人类演示视频的机器人指令生成框架

机器人 2022年第2期44卷 186-194,202页

作者：莫秀云陈俊洪杨振国刘文印广东工业大学计算机学院广东广州510006

为了提高机器人学习技能的能力,免除人工示教过程,本文基于对无特殊标记的人类演示视频的观察,提出了一种基于序列到序列模式的机器人指令自动生成框架。首先,使用Mask R-CNN(区域卷积神经网络)来缩小操作区域的范围,并采用双流I3D网络... 详细信息

为了提高机器人学习技能的能力,免除人工示教过程,本文基于对无特殊标记的人类演示视频的观察,提出了一种基于序列到序列模式的机器人指令自动生成框架。首先,使用Mask R-CNN(区域卷积神经网络)来缩小操作区域的范围,并采用双流I3D网络(膨胀3D卷积网络)从视频中提取光流特征和RGB特征;其次,引入双向LSTM(长短期记忆)网络从先前提取的特征中获取上下文信息;最后,使用自我注意力机制和全局注意力机制,学习视频帧序列和命令序列的关联性,序列到序列模型最终输出机器人的命令。在扩展后的MPII烹饪活动2数据集和IIT-V2C数据集上进行了大量的实验,与现有的方法进行比较,本文提出的方法在BLEU 4(0.705)和METEOR(0.462)等指标上达到目前最先进性能水平。结果表明,该方法能够从人类演示视频中学习操作任务。此外,本框架成功应用于Baxter机器人。

关键词：视频命令学习细粒度视频描述机器人学习双流I3D网络(双流膨胀3D卷积网络) 双向LSTM(长短期记忆)

在线全文

学校读者我要写书评

暂无评论

机器人操作技能模型综述

自动化学报 2019年第8期45卷 1401-1418页

作者：秦方博徐德中国科学院自动化研究所精密感知与控制研究中心北京100190 中国科学院大学人工智能学院北京101408

机器人技能学习是人工智能与机器人学的交叉领域,目的是使机器人通过与环境和用户的交互得到经验数据,基于示教学习或强化学习,从经验数据中自主获取和优化技能,并应用于以后的相关任务中.技能学习使机器人的任务部署更加灵活快捷和用... 详细信息

机器人技能学习是人工智能与机器人学的交叉领域,目的是使机器人通过与环境和用户的交互得到经验数据,基于示教学习或强化学习,从经验数据中自主获取和优化技能,并应用于以后的相关任务中.技能学习使机器人的任务部署更加灵活快捷和用户友好,而且可以让机器人具有自我优化的能力.技能模型是技能学习的基础和前提,决定了技能效果的上限.日益复杂和多样的机器人操作任务,对技能操作模型的设计实现带来了很多挑战.本文给出了技能操作模型的概念与性质,阐述了流程、运动、策略和效果预测四种技能表达模式,并对其典型应用和未来趋势做出了概括.

关键词：机器人操作智能机器人机器人学习技能学习自主系统

在线全文

学校读者我要写书评

暂无评论

基于强化学习的机器人模仿学习研究

基于强化学习的机器人模仿学习研究

作者：卢佳豪北京工业大学

学位级别：硕士

随着生产力需求的不断提升,机器人的应用场合及其应用规模日益增多,对于机器人的智能化需求也在不断加深。当机器人完成运动规划任务时,传统方法需要对机器人及其交互环境进行精确建模,该方法虽然可以有效的完成机器人运动规划任务,但... 详细信息

随着生产力需求的不断提升,机器人的应用场合及其应用规模日益增多,对于机器人的智能化需求也在不断加深。当机器人完成运动规划任务时,传统方法需要对机器人及其交互环境进行精确建模,该方法虽然可以有效的完成机器人运动规划任务,但其存在对物理模型敏感、泛化能力差以及实时性差等问题。为解决上述问题,论文基于强化学习理论,将模仿学习与机器人运动规划相结合,分别在回报函数可以明确给出以及无法明确给出的情况下,采用深度确定性策略梯度(Deep Deterministic Policy Gradients,DDPG)方法对机器人模仿学习方法进行了研究,并以此为核心构建了机器人模仿学习系统。论文主要研究内容如下:1.回报函数明确情况下的机器人模仿学习方法研究当回报函数可以明确给出时,机器人模仿学习的主要问题是探索问题与回报工程问题,本文针对上述问题提出了一种基于事后经验回放(Hindsight Experience Replay,HER)的机器人模仿学习方法。该方法分别利用示教数据和HER机制解决探索问题和回报工程问题,保证机器人在稀疏回报下快速完成运动规划任务。实验结果表明,本方法即便利用低成功率的示教数据也能快速的完成稀疏回报下的机器人运动规划任务;同时该方法可以有效的抑制机器人在运行过程中的抖动现象,保证机器人的平稳运行。2.回报函数不明确情况下的机器人模仿学习方法研究在回报函数无法明确给出的机器人模仿学习问题中,传统方法存在计算量大、学习速度慢等问题,针对上述问题,本文提出了一种确定性生成对抗式模仿学习(Deterministic Generative Adversarial Imitation Learning,DGAIL)方法。该方法将DDPG与生成式对抗网络(Generative Adversarial Network,GAN)相结合,保证机器人能够快速完成对示教策略的模仿。实验结果表明,本方法可以在无环境回报的情况下,通过对示教数据的模仿有效完成机器人运动规划任务,并且学习速度受任务难度的影响较小;除此之外,本方法具有较高的稳定性,无论机器人面临何种状态,最终均能通过对示教数据的模仿完成运动规划任务。3.机器人模仿学习系统的构建以上述两种情况下的机器人模仿学习方法为核心,结合基于惯性传感器的人体动作信息采集系统,构建机器人模仿学习系统。该系统利用6-DoF姿态预测方法对所操作物体进行检测,并针对不同的任务难度分别采用上述两种方法完成机器人的运动规划任务。机器人模仿学习研究是机器人的重要研究方向。本课题的研究工作既具有重要的理论价值也具有较大的实用价值,有助于设计和研制更为智能、自主和具有适应性的智能机器人。

关键词：机器人学习强化学习模仿学习 HER DGAIL

基于数据驱动的工业机器人自学习轨迹规划方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于数据驱动的工业机器人自学习轨迹规划方法

作者：钟刚刚哈尔滨工业大学

学位级别：硕士

轨迹规划是机器人高性能运行的重要前提和保证。连续轨迹对精度要求较高,现有连续轨迹规划算法计算量大,针对连续轨迹的规划算法仍有待研究和发展。现有最优轨迹规划算法依赖于动力学建模,过程繁琐复杂且计算量大。PID控制器是工业中最... 详细信息

轨迹规划是机器人高性能运行的重要前提和保证。连续轨迹对精度要求较高,现有连续轨迹规划算法计算量大,针对连续轨迹的规划算法仍有待研究和发展。现有最优轨迹规划算法依赖于动力学建模,过程繁琐复杂且计算量大。PID控制器是工业中最经常使用的控制器,由于机器人动力学非线性特性和不确定干扰,设计和调节PID控制器参数以达到高精度跟踪控制非常困难且繁琐。本文针对这些问题,假设动力学模型未知并基于PID控制器进行轨迹规划算法的优化与理论分析和仿真,开展实验研究。针对机器人运行指标要求,提出了一种具备智能学习能力的轨迹规划方案。通过分析机器人在实际加工中遇到的问题,设计了智能轨迹规划算法的整体方案,包括机器人轨迹规划模块,离线学习模块以及在线学习模块。轨迹规划模块通过建立运动学模型得到机器人正逆解关系,使用样条插值对几何轨迹进行处理,通过建立小线段数学模型并使用前瞻算法对连续轨迹进行速度规划,插值后得到稳定可运行的轨迹。离线学习针对机器人非重复轨迹因为模型误差造成的跟踪误差问题,通过设计神经网络结构和输入特征选择,利用神经网络强大的模型拟合和泛化能力,使用机器人运行数据训练神经网络进行精确模型拟合,使得模型学习到理想轨迹与对应参考轨迹的映射关系。给定每条理想轨迹作为神经网络模型输入,训练好的神经网络模型生成新的参考轨迹作为输出状态,机器人系统通过跟随新的参考轨迹达到降低运行误差的目的。在线学习针对机器人重复轨迹的跟踪误差和外部环境重复扰动问题,设计基于迭代学习和径向基函数神经网络的在线学习算法,其中具体包括迭代学习框架的设计,神经网络结构的设计,神经网络学习率的设计以及在线学习稳定性的证明。根据机器人重复轨迹每次运行的实际误差,在线学习算法更新神经网络参数生成新的参考轨迹给机器人运行,直至跟踪误差降低到阈值之下,其中神经网络的学习率结合李亚普诺夫函数设计,保证了学习过程的稳定性。经仿真和实验验证,基础轨迹规划算法能够在较小的计算量前提下满足性能要求;离线学习算法能够有效降低非重复轨迹的跟踪误差60%左右;通过不断迭代学习,在线学习算法能够降低重复轨迹的跟踪误差80%左右。

关键词：连续轨迹规划机器人学习轨迹跟踪神经网络迭代学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度强化学习的机器人视觉控制技术研究

基于深度强化学习的机器人视觉控制技术研究

作者：黄叶上海交通大学

学位级别：硕士

机器人控制作为智能制造和工业4.0的核心组成部分,随着深度学习在视觉任务上的蓬勃发展和强化学习在序列决策领域的应用,结合深度强化学习方法的机器人视觉控制方案具有研究价值。本文围绕深度强化学习领域,开展了基于注意力机制的目标... 详细信息

机器人控制作为智能制造和工业4.0的核心组成部分,随着深度学习在视觉任务上的蓬勃发展和强化学习在序列决策领域的应用,结合深度强化学习方法的机器人视觉控制方案具有研究价值。本文围绕深度强化学习领域,开展了基于注意力机制的目标检测算法、基于传统控制理论的策略网络、分步机器人控制方案和端对端机器人控制方案的研究工作,其中:1.针对当前主流深度学习检测框架缺少对候选框空间相关性的利用的问题,提出了基于强化学习和注意力机制的并行目标检测方案。强化学习对当前窗口进行序列变换时,能够获取到相邻时间步中图像的语义相关性,充分利用了高级图像特征中所包含的空间信息;基于注意力机制的状态初始化方案能够显著减少目标检测所需的步数。在公开数据集上的检测结果表明本文提出的方法能够达到准确的检测和分类效果,且产生的候选区域远远少于其他方法;2.针对目前强化学习算法中策略网络结构单一的问题,提出了基于比例-积分控制方法的新型策略网络结构,将强化学习、注意力机制和控制理论结合,能够显著提高算法性能和样本利用效率。该结构对几乎所有的深度强化学习方法都具有通用性。在公开强化学习仿真平台上的实验结果表明,该架构可以实现比目前常用的几种策略网络模型更好的性能;3.针对传统机器人控制方法依赖模型、缺乏鲁棒性等问题,提出了基于深度强化学习的分步控制方案和端对端控制方案,这两种方案均需要视觉输入。分步控制方案将目标检测网络和策略网络经单独训练后再联合训练,但泛化性较差且流程复杂;端对端控制方案只需输入图像即可预测最佳动作,在不同控制任务中均可使用。这两种方案在仿真环境下的实验证明,深度强化学习能使机器人从零开始学会掌握一定的操作技能。本文提出的目标检测方法、PI策略网络和端对端控制方案均具有通用性,除了适合机器人控制任务,也可以应用到其他强化学习任务和视觉任务中。

关键词：深度强化学习目标检测机器人学习注意力机制

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于迁移强化学习的六足机器人步态学习研究

基于迁移强化学习的六足机器人步态学习研究

作者：唐开强南京大学

学位级别：硕士

六足机器人是一种具有多地形适应性及广泛应用前景的智能移动机器人,其移动和作业需要面对未知、动态及难预测的非结构化复杂环境,传统预先编程、遥操作等方法,需要事先针对任务分析六足机器人的移动特性,存在周期长、工作量大、效率低... 详细信息

六足机器人是一种具有多地形适应性及广泛应用前景的智能移动机器人,其移动和作业需要面对未知、动态及难预测的非结构化复杂环境,传统预先编程、遥操作等方法,需要事先针对任务分析六足机器人的移动特性,存在周期长、工作量大、效率低且不能满足任务多样性的需求等诸多难题,严重限制了六足机器人的进一步应用。因此,需要采用机器人学习的方法,弥补预先编程等常规方法的缺陷,提高六足机器人对环境的自适应能力。本文针对在非结构环境下的移动问题,引入梅花桩落脚点来对足式机器人离散化的落脚点进行建模,设计了基于迁移强化学习的六足机器人全地形移动算法,提高了六足机器人在非结构环境下的移动能力和移动效率,增强了其对环境的自适应能力。具体内容包括:一、将人或动物的行为转化为移动规则,研究了浅试强化学习方法,并应用于六足机器人的路径导航问题,减少路径选择的试错次数和时间,提高学习效率。二、用强化学习算法的soft-max和ε-greedy搜索策略实现了六足机器人梅花桩移动模型的落脚点选择,提高六足机器人的步态规划能力。三、基于知识迁移学习,并运用滑动窗进行优化,使学习得到的移动策略具有更好的泛化性能。结合机器人本身运动数据信息,不断与环境交互,获得相关经验,并将这些经验迁移到新的环境或任务中,提高学习效率。

关键词：强化学习六足机器人迁移学习机器人学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度强化学习的机器人类人动作模仿研究

基于深度强化学习的机器人类人动作模仿研究

作者：黄帅北京工业大学

学位级别：硕士

类人动作学习是机器人领域的核心问题。通过执行类人化的操作,机器人可以直接代替人类完成复杂任务而无需对环境进行适配。可以说,类人动作学习是机器人得以广泛应用的基础。目前,机器人学习动作策略的主要方法有深度强化学习、模仿学... 详细信息

类人动作学习是机器人领域的核心问题。通过执行类人化的操作,机器人可以直接代替人类完成复杂任务而无需对环境进行适配。可以说,类人动作学习是机器人得以广泛应用的基础。目前,机器人学习动作策略的主要方法有深度强化学习、模仿学习等。这些方法虽然能成功地运行于仿真环境中,但是在真实环境下仍然面临着各种各样的问题,比如需要与环境交互、动作模仿不准确以及鲁棒性差。本论文以类人动作学习为目标,以标准的强化学习方法在真实环境中应用时存在的问题为切入点,研究了三项类人动作学习方法,分别如下:1.基于安德森加速的离线强化学习方法传统的强化学习需要机器人与环境进行交互才能学到策略。但在实际应用中,机器人有物理实体的约束,因此无法进行大量的实际物理交互。此外,数据质量低,收敛速度慢和样本效率低等问题也限制了方法在现实环境中的应用。针对这些问题,本论文提出一种基于安德森加速的离线强化学习方法。该方法通过批量约束和保守学习等机制来从先前收集的数据中有效地学习,然后引入安德森加速机制加快策略学习,获取更好的学习效果。2.基于残余力机制的鲁棒的类人动作学习方法传统的强化学习根据观察当前环境的状态来执行动作,这些状态可能包含测量误差或对抗性噪声。如果观察的结果偏离了真实状态,就会误导机器人执行一些意料之外的动作,进而造成难以接受的损失。此外,由于动力学模型不匹配问题,机器人很难精准地模仿参考动作。针对这些问题,本论文提出了一种基于残余力机制的鲁棒的类人动作学习方法。该方法通过对机器人策略引入正则项来克服状态扰动,然后通过引入残余力机制解决动力学不匹配问题,最终能够准确模仿类人动作。3.基于生成对抗模仿学习的类人动作学习方法传统的强化学习虽然可以使机器人学到一些简单的动作策略,但是对于类人行为模仿这种维度比较高的任务而言仍然存在样本效率低,奖励函数难以手工定义的问题。针对这些问题,本论文在对抗模仿学习的基础上提出了一种基于生成对抗模仿学习的类人动作学习方法。该方法以近端策略优化算法作为生成器,然后通过引入奖励重塑机制提高性能,最终准确模仿类人动作。该研究工作从实际应用的角度出发,一定程度上解决了机器人在类人动作模仿学习过程中存在的若干问题,从而让机器人更好地学习到期望的类人动作技能,对推进机器人的智能化进程具有一定研究意义。

关键词：机器人学习对抗模仿学习深度强化学习示教数据类人动作模仿