检索结果-南通市图书馆

机器人 2023年第6期45卷 655-669页

作者：姜杨曾铁文万东东吴成东东北大学机器人科学与工程学院辽宁沈阳110169

针对基于地图的移动机器人导航框架部署在动态复杂环境时出现的问题,提出一种基于时序-双延迟深度确定性策略梯度(TS-TD3)的无地图导航方法。首先,将动态场景(具有环境部分可观测性)的导航任务定义为部分可观测马尔可夫决策过程(POMDP)... 详细信息

针对基于地图的移动机器人导航框架部署在动态复杂环境时出现的问题,提出一种基于时序-双延迟深度确定性策略梯度(TS-TD3)的无地图导航方法。首先,将动态场景(具有环境部分可观测性)的导航任务定义为部分可观测马尔可夫决策过程(POMDP)。其次,引入经过长短期记忆组件处理的历史信息作为模型的输入,为策略网络的确定性策略梯度引入历史信息基准,以处理隐藏在环境观测集合中的状态信息,将关注导航动作时序关联性的评价标准引入评价网络。再次,通过专家经验网络在训练前期指导策略网络的输出,以规范导航动作。最后,建立演员-评论家框架的深度强化学习(DRL)端到端模型,根据传感器感知结果直接输出控制动作。与主流DRL方法进行对比实验,在仿真实验中,该方法运动轨迹自然、稳定、具有连续性,能处理多动态障碍物交汇情况,整体导航效果表现最优;在真实动态环境的测试中,模型未作调整直接部署在未知环境中,模型的导航效果和泛化性得到验证。

关键词：深度强化学习部分可观测马尔可夫决策过程确定性策略梯度动态环境无地图导航

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于改进TD3算法的无人机动态环境无地图导航

引用

航空学报 2024年

作者：姜凌峰李新凯张海李涵玮张宏立新疆大学电气工程学院新疆大学工程训练中心新疆大学智能科学与技术学院(未来技术学院)

针对无人机导航系统在未知动态环境中难以进行建图、导航的问题，提出了基于改进双延迟深度确定性策略梯度(Twin Delayed Deep Deterministic Policy Gradient, TD3)算法的端到端无地图导航方法。为解决无地图环境下无人机感知受限问题... 详细信息

针对无人机导航系统在未知动态环境中难以进行建图、导航的问题，提出了基于改进双延迟深度确定性策略梯度(Twin Delayed Deep Deterministic Policy Gradient, TD3)算法的端到端无地图导航方法。为解决无地图环境下无人机感知受限问题将导航模型定义为部分可观马尔科夫决策过程(Partially Observable Markov Decision Process, POMDP)引入门控循环单元(Gated Recurrent Unit, GRU)，使得策略网络能够利用历史状态的时序信息获取最优策略，避免陷入局部最优；基于TD3算法引入softmax算子对值函数进行处理，同时采用双策略网络，以解决TD3算法中存在策略函数不稳定和值函数低估问题；设计非稀疏奖励函数，解决强化学习策略在稀疏奖励条件下难以收敛的问题。最后，在AirSim平台上进行仿真实验，结果表明，相比传统深度强化学习算法，改进算法在无人机无地图避障导航问题上，具有更快的收敛速度和更高的任务成功率。

关键词：无地图导航深度强化学习确定策梯度无人机动态环境

来源：

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于强化学习的无地图导航策略研究

基于强化学习的无地图导航策略研究

引用

作者：马留龙哈尔滨工业大学

学位级别：硕士

导航即机器人从当前位置到达目标姿态,并在这个过程中不与任一障碍物发生碰撞的能力,是移动机器人的核心功能之一。目前已有的成熟技术都是在已知的环境地图上进行规划。相比较,包括人在内的动物能够在知道目标大致方位或特征的基础上... 详细信息

导航即机器人从当前位置到达目标姿态,并在这个过程中不与任一障碍物发生碰撞的能力,是移动机器人的核心功能之一。目前已有的成熟技术都是在已知的环境地图上进行规划。相比较,包括人在内的动物能够在知道目标大致方位或特征的基础上穿过或稀松或稠密的障碍物到达目标点,实现无地图导航。强化学习是一种智能体从与环境的不断交互中学习的算法,适合于连续决策的任务,是目前无地图导航的主要研究方向。本文研究了基于强化学习的从记忆到推理两个层次的移动机器人无地图导航,所设计的规划器以RGB图像作为视觉输入、以机器人与目标点的相对位置作为目标信息。提出了使用近端策略优化的端到端导航策略;提出了将视觉图像先压缩再将压缩的特征输入强化学习网络的导航策略,使得规划器的采样效率显著提高;设计了堆积长短时记忆结构使得强化学习网络具有推理能力。为了测试、比较不同的网络结构和算法,搭建了一系列的基准环境并提供了环境接口可快速调用。首先,针对记忆任务提出了基于近端策略优化的端到端导航策略,搭建了基准仿真环境,在该环境中与经典的基于深度Q网络的端到端导航策略进行比较。其次,端到端强化学习网络中用于提取图像特征的的参数无需从交互中学习,可由变分自编码器单独训练。基于此,提出了基于变分自编码器的图像压缩方法,将输入的RGB图像压缩为低维特征后直接与其它低维信息一起输入决策层学习,使得强化学习的采样效率提高了2倍以上,且所规划出的路径更优。然后,机器人不止要能够克服传感器和环境噪声到达训练过的目标点,还要具有一定的推理能力到达该环境非障碍物区域中的其它任一目标点。本文提出了具有推理能力的堆叠长短时记忆模块。基于该结构的规划器在测试环境中对新目标点的导航成功率超过60%,这是以单目视觉作为输入的密集场景无地图导航的最好结果之一。最后,在机器人平台上对提出的推理规划器进行了实物实验验证。实验平台为实验室自研的Mir-UR5,将策略迁移到实物中再训练600幕,规划器对测试集中新目标点的导航成功率达到了65%。本文的相关算法和基准环境开源以便于其他研究者复现本文中的结果以及进一步的研究。

关键词：无地图导航强化学习近端策略优化 RGB图像采样效率推理堆叠长短时记忆

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度安全强化学习的无地图导航研究

基于深度安全强化学习的无地图导航研究

引用

作者：吕少华哈尔滨工业大学

学位级别：硕士

机器人导航是指机器人从起始点出发到达指定目标点的过程,在此过程中应尽量避免与其他静态或动态障碍物发生碰撞。目前比较成熟的导航技术大多是在已知地图上进行路径规划,然而每当环境发生变化时就要重新建图,并且当无法获得地图信息... 详细信息

机器人导航是指机器人从起始点出发到达指定目标点的过程,在此过程中应尽量避免与其他静态或动态障碍物发生碰撞。目前比较成熟的导航技术大多是在已知地图上进行路径规划,然而每当环境发生变化时就要重新建图,并且当无法获得地图信息时就无法建图。相较而言,基于深度强化学习的无地图导航方法能够在不知道全局环境信息的情况下,仅通过目标的大致方位进行导航,对动态未知环境有一定的适应能力,目前已成为无地图导航领域新的研究方向。本论文针对基于深度强化学习的无地图导航中的安全性问题,将一种安全强化学习算法即约束型策略优化算法引入,提出一种基于深度安全强化学习的无地图导航方法,并在仿真环境和真实环境中进行实验与分析。本论文首先针对无地图导航问题建立了基于深度强化学习的模型,确定了目标信息、激光信息和机器人运动信息为输入信息,选取连续的角速度和线速度为输出信息,结合输入输出信息和强化学习设计了基于深度强化学习的端到端导航框架,并提出成功率、碰撞率和超时率等评价指标。在此基础上,实现了基于标准强化学习的无地图导航,设计了状态空间、动作空间、奖励函数和Actor网络;为进一步提升安全性,实现了基于安全强化学习的无地图导航,设计了安全性约束和风险函数并提出Actor-Critic-Safety网络架构。为验证方法的有效性,基于ROS和Gazebo搭建3D导航仿真平台并设计了多种背景下的仿真环境用于训练及测试,基于社会力模型并结合Social Force Pedestrian Simulator搭建动态行人仿真环境用于动态避障性能的测试,最后搭建真实移动机器人平台并对模型的泛化性能进一步进行测试。实验结果表明,与基于标准强化学习算法的无地图导航方法相比,所提基于约束型策略优化算法的安全导航方法,能明显降低导航碰撞率、提升成功率与安全性;与传统的无地图导航方法Bug2算法相比,所提方法的导航路径更短更优,且接近于利用A*算法进行全局规划和动态窗口算法进行局部规划的有地图导航方法的导航路径。将静态环境中训练的模型不经过任何微调直接迁移至新的动态仿真环境和真实的静态与动态行人环境中进行测试,结果表明了模型具有良好的迁移泛化性能与动态避障性能。

关键词：无地图导航端到端动态行人环境深度强化学习约束型策略优化安全性约束

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度强化学习的无地图移动机器人导航

引用

控制与决策 2024年第3期39卷 985-993页

作者：户高铭蔡克卫王芳康玉伟张家旭金兆一林远山大连海洋大学信息工程学院辽宁大连116023 大连海洋大学设施渔业教育部重点实验室辽宁大连116023 辽宁省海洋信息技术重点实验室辽宁大连116023 大连民族大学机电工程学院辽宁大连116023

针对传统导航方法对地图精度依赖和动态复杂场景适应差问题,提出一种基于课程学习的深度强化学习无地图自主导航算法.为了克服智能体稀疏奖励情况下学习困难的问题,借鉴课程学习思想,提出一种基于能力圈课程引导的深度强化学习训练方法... 详细信息

针对传统导航方法对地图精度依赖和动态复杂场景适应差问题,提出一种基于课程学习的深度强化学习无地图自主导航算法.为了克服智能体稀疏奖励情况下学习困难的问题,借鉴课程学习思想,提出一种基于能力圈课程引导的深度强化学习训练方法.此外,为了更好地利用机器人当前的碰撞信息辅助机器人做动作决策,引入碰撞概率的概念,将机器人当前感知到的障碍物信息以一种高层语义的形式进行表示,并将其作为导航策略输入的一部分编码至机器人当前观测中,以简化观测到动作的映射,进一步降低学习的难度.实验结果表明,所提出的课程引导训练和碰撞概率可令导航策略收敛速度明显加快,习得的导航策略在空间更大的场景成功率到达90%以上,行驶耗时减少53.5%73.1%,可为非结构化未知环境下的无人化作业提供可靠导航.

关键词：移动机器人自主导航无地图导航深度强化学习课程学习

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：