移动机器人路径规划强化学习的初始化

作     者：宋勇 李贻斌 李彩虹 SONG Yong;LI Yi-bin;LI Cai-hong

作者机构：山东大学控制科学与工程学院山东济南250061 山东大学(威海)机电与信息工程学院山东威海264209 山东理工大学计算机科学与技术学院山东淄博255012 

出 版 物：《控制理论与应用》 (Control Theory & Applications)

年 卷 期：2012年第29卷第12期

页      面：1623-1628页

核心收录：

学科分类：080202[工学-机械电子工程] 08[工学] 0804[工学-仪器科学与技术] 0802[工学-机械工程] 

基　　金：国家自然科学基金资助项目(61075091 61174054) 国家自然科学基金青年基金资助项目(61105100) 

主　　题：移动机器人 强化学习 人工势能场 路径规划 Q值初始化 

摘      要：针对现有机器人路径规划强化学习算法收敛速度慢的问题,提出了一种基于人工势能场的移动机器人强化学习初始化方法.将机器人工作环境虚拟化为一个人工势能场,利用先验知识确定场中每点的势能值,它代表最优策略可获得的最大累积回报.例如障碍物区域势能值为零,目标点的势能值为全局最大.然后定义Q初始值为当前点的立即回报加上后继点的最大折算累积回报.改进算法通过Q值初始化,使得学习过程收敛速度更快,收敛过程更稳定.最后利用机器人在栅格地图中的路径对所提出的改进算法进行验证,结果表明该方法提高了初始阶段的学习效率,改善了算法性能.