RVO-DDPG算法在多UAV集结航路规划的应用

作     者：杨秀霞 高恒杰 刘伟 张毅 YANG Xiuxia;GAO Hengjie;LIU Wei;ZHANG Yi

作者机构：海军航空大学岸防兵学院山东烟台264001 海军航空大学作战勤务学院山东烟台264001 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2023年第59卷第1期

页      面：308-316页

核心收录：

学科分类：08[工学] 081203[工学-计算机应用技术] 081105[工学-导航、制导与控制] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：山东省自然科学基金(ZR2020MF090)。 

主　　题：无人机 航路规划 编队集结 深度确定性策略梯度算法(DDPG) 互惠速度障碍法(RVO) 

摘      要：针对传统智能优化算法处理不确定复杂环境下多UAV集结航路规划存在计算量大、耗时长的问题,提出了一种基于互惠速度障碍法(reciprocal velocity obstacle,RVO)的深度确定性策略梯度(deep deterministic policy gradient,DDPG)算法。引入互惠速度障碍法指导UAV对不确定环境内障碍进行避碰,有效提高了目标actor网络的收敛速度,增强了算法的学习效率。设计了一种基于综合代价的奖励函数,将多UAV航路规划中的多目标优化问题转化为DDPG算法的奖励函数设计问题,该设计有效解决了传统DDPG算法易产生局部最优解的问题。基于Pycharm软件平台通过仿真验证了该算法的性能,并与多种算法进行对比。仿真实验表明,RVO-DDPG算法具有更快的决策速度和更好的实用性。