改进DDPG无人机航迹规划算法

作     者：高敬鹏 胡欣瑜 江志烨 GAO Jingpeng;HU Xinyu;JIANG Zhiye

作者机构：电子信息系统复杂电磁环境效应国家重点实验室河南洛阳471003 哈尔滨工程大学信息与通信工程学院哈尔滨150001 北京航天长征飞行器研究所试验物理与计算数学国家级重点实验室北京100076 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2022年第58卷第8期

页      面：264-272页

学科分类：08[工学] 0802[工学-机械工程] 0835[工学-软件工程] 080201[工学-机械制造及其自动化] 

基　　金：电子信息系统复杂电磁环境效应国家重点实验室项目(CEMEE2021G0001) 

主　　题：深度确定性策略梯度算法 无人机 航迹规划 深度强化学习 人工蜂群算法 

摘      要：针对无人机飞行过程存在未知威胁使智能算法处理复杂度高,导致航迹实时规划困难,以及深度强化学习中调整DDPG算法参数,存在时间成本过高的问题,提出一种改进DDPG航迹规划算法。围绕无人机航迹规划问题,构建飞行场景模型,根据飞行动力学理论,搭建动作空间,依据非稀疏化思想,设计奖励函数,结合人工蜂群算法,改进DDPG算法模型参数的更新机制,训练网络模型,实现无人机航迹决策控制。仿真结果表明,所提算法整体训练时长仅为原型算法单次平均训练时长的1.98倍,大幅度提升网络训练效率,降低时间成本,且在满足飞行实时性情况下,符合无人机航迹质量需求,为推动深度强化学习在航迹规划的实际应用提供新思路。