基于角度特征的分布式DDPG无人机追击决策

作     者：王昱 任田君 范子琳 孟光磊 

作者机构：沈阳航空航天大学自动化学院 

出 版 物：《控制理论与应用》 (Control Theory & Applications)

年 卷 期：2024年

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 082503[工学-航空宇航制造工程] 0835[工学-软件工程] 0825[工学-航空宇航科学与技术] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(61906125,62373261) 辽宁省教育厅科学研究经费项目(LJKZ0222)资助 

主　　题：追击决策 强化学习 分布式DDPG算法 角度特征 

摘      要：无人机执行追击任务过程中态势变化迅速,不灵活的网络更新机制和固化的奖励函数使得现有决策模型难以持续输出正确且高效的策略.针对此问题,提出了一种基于角度特征的分布式DDPG算法.首先,为避免梯度消失或爆炸以稳定模型训练过程,提出先利用梯度上升计算目标值、再使用MSE损失函数训练的Actor网络更新机制;然后,依据双方角度特征划分策略引导区域,通过设置不同的奖励函数权重,构建基于5个DDPG网络的分布式决策模型,利用在不同态势下对奖励函数权重的动态选择和无缝切换提升算法的决策能力.仿真实验表明,相比于DDPG、TD3算法,所提算法无论追击直线逃逸目标或智能逃逸目标,均具有更高的成功率和决策效率.