基于改进TD3算法的无人机决策研究

作     者：蒋方庆 陈自力 高喜俊 王春峰 贺道坤 Jiang Fangqing;Chen Zili;Gao Xijun;Wang Chunfeng;He Daokun

作者机构：陆军工程大学石家庄校区石家庄050003 南京信息职业技术学院智能制造学院南京210023 

出 版 物：《信息化研究》 (INFORMATIZATION RESEARCH)

年 卷 期：2023年第49卷第3期

页      面：36-42页

学科分类：08[工学] 082503[工学-航空宇航制造工程] 0825[工学-航空宇航科学与技术] 

基　　金：“十四五”装备预先研究项目(No.50911060101) 

主　　题：无人机 双延迟深度确定性策略梯度算法 双策略网络 优先经验回放 

摘      要：针对无人机在执行打击任务时,对飞行区域的环境掌握甚少、飞行区域大、目标稀疏、火力威胁等相对不确定因素会导致任务的完成度低的问题。本文提出利用双策略网络对双延迟深度确定性策略梯度算法(TD3)进行改进,解决单策略动作波动大问题。针对优质训练样本利用率低导致的收敛速度慢问题,采用优先经验回放机制提高优质样本利用率。使用改进后的TD3算法训练无人机,通过改变偏航角、俯仰角以及速度控制无人机飞行,无人机在三维环境中完成抵近打击任务并规避威胁。实验结果表明,改进后的算法相比于传统TD3算法,算法收敛的速度更快,无人机的任务完成度可相对提高15%。