检索结果-南通市图书馆

基于自适应增强随机搜索的航天器追逃博弈策略研究

在线全文

学校读者我要写书评

暂无评论

西北工业大学学报 2024年第1期42卷 117-128页

作者：焦杰苟永杰吴文博泮斌峰西北工业大学航天学院陕西西安710072 航天飞行动力学技术国家级重点实验室陕西西安710072 上海宇航系统工程研究所上海201108

针对航天器与非合作目标追逃博弈的生存型微分对策拦截问题,基于强化学习研究了追逃博弈策略,提出了自适应增强随机搜索(adaptive-augmented random search,A-ARS)算法。针对序贯决策的稀疏奖励难题,设计了基于策略参数空间扰动的探索方... 详细信息

针对航天器与非合作目标追逃博弈的生存型微分对策拦截问题,基于强化学习研究了追逃博弈策略,提出了自适应增强随机搜索(adaptive-augmented random search,A-ARS)算法。针对序贯决策的稀疏奖励难题,设计了基于策略参数空间扰动的探索方法,加快策略收敛速度;针对可能过早陷入局部最优问题设计了新颖度函数并引导策略更新,可提升数据利用效率;通过数值仿真验证并与增强随机搜索(augmented random search,ARS)、近端策略优化算法(proximal policy optimization,PPO)以及深度确定性策略梯度下降算法(deep deterministic policy gradient,DDPG)进行对比,验证了此方法的有效性和先进性。

关键词：非合作目标追逃博弈微分对策强化学习稀疏奖励

在线全文

学校读者我要写书评

暂无评论

一种基于采样追逃博弈的协同导引律设计

飞行力学 2022年第6期40卷 44-50页

作者：徐曙阳姚雨晗李超勇浙江大学电气工程学院浙江杭州310027 北京电子工程总体研究所北京100854

针对多拦截弹协同拦截机动目标的问题,提出了一种基于采样追逃博弈的协同导引律。首先,分别考虑拦截弹与目标的控制动力学模型,建立弹目线性化相对运动方程,采用终端投影方法对相对运动方程进行降阶处理。然后,基于追逃博弈理论,考虑拦... 详细信息

针对多拦截弹协同拦截机动目标的问题,提出了一种基于采样追逃博弈的协同导引律。首先,分别考虑拦截弹与目标的控制动力学模型,建立弹目线性化相对运动方程,采用终端投影方法对相对运动方程进行降阶处理。然后,基于追逃博弈理论,考虑拦截弹集群与目标之间存在的落角约束,分别建立双方的性能指标函数。最后,基于代数图论,构建拦截弹集群的通信拓扑,考虑系统状态不能实时获得的情况,引入采样纳什理论求解协同导引律。仿真结果表明了基于采样追逃博弈求解得到的协同导引律在实际拦截场景中的有效性。

关键词：协同导引碰撞角约束追逃博弈采样纳什

在线全文

学校读者我要写书评

暂无评论

基于多智能体强化学习的轨道追逃博弈方法

上海航天（中英文） 2022年第2期39卷 24-31页

作者：许旭升党朝辉宋斌袁秋帆肖余之上海宇航系统工程研究所上海201109 西北工业大学航天学院陕西西安710109

针对空间轨道博弈过程中的集群卫星和非合作目标追逃博弈情形下的动力学模型复杂、非合作目标机动信息未知,以及卫星间难以有效协调等问题,提出一种基于多智能体深度强化学习算法的集群卫星空间轨道追逃博弈方法。首先通过对博弈场景进... 详细信息

针对空间轨道博弈过程中的集群卫星和非合作目标追逃博弈情形下的动力学模型复杂、非合作目标机动信息未知,以及卫星间难以有效协调等问题,提出一种基于多智能体深度强化学习算法的集群卫星空间轨道追逃博弈方法。首先通过对博弈场景进行建模,在考虑最短时间、最优燃料以及碰撞规避的情形下进行奖励函数的塑造和改进,利用深度强化学习方法中的多智能体深度确定性策略梯度(MADDPG)算法进行集中训练,得到各个追捕卫星和逃逸卫星的最优追逃策略参数;然后分布式执行使得多个追捕卫星和逃逸卫星之间能够完成追逃博弈。仿真结果表明:该方法能够完成集群卫星对非合作目标的追逃博弈,且能够利用数量优势有效地弥补速度劣势,涌现出“围捕“”拦截“”合作“”潜伏”等一系列智能博弈行为,有效地实现了博弈目的。

关键词：集群卫星非合作目标追逃博弈奖励塑造多智能体深度确定性策略梯度算法涌现智能

在线全文

学校读者我要写书评

暂无评论

基于深度强化学习的追逃博弈算法

航天控制 2018年第6期36卷 3-8,19页

作者：谭浪巩庆海王会霞北京航天自动控制研究所北京100854 宇航智能控制技术国家级重点实验室北京100854

在未来的局部战争中,导弹攻防对抗将成为一个重要的作战样式。用智能小车的追逃来模拟导弹攻防对抗过程,并以深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法为原型,以视距和视线角为状态,借鉴PID控制思想设计回报函... 详细信息

在未来的局部战争中,导弹攻防对抗将成为一个重要的作战样式。用智能小车的追逃来模拟导弹攻防对抗过程,并以深度确定性策略梯度(Deep Deterministic Policy Gradient,DDPG)算法为原型,以视距和视线角为状态,借鉴PID控制思想设计回报函数,提出了一种追逃博弈算法。该算法分别在数学仿真和智能小车实物上进行了验证,实验结果表明算法可以有效地控制小车使其完成追捕任务,并且具有很好的适应性。

关键词：导弹攻防对抗追逃博弈深度强化学习 DDPG

在线全文

学校读者我要写书评

暂无评论

智能飞行器追逃博弈中的关键技术及发展趋势

飞航导弹 2021年第12期 134-139页

作者：赵亮博朱广生张耀庄凌北京航天长征飞行器研究所北京100076 中国运载火箭技术研究院北京100076

通过回顾飞行器追逃博弈问题相关求解算法的发展历程,引入以微分对策智能解为核心的飞行器智能追逃博弈概念;然后,对实现智能飞行器追逃博弈的关键技术进行分析,包括:精确探测技术、智能博弈制导技术、轨迹在线规划技术;在此分析的基础... 详细信息

通过回顾飞行器追逃博弈问题相关求解算法的发展历程,引入以微分对策智能解为核心的飞行器智能追逃博弈概念;然后,对实现智能飞行器追逃博弈的关键技术进行分析,包括:精确探测技术、智能博弈制导技术、轨迹在线规划技术;在此分析的基础上,设想了一种智能追逃博弈典型流程,为该技术的工程应用提供理论基础;最后,对未来多智能体协同博弈、信息不完全可知场景下的追逃博弈等新质场景做出展望。

关键词：追逃博弈探测与制导人工智能在线规划

基于人工智能的航天器追逃博弈机动轨道自主规划方法

在线全文

学校读者我要写书评

暂无评论

基于人工智能的航天器追逃博弈机动轨道自主规划方法

作者：吴其昌国防科技大学

学位级别：硕士

航天器追逃博弈是当前轨道力学领域的一个研究热点,传统上多采用微分对策来获取追逃双方的最优控制策略,但是这种方法存在求解过程复杂、计算繁琐的缺点,难以满足对抗任务的强实时性要求。人工智能技术发展的不断深入使得利用人工智能... 详细信息

航天器追逃博弈是当前轨道力学领域的一个研究热点,传统上多采用微分对策来获取追逃双方的最优控制策略,但是这种方法存在求解过程复杂、计算繁琐的缺点,难以满足对抗任务的强实时性要求。人工智能技术发展的不断深入使得利用人工智能实现全部或部分的在线决策成为可能,本文研究了基于深度神经网络和强化学习算法生成空间目标追逃博弈最优控制策略的问题,实现智能、自主、快速的航天器追逃博弈机动轨道在线自主规划。论文的主要研究内容如下:首先,研究了基于微分对策理论的空间目标追逃博弈最优机动策略生成算法。基于CW方程建立了空间目标追逃的相对运动模型,然后利用微分对策理论对固定逗留期、无限时域、生存型三类微分对策模型进行分析和求解,为后续人工智能算法研究中训练和测试数据集的生成奠定了基础。其次,研究了基于深度神经网络的空间目标追逃博弈机动轨迹自主规划方法。针对三类不同的空间目标追逃博弈问题,分别建立了不同的神经网络模型。固定逗留期和无限时域追逃博弈模型都可以经由深度神经网络直接得到航天器的机动策略,数值仿真结果表明神经网络方法是有效的,其生成的飞行轨迹与最优轨迹基本吻合。生存型追逃博弈模型则只能由神经网络拟合求解机动策略所需的四个中间量,由数值仿真结果可以看出,与传统的优化算法相比,神经网络方法在计算速度方面要快得多。最后,研究了基于强化学习算法的空间目标追逃博弈机动轨迹自主规划方法。对于空间目标追逃这类三维连续空间轨迹求解问题,直接用强化学习进行训练的学习效率比较低下,训练耗时长。针对这一问题,本文在强化学习之前先进行监督学习,并将监督学习的结果用于强化学习策略网络的初始化,进而加速了强化学习的学习进程。仿真结果表明,当航天器所处的环境与监督学习所用的动力学模型存在偏差时,强化学习算法可以在线对网络参数进行调整,从而会使网络模型逐渐适用于当前的环境。

关键词：追逃博弈机动轨迹微分对策深度神经网络强化学习

基于多组并行深度Q网络的连续空间追逃博弈算法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

兵工学报 2021年第3期42卷 663-672页

作者：刘冰雁叶雄兵岳智宏董献洲张其扬军事科学院北京100091 32032部队北京100094

为解决连续空间追逃博弈(PEG)问题,提出一种基于多组并行深度Q网络(DQN)的连续空间PEG算法。应对连续行为空间中为避免传统强化学习存在的维数灾难不足,通过构建Takagi-Sugeno-Kang模糊推理模型来表征连续空间;为应对离散动作集自学习... 详细信息

为解决连续空间追逃博弈(PEG)问题,提出一种基于多组并行深度Q网络(DQN)的连续空间PEG算法。应对连续行为空间中为避免传统强化学习存在的维数灾难不足,通过构建Takagi-Sugeno-Kang模糊推理模型来表征连续空间;为应对离散动作集自学习复杂且耗时不足,设计基于多组并行DQN的PEG算法。以4轮战车PEG问题为例设计仿真环境与运动模型,进行了运动计算,并与Q-learning算法、基于资格迹的强化学习算法、基于奖励的遗传算法结果相比对。仿真实验结果表明,连续空间PEG算法能够较好地解决连续空间PEG问题,且随着学习次数的增加不断提升问题处理能力,具备自主学习耗时少、追捕应用时间短的比较优势。

关键词：追逃博弈连续空间深度Q网络神经网络微分对策智能战车

在线全文

学校读者我要写书评

暂无评论

基于神经网络的实时滚动追逃博弈导弹制导律

系统工程与电子技术 2019年第7期41卷 1597-1605页

作者：朱强邵之江浙江大学控制科学与工程学院

针对导弹实时滚动追逃博弈对抗双方制导律求解问题,设置了若干组对抗双方初始状态,采用分解正交配置法分别离线求解双边开环最优控制,并组成神经网络训练数据集。基于数据集将所有短周期初始和终止时刻对抗双方的状态和控制变量作为输... 详细信息

针对导弹实时滚动追逃博弈对抗双方制导律求解问题,设置了若干组对抗双方初始状态,采用分解正交配置法分别离线求解双边开环最优控制,并组成神经网络训练数据集。基于数据集将所有短周期初始和终止时刻对抗双方的状态和控制变量作为输入和输出,采用反向传播(back propagation,BP)算法训练神经网络。然后分别在简单、复杂和不确定环境下,基于滚动时域优化框架使用BP神经网络估计短优化周期内双边开环最优控制,反馈更新对抗双方状态并重复上述过程,进而实时滚动求解导弹追逃博弈双边闭环最优控制。最后将上述方法和直接法得到的优化结果进行比较,捕捉点位置和博弈时间最大误差分别为0.554%和0.097%,两种方法的优化结果吻合较好。同时本文方法计算耗时明显下降,有效提高了导弹滚动追逃博弈制导律求解的实时性。

关键词：神经网络追逃博弈导弹制导律滚动时域优化

在线全文

学校读者我要写书评

暂无评论

基于追逃博弈的非合作目标接近控制

宇航总体技术 2020年第1期4卷 30-38页

作者：柴源罗建军王明明韩楠西北工业大学航天飞行动力学技术重点实验室西安710072 西北工业大学青岛研究院青岛266200

针对追踪航天器接近非合作目标任务中的相对位置控制问题,提出了一种基于线性二次型追逃博弈的控制方法。首先,将非合作目标接近问题转化为二人追逃博弈问题,并设计了二次型目标函数。其次,结合相对运动模型,建立了线性二次型追逃博弈... 详细信息

针对追踪航天器接近非合作目标任务中的相对位置控制问题,提出了一种基于线性二次型追逃博弈的控制方法。首先,将非合作目标接近问题转化为二人追逃博弈问题,并设计了二次型目标函数。其次,结合相对运动模型,建立了线性二次型追逃博弈模型。为得到纳什均衡策略,将HJ方程转化为代数黎卡提方程,并给出了李雅普诺夫迭代法对其求解。最后,对博弈控制方法的有效性进行仿真验证,结果表明,该方法能够在非合作目标机动时实现轨道接近控制。

关键词：相对运动追逃博弈非合作目标