基于深度强化学习的无人机航迹规划策略研究

作     者：高振宇 

作者单位：西北农林科技大学 

学位级别：硕士

导师姓名：孙红光

授予年度：2023年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 081105[工学-导航、制导与控制] 082503[工学-航空宇航制造工程] 0825[工学-航空宇航科学与技术] 0811[工学-控制科学与工程] 

主      题：无人机通信 深度强化学习 航迹规划 数据收集 

摘      要：无人机作为一种高效的无人系统,被广泛应用于物流配送、低空遥感、视频监控等领域。无人机航迹规划作为其关键技术之一,对于提高无人机飞行效率、保障通信质量和飞行安全至关重要。目前,无人机智能航迹规划是研究热点之一,深度强化学习作为一种重要的技术手段已获得广泛关注。然而,基于深度强化学习的无人机航迹规划策略设计尚存在一些问题需要解决。其中,针对无人机与地面用户共存的蜂窝网络场景,如何智能地规划无人机的航迹,使其在保障无人机用户与地面用户通信需求的前提下,高效地完成飞行任务,是本文要解决的第一个难题。此外,针对多无人机协同数据收集场景,如何在防碰撞约束以及能耗约束前提下,设计多智能体深度强化学习算法来最小化任务完成时间,是本文要解决的又一个难题。本文具体研究内容与创新工作如下:(1)针对采用非正交多址接入机制的空地用户共存场景下用户的通信需求和无人机能耗约束,考虑实际的信道模型和能耗模型,首先,以无人机和地面用户的通信需求为约束,构建了以最小化任务完成时间为目标的单无人机航迹规划问题。其次,将提出的优化问题转化成马尔科夫决策过程(MDP),完成了状态空间、动作空间和奖励函数的设计。进一步,设计并实现了一种基于Dueling Double DQN算法的无人机航迹规划策略。仿真结果表明,与基准算法相比,该算法具有更强的学习与探索能力,可降低12%的任务完成用时,可以在保障无人机与地面用户通信需求的同时,进一步优化无人机航迹,减小任务完成时间。(2)针对多无人机数据收集场景下无人机观测范围有限,且具有能耗、安全距离和飞行范围约束的问题,以最小化任务完成时间为目标,将多无人机的航迹规划问题建模为最小-最大优化问题。其次,考虑到无人机的观察范围约束,将所提优化问题建模为分布式部分可观测马尔科夫决策过程(Dec-POMDP),完成了状态空间、动作空间和奖励函数的设计。进一步,设计并实现了一种基于QMIX算法的多无人机协同航迹规划策略。仿真结果表明,与基准算法相比,该算法具有更高的学习效率和场景适应能力,通过协同优化多无人机的航迹,进一步减小任务完成时间。本文的研究将为应用于无线通信领域的无人机航迹规划策略研究提供理论依据和技术支撑,对于无人机在通信行业的发展起到一定的推动作用。