基于深度强化学习的低轨卫星任务卸载技术研究

作     者：郑佳炜 

作者单位：广州大学 

学位级别：硕士

导师姓名：陈孔阳

授予年度：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 0835[工学-软件工程] 0825[工学-航空宇航科学与技术] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：边缘计算 低轨卫星 计算卸载 深度强化学习 

摘      要：随着传感器技术和数据智能计算的飞速发展,智能终端已能够感知海量数据。然而,受限于本地资源,它们难以独立完成高性能数据分析。为解决此问题,基站和无线接入网络提供了计算任务迁移至云服务的方案,但信号覆盖、传输速率和响应速度等问题仍构成技术瓶颈。近年来,低轨网络凭借其全天候接入和高覆盖率的特点,在军用和民用系统中展现出广泛的应用前景,特别是在信号接入和计算服务领域。鉴于此,并结合边缘计算技术的低延迟、高带宽及强大位置感知能力,本文提出了一种创新策略:通过边缘计算技术,将地面终端的计算密集型任务卸载至低轨卫星,以显著提升计算性能,进而实现更高效的数据处理与分析。本文的主要研究内容和贡献如下: (1)为了应对下一代通信应用中低轨卫星面临的挑战,本文提出了一种基于深度强化学习的多通道终端低轨卫星多任务计算并行卸载调度策略。鉴于地面终端资源有限,本策略将计算任务迁移至低轨卫星的边缘服务器执行。与现有研究不同,本文直接面向高度动态的地面终端和低轨卫星,构建了一个多通道感知的多任务计算并行卸载模型,该模型充分考虑了终端设备多通道传输的特性,克服了中间层假设的局限性。此基础上,本文设计了一种多任务迁移、多通道接入、高动态运动的低轨卫星任务并行卸载方案,旨在迅速响应并满足本地任务需求。为了优化任务卸载调度策略,本文引入了基于强化学习的优化机制,以最大化任务响应速度、完成率和低功耗等性能指标。 (2)为实现信道负载均衡及满足计算任务对时间敏感性的需求,本文提出一种面向通道负载均衡的低成本多通道终端低轨卫星多任务计算并行卸载调度策略。该策略针对实际场景,不仅考虑了能耗和时延,还特别强调了任务时延要求、通信通道负载均衡以及卫星服务端通信费用的优化。基于这些要素,我们构建了一个全新的计算卸载模型,该模型集成了通信模型、能耗模型、时延模型、通道负载均衡及任务时间限制模型、卫星端定价规则模型,并设定了综合优化目标。为实现此优化目标,我们进一步提出了基于强化学习的任务卸载调度策略优化机制。此机制综合考量能耗、时延、任务需求及卫星端定价等因素,以做出更符合实际场景的最优决策。