基于深度强化学习的移动边缘计算卸载和缓存

作     者：毛宁 

作者单位：大连理工大学 

学位级别：硕士

导师姓名：李明楚

授予年度：2022年

学科分类：080904[工学-电磁场与微波技术] 12[管理学] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 0810[工学-信息与通信工程] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 081001[工学-通信与信息系统] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：边缘计算卸载 边缘缓存 深度强化学习 马尔可夫决策过程 

摘      要：随着移动设备和智能设备数量的增加,应用的计算复杂度也越来越高。移动边缘计算是当前互联网新兴的计算范式,它部署于互联网边缘,能够更加高效的为用户服务。本文将针对当前移动边缘计算中的计算卸载与边缘缓存两个方面展开研讨。对于计算卸载,由于现在的计算密集型任务一般由多个子任务构成,并且子任务之间具有依赖关系。为了解决有计算依赖性的多个子任务之间的计算卸载问题,本文提出了一种基于深度强化学习的任务映射算法。首先,将计算密集型任务建模为有向无环图,然后又提出了一种图序列算法将建模后的任务转换为一个特定的拓扑序列,通过建立马尔可夫决策过程来处理计算卸载,根据序列顺序确定所有子任务的最优卸载决策。该算法目标是最大化时延和能耗的综合收益。实验结果表明,该算法具有很强的决策能力,能够获得近似最优的综合收益,证明了该算法的有效性。对于边缘缓存,在当前互联网环境中,热门数据会被很多用户所访问,请求量一旦增大,必定会增加网络和服务器的负担。而边缘节点的内容缓存是一种很有效的减少数据流量的技术。本文提出了一个用于基站内容缓存的深度强化学习的框架:KNN-DDPG,该框架目的是在不需要了解内容流行度分布的前提下,最大化加权缓存命中率。通过结合KNN算法,来减少动作空间的规模,从而提高模型的计算性能,实验结果表明相比于其它基线缓存算法,KNN-DDPG拥有更高、更稳定的加权缓存命中率。