基于近端策略优化的云边协同网络路由研究

作     者：许志敏 

作者单位：哈尔滨工业大学 

学位级别：硕士

导师姓名：刘劼

授予年度：2022年

学科分类：08[工学] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 

主      题：云边协同架构 多种服务融合网络 软件定义网络 近端策略优化 探索保护机制 

摘      要：随着智慧城市的建设,物联网终端设备也在高速发展,由此产生的物联网大数据对广域网造成了巨大的网络压力。为了缓解广域网拥塞情况,云边协同架构选择在接近边缘设备处设置有限的计算资源,边缘计算资源可以有效减轻云端计算压力并提高用户服务体验质量(Quality of Experience,Qo E)。尽管如此,云边协同架构高度依赖中间层的网络状况,同时面临着多种服务类型数据流融合的挑战。一方面,终端设备产生的海量数据及云边协同所带来的数据通信对网络层的性能提出了很高的要求。另一方面,多种服务融合是互联网的发展方向,云边协同架构网络层需要对不同服务类型数据提供不同侧重点的转发工作。因此,如何保证面向多种服务融合数据流的云边协同网络服务质量(Quality of Service,Qo S)具有重要的研究意义。本课题将以多种服务融合的云边协同网络为研究对象,致力于构建一个高性能、稳定、可扩展的云边协同网络,主要进行以下研究。第一,分析了云边协同网络的分层结构,并决定采用软件定义网络(Software Defined Network,SDN)来构建云边协同架构网络层,再对软件定义网络工作原理进行了详细的介绍。第二,设计了基于软件定义网络的云边协同网络仿真系统,网络拓扑采用现实网络拓扑结构,数据流模型加入服务类型信息,并根据现实情况为不同服务类型数据流设置相应的参数信息,再根据系统需求设计其控制器模块。在仿真网络系统实现最短路径路由算法和负载均衡路由算法两种传统路由算法,该仿真结果与后续算法仿真结果形成对照。第三,提出了一种针对云边协同架构网络的近端策略优化(Proximal Policy Optimization,PPO)在线路由算法。将逐跳路由方式建模为多智能体马尔科夫模型,通过分析集中式和分布式路由特点来选择状态信息,并为不同服务类型数据流设置不同的奖励信息,在策略网络结构设置时充分考虑网络的扩展性。第四,提出了一种带有保护机制的近端策略优化在线路由算法。为近端策略优化路由算法设置预训练来加速模型收敛,并对模型设置环路检测和拥塞检测保护机制来避免强化学习无意义的探索动作。本课题所设计的带有保护机制的近端策略优化在线路由算法有效地提升了网络性能,在低负载的网络场景下平均时延性能上相较于最短路径路由算法降低了40.9%,相较于负载均衡路由算法时延性能降低了24.0%;在重负载的网络场景下数据流的平均时延性能表现相较于最短路径路由算法降低了32.7%,相较于负载均衡路由算法降低了了31.6%,在数据流吞吐量的表现相较于最短路径路由算法数据流平均传输速率分别提高了55.3Kbps,相较于负载均衡路由算法平均速率提升了38.8Kbps。算法具有良好的鲁棒性,在链路故障、路由器故障等情况下也能快速完成数据流转发工作,同时具备优秀的扩展性,可任意在网络中添加网络设备。