基于深度强化学习的TSN流排序和调度

作     者：邓金雪 李纯喜 李宗辉 赵永祥 DENG Jinxue;LI Chunxi;LI Zonghui;ZHAO Yongxiang

作者机构：北京交通大学电子信息工程学院北京100044 北京交通大学计算机与信息技术学院北京100044 

出 版 物：《北京交通大学学报》 (JOURNAL OF BEIJING JIAOTONG UNIVERSITY)

年 卷 期：2024年第48卷第2期

页      面：144-153页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划(2022YFB3303700) 

主　　题：时间敏感网络 深度强化学习 流排序 流调度 

摘      要：针对现有研究寻找数据流最佳排序这一过程本身花费时间过多,没有工程可行的寻找最佳排序的有效方法的问题,提出基于深度强化学习的流排序和调度框架PSNDRL.该框架包括3个关键模块,即创建时间触发(Time-Triggered,TT)流之间关系图的预处理模块、挖掘和量化TT流之间复杂的相关关系并选择概率值最高的TT流的代理模块、进行TT流调度和奖励计算的环境模块,利用图卷积网络和强化学习从大量的TT流中智能探索流特征以及流之间的复杂相关关系对基于可满足性模理论(Satisfiability Modulo Theories,SMT)流调度算法求解时间的潜在影响.通过训练该框架,学习得到一个高效率的TT流策略排序网络,用于在利用SMT流调度算法调度TT流时进行TT流选择.通过与随机排序和基线排序方法进行对比,验证PSNDRL的有效性.结果表明:与随机排序方法的总调度时间、基线排序方法的最大总调度时间相比,PSNDRL的总调度时间分别减少了24.63%和25.95%.所提框架为提高时间敏感网络(Time Sensitive Networking,TSN)流调度效率的研究提供了新的方向.