基于李雅普诺夫优化和深度强化学习的多任务端边迁移

作     者：许驰 唐紫萱 金曦 夏长清 XU Chi;TANG Zi-xuan;JIN Xi;XIA Chang-qing

作者机构：中国科学院沈阳自动化研究所机器人学国家重点实验室沈阳110016 中国科学院网络化控制系统重点实验室沈阳110016 中国科学院机器人与智能制造创新研究院沈阳110169 中国科学院大学北京100049 

出 版 物：《控制与决策》 (Control and Decision)

年 卷 期：2024年第39卷第7期

页      面：2457-2464页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(92267108,62173322,62133014,61972389) 辽宁省科技计划项目(2023JH3/10200004,2023JH3/10200006,2022JH25/10100005) 中国科学院青年创新促进会项目(2019202,2020207,Y2021062) 

主　　题：异构工业任务 任务迁移 李雅普诺夫优化 马尔可夫决策过程 深度强化学习 

摘      要：针对多终端、多边缘服务器场景下异构工业任务的端边协同处理问题,提出一种基于李雅普诺夫优化和深度强化学习的多任务端边迁移算法.首先,以联合优化任务迁移决策、迁移比例和传输功率为目标,充分考虑计算频率、传输功率、长期能耗和任务截止期等约束,构建系统长期平均开销最小化问题;由于问题中长期目标及约束中变量在不同时隙相互耦合,难以求解,基于李雅普诺夫优化理论,将长期平均开销最小化问题解耦为独立时隙的策略优化问题;通过马尔可夫决策过程建模,并采用双层竞争深度神经网络架构,提出基于深度强化学习的多任务迁移算法.实验结果表明,所提算法能够稳定收敛,并在长期能耗约束和任务截止期要求下有效降低系统长期平均开销.