面向综合能源系统的多智能体协同AGC策略

作     者：席磊 王昱昊 陈宋宋 陈珂 孙梦梦 周礼鹏 XI Lei;WANG Yu-hao;CHEN Song-song;CHEN Ke;SUN Meng-meng;ZHOU Li-peng

作者机构：三峡大学电气与新能源学院湖北宜昌443002 中国电力科学研究院有限公司需求侧多能互补优化与供需互动技术北京市重点实验室北京100192 

出 版 物：《电机与控制学报》 (Electric Machines and Control)

年 卷 期：2022年第26卷第4期

页      面：77-88页

核心收录：

学科分类：080802[工学-电力系统及其自动化] 0808[工学-电气工程] 08[工学] 

基　　金：国家自然科学基金(51707102) 

主　　题：综合能源系统 自动发电控制 多智能体 深度强化学习 置信区间上界 探索-利用 采样机制 

摘      要：针对大规模可再生能源接入电网所带来的强随机扰动问题,从自动发电控制的角度提出感知历史经验的多智能体深度强化学习算法,即具有置信区间上界的深度强化学习(DQN-UCB)。所提方法通过置信区间上界(UCB)策略来解决传统启发式方法在平衡“探索-利用过程中,面对随机低质量样本带来的当前和目标Q值误差较大的问题;同时,基于置信区间上界策略的优先级采样机制替代了传统深度Q学习(DQN)的均匀随机采样机制,以提高高质量样本被选取的概率,进而促使智能体快速收敛到最优策略。通过对IEEE标准两区域负荷频率控制模型和融入大规模可再生能源的分布式多区域综合能源系统模型进行仿真,结果表明,与其他智能方法相比,所提方法具有更优的控制性能、更快的收敛速度,能够获取分布式多区域综合能源系统的最优协同。