基于强化学习的新能源场站储能一次调频自适应控制策略

作     者：孙冉 王建波 马彦钊 张小科 胡怀中 SUN Ran;WANG Jianbo;MA Yanzhao;ZHANG Xiaoke;HU Huaizhong

作者机构：国网河南省电力公司河南郑州450000 西安交通大学自动化科学与工程学院陕西西安710100 国网河南省电力公司电力科学研究院河南郑州450052 

出 版 物：《储能科学与技术》 (Energy Storage Science and Technology)

年 卷 期：2024年第13卷第3期

页      面：858-869页

核心收录：

学科分类：0808[工学-电气工程] 080802[工学-电力系统及其自动化] 08[工学] 080502[工学-材料学] 0805[工学-材料科学与工程（可授工学、理学学位）] 

基　　金：国网河南省电力公司科技项目(521702230011) 国家重点研发计划资助项目(2018YFB1700104) 

主　　题：电池储能 一次调频 新能源场站 强化学习 自适应控制 

摘      要：针对当前储能参与一次调频时不同控制策略配合存在的缺陷,在传统虚拟惯性和虚拟下垂控制方法的基础上,考虑新能源出力特征,提出一种基于强化学习算法的新能源场站储能一次调频自适应控制策略。所提策略中,强化学习智能体负责根据系统频差和频差变化率实时波动来动态调整储能通过虚拟惯性控制方法参与一次调频的出力占比,进而由储能一次调频自适应控制器计算出虚拟下垂控制方法的出力占比,并获取储能总一次调频出力指令。考虑到新能源场站有功扰动的随机性,本工作中的强化学习智能体通过在特定新能源场站出力扰动下学习获取,其中新能源场站出力扰动由风速扰动通过风电机组模型获取。所提控制策略能充分发挥虚拟惯性和虚拟下垂控制方法在调频前后期的不同优势,实现两种控制方法的最优结合,挖掘储能参与一次调频的潜力。最终在Matlab/Simulink中搭建了区域电网频率响应模型,基于新能源发电突变和新能源发电连续波动两种扰动工况来模拟新能源场站极端工况和实际运行场景,并通过仿真验证了所提控制策略的有效性。结果表明,本工作所提策略能在调频过程中合理调整虚拟惯性出力和虚拟下垂出力的占比,减少电池储能的动作深度,有效缓解新能源出力波动给电网带来的频率波动,提升频率质量。