基于安全强化学习的电网稳控策略智能生成方法

作     者：邱建 朱煜昆 张建新 朱益华 徐光虎 涂亮 QIU Jian;ZHU Yukun;ZHANG Jianxin;ZHU Yihua;XU Guanghu;TU Liang

作者机构：中国南方电网有限责任公司广东广州510663 直流输电技术全国重点实验室(南方电网科学研究院有限责任公司)广东广州510663 广东省新能源电力系统智能运行与控制企业重点实验室广东广州510663 

出 版 物：《电力系统保护与控制》 (Power System Protection and Control)

年 卷 期：2024年第52卷第10期

页      面：147-155页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 080802[工学-电力系统及其自动化] 0808[工学-电气工程] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：南方电网公司重点科技项目资助(000000KK 52210139) 

主　　题：稳控策略 安全强化学习 时空特征 领域知识 

摘      要：新型电力系统的“双高趋势改变了电力系统经典稳定特性,导致稳定机理更复杂,系统稳定模式更多样,因此基于典型运行方式的在线稳定控制策略面临挑战。为解决新型电力系统的功角稳定问题,提出了基于安全强化学习的稳控策略智能生成方法。首先,建立了电力系统稳控问题的含约束马尔可夫模型,归纳并提出了紧急控制切机动作涉及的安全约束。其次,为了提高对于电网暂态响应的时空特征提取能力,构建了基于图卷积层和长短期记忆单元的特征感知网络。然后,为了提高稳控策略智能体的训练效率,提出了基于内嵌领域知识约束的近端策略优化算法稳控策略训练框架。最后,在IEEE 39节点系统和某实际电网中进行测试验证。结果表明,所提方法能够根据系统运行状态和故障响应自适应生成切机稳控策略,其决策效果和效率均优于现有的稳控策略。