基于强化学习的孤岛微电网分布式二次控制策略研究

作     者：肖磊 

作者单位：南昌大学 

学位级别：硕士

导师姓名：万晓凤

授予年度：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 080802[工学-电力系统及其自动化] 0808[工学-电气工程] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：孤岛微电网 多智能体强化学习 分布式二次控制 虚拟阻抗 

摘      要：孤岛微电网通常采用分层控制结构,其中,一次控制多采用下垂控制,可以实现基本的供需平衡。然后,利用二次控制消除下垂控制引起的频率、电压偏差,并实现功率的精确分配。然而,现有的二次控制研究为实现控制目标往往需要设计结构复杂的控制器,并且在设计过程中会对微电网进行线性简化,从而忽略了其非线性特性。强化学习作为人工智能领域的热门之一,可以通过训练生成理想的控制策略,优秀的自主探索能力使其在解决非线性问题上具有天然优势。为了充分发挥强化学习的优势,弥补现有二次控制方法的不足,本文将围绕基于多智能体强化学习的孤岛微电网分布式二次控制策略展开研究,论文的主要研究内容如下: (1)针对现有多智能体强化学习算法难以满足微电网分布式控制问题,提出改进的多智能体双延迟深度确定性策略梯度算法(Multi Agent Twin Delayed Deep Deterministic policy gradient algorithm,MATD3),通过改进其观测条件和学习条件,使改进后的算法既降低了集中式训练所产生的计算压力,又满足了分布式控制的要求。 (2)针对孤岛微电网下垂控制引起的频率偏差问题,提出基于改进MATD3的微电网分布式有功/频率二次控制策略。首先,通过分析频率恢复原理,将频率偏差设计为输入状态变量,将有功功率补偿设计为输出动作变量,并根据频率偏差设计状态奖励函数。其次,考虑到频率为全局变量,其稳态值独立于有功分配情况,但随机的有功功率补偿会引起原有的有功分配失调,因此设计动作奖励函数对分布式电源有功补偿动作进行约束,使各分布式电源每次都按照有功分配比例进行补偿,从而实现消除频率偏差的同时,保证原有的有功分配不受影响。 (3)针对孤岛微电网下垂控制引起的电压偏差问题、线路阻抗不匹配引起的无功分配失调问题及无功分配与电压恢复控制之间的矛盾问题,提出基于改进MATD3的微电网分布式无功/电压分级控制策略。首先,考虑到电压为局部变量,其稳态值与无功分配情况有关,因此,将无功分配控制设计为一级控制,针对无功分配失调问题,将无功功率和线路阻抗设计为输入状态变量,将额定电压补偿设计为输出动作变量,并根据线路阻抗不匹配项设计状态奖励函数,经过一级控制调整后的电压值将直接作为二级控制的输入。其次,将电压恢复控制设计为二级控制,针对电压偏差问题及无功与电压控制之间的矛盾问题,提出以消除平均电压偏差为目标,将平均电压偏差设计为输入状态变量,将无功功率补偿设计为输出动作变量,并根据平均电压偏差设计状态奖励函数。最后,为了保证一级无功功率分配控制策略不受二级电压恢复控制策略的影响,设计动作奖励函数对二级电压恢复控制中各分布式电源无功补偿动作进行约束,使每次的补偿动作都按照无功分配比例进行补偿,从而解决无功分配与电压恢复的矛盾问题。