面向隐私保护基于联邦强化学习的分布式电源协同优化策略

针对分布式电源优化调度面临的隐私保护和实时决策问题，提出了基于联邦强化学习的多智能体分布式协同优化策略。首先，构建了基于联邦强化学习的配电网分布式协同优化框架，利用联邦学习避免在多智能体深度强化学习过程中泄露隐私数据。在此框架下，提出了多智能体约束策略优化方法，利用离线训练缩短在线决策时间，支持智能体实时分布式决策。同时，该方法为智能体构建了考虑潮流方程等约束条件的可行域，允许智能体在训练过程中自由探索，提高了收敛速度，并确保实时调度策略满足电力系统安全运行约束。最后，通过算例进行仿真验证，结果表明离线训练时各智能体仅利用局部信息即可实现全局优化，并保证了实时决策和调度策略的安全性。     

基于分布式深度强化学习的微网群有功无功协调优化调度

针对微网群的分布式有功无功协调优化调度问题,提出一种分布式多智能体深度强化学习方法,可训练智能体在与环境交互的过程中学习到最优调度策略,并克服传统优化方法对模型的依赖。相较于已有基于“集中训练”框架的多智能体深度强化学习方法,该方法无须收集全局信息,能够更好地保障各子微网信息的隐私,减轻通信压力,并且在训练和执行阶段均表现出对通信故障的鲁棒性。此外,考虑到微网群存在拓扑变化而强化学习模型泛化能力差,提出一种迁移强化学习方法,利用已有智能体知识为每种拓扑高效训练一组智能体。最后,通过改进的IEEE 33节点系统算例,验证了所提方法在解决微网群分布式有功无功协调优化调度问题上的有效性。     

考虑通信延时的分布式电源经济优化调度策略

分布式电源优化调度依赖于各设备间的通信,通信延时会影响调度过程,甚至可能造成系统运行的不稳定。针对稀疏通信网络存在通信延时的情况下多种分布式电源的经济调度问题,提出一种基于扩散算法的全分布式经济调度策略。首先,设计了控制本地发电机组的多智能体结构,多个智能体间的通信及控制不依赖于"领导单元";建立了系统的经济调度模型,该模型以系统运行成本最低为目标,对分布式电源和需求侧柔性负荷有功出力进行优化。在此基础上,研究通信延时对有功调度的影响,设计了一种支持完全分布式优化的改进扩散策略,与一致性控制方法相比,在相同延时的情况下改进扩散策略能够保证更快的收敛速度和更高的稳定性。多个场景的仿真结果验证了所提策略的正确性和有效性。     

基于双层模仿学习的多园区综合能源系统分布式协同优化调度

针对多园区综合能源系统协同调度存在的源荷及电价等多重不确定性因素和隐私保护问题,提出一种分布式协同双层优化模型。模型上层采用通信神经网络依据即时信息决策各园区储能动作,通过模仿学习进行监督式训练,使智能体获得预测决策一体化功能;下层由各园区采用交替方向乘子法进行分布式优化,得到其他设备动作及园区间电力交互量,形成当前时段完整的多园区分布式协同优化运行方案,并提出了考虑上级电网实时电价和多园区系统供求关系的园区间交易机制以保障各园区利益。算例证明所提方法不依赖于对源荷及电价等不确定性因素的准确预测,能够在保护各园区数据隐私的前提下达到与理论最优策略接近的性能。     

多时间尺度的配电网深度强化学习无功优化策略

随着高比例分布式电源的接入,配电网在应对源荷不确定性和协调多种无功补偿设备等方面面临较大挑战。该文提出一种基于优化数学模型与数据驱动方法相结合的配电网多时间尺度电压调节策略。该策略首先针对长时间尺度调节的有载调压变压器和电容器组,以最小化有功功率损耗为目标,建立基于混合整数二阶锥规划的日前无功电压优化模型。其次,为满足短时间尺度调度对于实时性的要求,提出一种基于多智能体强化学习的日内实时调度方法,将实时无功优化问题转化为马尔科夫博弈过程,并采用集中训练、分散执行框架。与传统方法相比,该方法通信开销低、实时性强并且不依赖于精确的潮流模型。最后,通过IEEE 33节点算例验证所提策略的有效性。     

基于集群的主动配电网双层分布式优化调度策略研究

随着主动配电网中大量分布式能源资源的接入,传统的集中式调控架构体系将无法有效处理这些分布式单元,因此有必要对主动配电网分布式资源集群优化调度开展研究。以基于多智能体架构的主动配电网为研究对象,根据“群内自治、群间协调”的分级调控思想,提出一种基于“源-荷”集群功率偏差的双层分布式优化调度策略。在上层全局优化阶段,提出基于“源-荷”集群功率偏差的改进一致性算法对各集群间进行分布式协调优化;在下层局部优化阶段,基于分布式一致性算法对各分布式单元进行协调优化,获取最优效益下“源-荷”需求,同时对所提策略的收敛性进行证明。通过IEEE 33节点系统验证所提策略的有效性和合理性。     

基于一致性算法的主动配电网源-荷-储分布式协调优化调度

针对可再生能源高渗透率的主动配电网调度运行存在的网络拓扑多变、通信及计算量大等问题,建立了基于多智能体的配电网源-荷-储完全分布式模型。为增强负荷参与调度的意愿,对系统内柔性负荷进行分级优化建模,改变柔性负荷边际效用。通过设置节点负荷比重改进一致性算法,应用算法对各智能体的边际成本提取变量。通过一致性协调优化的方式实现源-荷-储的协调运行,提高配电网的运行经济性。算例仿真与分析验证了该模型的有效性。     

不确定性环境下基于深度强化学习的综合能源系统动态调度

随着综合能源系统中间歇性能源和负荷不确定性的逐步增强,传统的调度方法局限于固定物理模型及参数设定,难以较好地动态响应源荷的随机波动。针对这一问题,提出了一种基于深度强化学习的综合能源系统动态调度方法。首先,以数据驱动方式构建面向综合能源系统的深度强化学习模型,通过智能体与综合能源系统的持续交互,自适应学习调度策略,降低对物理模型的依赖程度。其次,通过添加随机扰动的方式表征源荷不确定性变化特征,针对不确定性变化特征改进深度强化学习模型的状态空间、动作空间、奖励机制以及训练流程等关键环节,并经由近端策略优化算法优化求解,实现了综合能源系统的动态调度决策。最后,通过算例仿真验证了所提方法在不同时间尺度以及不确定性环境下的可行性和有效性。     

基于奖惩阶梯型碳价机制的能源枢纽低碳优化策略

为进一步降低碳排放水平以及源-荷不确定性对系统运行的影响,文中提出了一种基于奖惩阶梯型碳价机制和分布式模型预测控制（Distributed Model Predictive Control, DMPC）的能源枢纽（Energy Hub, EH）日前-日内-实时的多时间尺度低碳优化调度策略。引入奖惩阶梯型碳价计算方法,构建了EH日前低碳优化调度模型,并制定基于DMPC的日内滚动和实时调整的反馈闭环优化策略,降低源-荷预测误差、提高传统模型预测控制（Model Predictive Control, MPC）求解效率。其中,在日内阶段,构建了以阶梯型碳成本、运行成本和储能调整惩罚成本之和最小的日内滚动优化模型;在实时阶段,通过将整体优化问题进行分解,建立了基于DMPC控制的多智能体实时调整模型。算例结果表明,本文所提策略在提升系统经济效益、降低源-荷不确定性等方面具有有效性,实现了EH的低碳经济、稳定可靠运行。     

基于柔性策略-评价网络的微电网源储协同优化调度策略

近年来,微电网中的可再生能源与储能占比不断增大,给其优化调度带来了新的挑战。针对微电网源储协同调度问题中非凸非线性约束带来的求解困难,利用深度强化学习算法构建基于数据的策略函数,通过不断地与环境进行交互学习寻找最优策略,避免了对原非凸非线性问题的直接求解。考虑到训练过程中策略函数可能不满足安全约束,进一步提出了一种利用部分模型信息的微电网源储协同优化调度安全策略学习方法,得到了满足网络安全约束的优化策略。此外,针对强化学习的智能体在训练过程中与环境的交互耗时较长的问题,采用神经网络对环境进行建模以提高学习效率。     

基于分层约束强化学习的综合能源多微网系统优化调度

构建多微网系统是消纳可再生能源、提升电网稳定性的有效方式。通过各微网的协调调度,可有效提升微网的运行效益以及可再生能源的消纳水平。现有多微网优化问题场景多元,变量众多,再加上源荷不确定性及多微网主体的数据隐私保护等问题,为模型的高效求解带来了巨大挑战。为此,该文提出了一种分层约束强化学习优化方法。首先,构建了多微网分层强化学习优化框架,上层由智能体给出各微网储能优化策略和微网间功率交互策略;下层各微网以上层策略为约束,基于自身状态信息采用数学规划法对各微网内部的分布式电源出力进行自治优化。通过分层架构,减小通信压力,保护微网内部数据隐私,充分发挥强化学习对源荷不确定性的自适应能力,大幅提升了模型求解速度,并有效兼顾了数学规划法的求解精度。此外,将拉格朗日乘子法与传统强化学习方法相结合,提出一种约束强化学习求解方法,有效地解决了传统强化学习方法难以处理的约束越限问题。最后通过算例验证了该方法的有效性和优势。     

主动配电网源–荷–储分布式协调优化运行(一):基于一致性理论的分布式协调控制系统建模

针对可再生能源高渗透率主动配电网调度运行中出现的网络拓扑多变、通信信息量大、集中计算困难等问题,提出一种基于多智能体的配电网源–荷–储完全分布式协调控制建模方法。首先,分析了配电网集中控制协调优化存在的问题,并提出集中–分区分布式、集中–单元分布式、完全分布式3种分布式协调控制建模方案。在此基础上,结合配电网的网络结构与通信方式,选择基于一致性理论的完全分布式方案构建配电网多智能体分布式协调控制系统。最终,以主动配电网内可再生能源及主动负荷运行效益最大化为目标建立协调运行模型,并结合模型定义一致性变量以便后续采用一致性协调算法进行完全分布式求解。     

基于深度学习和智能在线场景匹配的配电网源网荷储无功协调优化策略

配电网源网荷储协调优化是消纳可再生能源的重要手段,其中,无功优化可保障系统安全可靠和经济运行。该文提出了一种基于深度学习和智能在线场景匹配的配电网源网荷储无功协调优化方法,它充分考虑到运行场景的特性,直接利用配网运行大数据离线生成历史场景库并基于多目标粒子群优化算法离线构建历史策略库,再基于不同优化目标和K-means聚类算法对历史场景库和实时待优化场景进行两次分类,然后以历史场景库为训练集,以实时待优化场景为测试集,基于深度神经网络实现智能在线场景匹配,通过匹配效果评估匹配历史策略或在线优化分配无功优化方案。最后,在IEEE 30节点仿真模型接入分布式光伏、储能和电动汽车充电站等随机负荷进行算例验证。结果表明,方法可灵活、有效地对系统进行协调无功优化,不依赖于模型和参数,极大地提高了决策效率。     

融合电网运行场景聚类的多任务深度强化学习优化调度

“双碳”目标和新型电力系统建设背景下,新能源的高渗透率接入导致电力系统随机性显著增大、运行方式的分布复杂多样,传统单任务深度强化学习难以自适应源荷两侧的高随机性,调度决策难以满足新型电力系统对风光消纳、功率平衡需求。为此,该文提出融合电网运行场景聚类的多任务深度强化学习优化调度方法。该方法离线训练时利用空间聚类和决策树辨识海量调度运行数据的典型运行场景与重要特征,并构建甄别场景类别的多层感知机分类器;再依据场景类别建立和划分融合聚类多任务深度强化学习模型,从数据源到状态动作设计差异化训练各子任务学习器与模型;在线决策时利用分类器辨识有限运行数据的场景类别,调用模型快速求解实时调度任务,实现高随机场景下的多任务快速迁移学习,保证电力系统优化调度决策的最优性。该文通过算例验证了该方法的解的可行性与经济性。实验结果表明,融合电网运行场景聚类的多任务深度强化学习优化调度算法较单任务算法能够明显提升调度决策经济效益。     

基于深度强化学习的配电网实时电压优化控制方法

大规模分布式电源的接入使得配电网电压优化控制策略与传统配电网差异较大。针对就地控制中光伏逆变器调压之间缺乏协同的问题，该文提出了一种基于多智能体深度强化学习的配电网实时电压控制方法。首先根据电压控制模型设计了部分可观测的马尔科夫决策过程，然后采用多智能体双延迟深度确定性策略梯度算法求解，根据中心化训练、分散式执行的框架实现光伏逆变器的无功协同控制。该方法能智能决策各个逆变器的无功调节量，且能够根据源荷的随机变化实时给出电压控制策略，具有较好的实时性和控制经济性。最后通过仿真算例验证了所提方法的有效性。     

基于柔性行动器–评判器深度强化学习的电–气综合能源系统优化调度

多能流协同优化调度是实现综合能源系统高效经济运行的核心技术之一。面向电–气综合能源系统运行优化问题,提出一种基于柔性行动器-评判器框架的深度强化学习方法,通过智能体与能源系统的交互,自适应学习控制策略。该方法可实现多能流系统的连续动作控制,且能够灵活处理风电、光伏、多能负荷等源荷不确定性问题,实现多场景下的电-气综合能源优化调度决策。首先,构建面向电-气综合能源系统调度的强化学习基本框架,介绍柔性行动器-评判器强化学习的基本原理;然后,构建与智能体交互的电-气综合能源系统环境模型,设计深度强化学习的动作与状态空间、奖励机制、神经网络结构、学习流程等关键环节;最后,针对2个电-气综合能源系统算例进行强化学习优化调度结果分析。     

基于单/多智能体简化强化学习的电力系统无功电压控制

为了快速平抑分布式能源接入系统产生的无功电压波动,以强化学习、模仿学习为代表的机器学习方法逐渐被应用于无功电压控制。虽然现有方法能实现在线极速求解,但仍然存在离线训练速度慢、普适性不够等阻碍其应用于实际的缺陷。该文首先提出一种适用于输电网集中式控制的单智能体简化强化学习方法,该方法基于“Actor-Critic”架构对强化学习进行简化与改进,保留了强化学习无需标签数据与强普适性的优点,同时消除了训练初期因智能体随机搜索造成的计算浪费,大幅提升了强化学习的训练速度;然后,提出一种适用于配电网分布式零通信控制的多智能体简化强化学习方法,该方法将简化强化学习思想推广形成多智能体版本,同时采用模仿学习进行初始化,将全局优化思想提前注入各智能体,提升各无功设备之间的就地协同控制效果;最后,基于改进IEEE 118节点算例的仿真结果验证了所提方法的正确性与快速性。     

基于价值分解深度强化学习的分布式光伏主动电压控制方法

针对主动电压控制问题,深度强化学习能够有效地解决数学优化方法在精确性和实时性方面的不足。但传统多智能体深度强化学习方法存在信用分配、过度泛化等问题,难以学习到全局最优的协调策略,控制效果较差。为此,提出了一种基于价值分解深度强化学习的分布式光伏主动电压控制方法。将主动电压控制问题建模为分布式部分可观测马尔可夫决策过程,然后基于中心化训练和去中心化执行框架,提出分解式价值网络、集中式策略梯度2项改进措施：将全局价值网络分解为个体价值网络和混合网络,并采用所有智能体的当前策略进行集中参数更新。改进的IEEE 33节点配电网系统的算例结果表明,所提方法表现出了优越的稳压减损控制性能,且在训练速度、场景鲁棒性等方面具备一定的优势。     

主动配电系统中失联分布式电源差异化就地控制策略优化

随着主动配电系统中分布式电源渗透率不断提高,配电网运行对信息系统的依赖程度也不断加深。为降低通信故障场景下的电网运行风险,提出一种失联分布式电源差异化就地控制策略的优化方法。首先,基于故障模式后果分析法,建立通信故障场景与链路有效性状态的对应性模型,形成通信故障场景与链路失效对应性关联关系表。然后,考虑通信故障场景和源荷的不确定性,以包含电压越限、潮流过载(失负荷)的综合风险最小为目标,建立了分布式电源差异化就地控制策略的双层多目标优化模型,并采用区间潮流和智能优化算法进行求解。以IEEE 33节点系统作为算例,验证了策略的有效性,并分析了通信系统配置对策略的影响,研究成果可为主动配电系统中失联分布式电源运行策略的制定提供理论支撑。     

基于一致性的微网分布式能量管理调度策略

基于多智能体一致性理论,设计了具有完全分布式特征的微网能量管理调度策略,以解决集中式控制方式通信压力大和无法满足即插即用要求的问题。以可控发电单元和储能单元运行成本最低为目标函数,结合微网功率平衡和发电单元出力的约束条件,建立了分布控制式微网最优经济调度模型。根据多智能体及一致性理论设计了微网的分布式能量管理调度算法,给出了该方法的具体实施步骤。通过在IEEE-14节点微电网系统中的仿真算例,验证了所提出调度策略的正确性和有效性。