面向隐私保护基于联邦强化学习的分布式电源协同优化策略

针对分布式电源优化调度面临的隐私保护和实时决策问题，提出了基于联邦强化学习的多智能体分布式协同优化策略。首先，构建了基于联邦强化学习的配电网分布式协同优化框架，利用联邦学习避免在多智能体深度强化学习过程中泄露隐私数据。在此框架下，提出了多智能体约束策略优化方法，利用离线训练缩短在线决策时间，支持智能体实时分布式决策。同时，该方法为智能体构建了考虑潮流方程等约束条件的可行域，允许智能体在训练过程中自由探索，提高了收敛速度，并确保实时调度策略满足电力系统安全运行约束。最后，通过算例进行仿真验证，结果表明离线训练时各智能体仅利用局部信息即可实现全局优化，并保证了实时决策和调度策略的安全性。     

含多微网稀疏通信优化的主动配电网分层分布式协调控制

针对多微网及主动配电网协调运行时控制目标的不同,通过多智能体系统构建含配电网级、微网级、元件级的三层协调控制架构,将调度管理过程分为配电网级智能体调度和微网级智能体调度两个部分,提出了稳态运行时主动配电网和多微网之间的互联、互动的新方案,并在元件级智能体上设计了一种基于分布式稀疏通信网络的二级优化控制器,可以实现微网内负荷波动时元件上电压、频率的快速恢复,以及联络线有功功率的精确分配。另外,为了分析通信时滞对多微网智能体之间协调控制的影响,根据图论的基本理论对通信拓扑进行了优化设计。最后,以一个含三微网群的主动配电网为例,在PSCAD/EMTDC仿真平台上,验证了所提控制策略的有效性。     

多时间尺度的配电网深度强化学习无功优化策略

随着高比例分布式电源的接入,配电网在应对源荷不确定性和协调多种无功补偿设备等方面面临较大挑战。该文提出一种基于优化数学模型与数据驱动方法相结合的配电网多时间尺度电压调节策略。该策略首先针对长时间尺度调节的有载调压变压器和电容器组,以最小化有功功率损耗为目标,建立基于混合整数二阶锥规划的日前无功电压优化模型。其次,为满足短时间尺度调度对于实时性的要求,提出一种基于多智能体强化学习的日内实时调度方法,将实时无功优化问题转化为马尔科夫博弈过程,并采用集中训练、分散执行框架。与传统方法相比,该方法通信开销低、实时性强并且不依赖于精确的潮流模型。最后,通过IEEE 33节点算例验证所提策略的有效性。     

基于单/多智能体简化强化学习的电力系统无功电压控制

为了快速平抑分布式能源接入系统产生的无功电压波动,以强化学习、模仿学习为代表的机器学习方法逐渐被应用于无功电压控制。虽然现有方法能实现在线极速求解,但仍然存在离线训练速度慢、普适性不够等阻碍其应用于实际的缺陷。该文首先提出一种适用于输电网集中式控制的单智能体简化强化学习方法,该方法基于“Actor-Critic”架构对强化学习进行简化与改进,保留了强化学习无需标签数据与强普适性的优点,同时消除了训练初期因智能体随机搜索造成的计算浪费,大幅提升了强化学习的训练速度;然后,提出一种适用于配电网分布式零通信控制的多智能体简化强化学习方法,该方法将简化强化学习思想推广形成多智能体版本,同时采用模仿学习进行初始化,将全局优化思想提前注入各智能体,提升各无功设备之间的就地协同控制效果;最后,基于改进IEEE 118节点算例的仿真结果验证了所提方法的正确性与快速性。     

基于分层约束强化学习的综合能源多微网系统优化调度

构建多微网系统是消纳可再生能源、提升电网稳定性的有效方式。通过各微网的协调调度,可有效提升微网的运行效益以及可再生能源的消纳水平。现有多微网优化问题场景多元,变量众多,再加上源荷不确定性及多微网主体的数据隐私保护等问题,为模型的高效求解带来了巨大挑战。为此,该文提出了一种分层约束强化学习优化方法。首先,构建了多微网分层强化学习优化框架,上层由智能体给出各微网储能优化策略和微网间功率交互策略;下层各微网以上层策略为约束,基于自身状态信息采用数学规划法对各微网内部的分布式电源出力进行自治优化。通过分层架构,减小通信压力,保护微网内部数据隐私,充分发挥强化学习对源荷不确定性的自适应能力,大幅提升了模型求解速度,并有效兼顾了数学规划法的求解精度。此外,将拉格朗日乘子法与传统强化学习方法相结合,提出一种约束强化学习求解方法,有效地解决了传统强化学习方法难以处理的约束越限问题。最后通过算例验证了该方法的有效性和优势。     

基于鲁棒强化学习的配网潮流优化方法

传统深度强化学习在优化配网潮流时易受传感器观测误差等干扰,鲁棒性较差。对此,提出一种基于鲁棒强化学习的配网潮流优化方法。首先以最小化配网网损为目标,电压、潮流越限为安全约束,建立包含分布式发电、储能及负荷单元的配网潮流优化模型。然后将干扰建模为攻击智能体,对配网潮流优化主智能体的观测状态施加扰动,构建双智能体零和博弈鲁棒强化学习模型。最后提出一种双智能体–拉格朗日乘子–信任区域策略优化算法,配网潮流优化主智能体与攻击智能体同步训练、异步学习,相互对抗博弈。仿真结果表明,通过该方法训练的配网潮流优化智能体,能在不同类型的干扰下做出安全决策,提高了配网潮流优化的鲁棒性和安全性。     

基于多主体博弈与强化学习的并网型综合能源微网协调调度

针对传统集中式优化调度方法难以全面反映综合能源微网内不同智能体的利益诉求,以及人工智能技术在综合能源调度方面的应用亟待进一步挖掘等问题,提出了基于多主体博弈与强化学习的并网型综合能源微网协调调度模型和方法。首先,针对并网型综合能源微网中横向电气热冷各子系统及纵向源网荷储等各环节的不同投资与运营主体,开展了多智能体划分;其次,针对可再生能源服务商、微网系统能源服务商、电动汽车用户等智能体,分别构建了各自的决策模型,并建立了以多智能体间利益均衡为目标的联合博弈决策模型;再次,针对多主体博弈这一高维决策难题,引入人工智能求解方法,提出了基于Nash博弈和强化学习算法的综合能源微网协调调度方法;最后,通过实例验证了所提模型和方法的有效性与实用性。     

基于多智能体深度确定策略梯度算法的有功-无功协调调度模型

实现有功-无功协调调度是促成"未来一体化大电网调控系统"建设中的关键一环.为解决调度中存在反复调节、难以协调冲突等问题,采用多智能体技术,智能组织多种有功调控资源和无功调控资源,建立电网有功-无功协调调度模型;为解决电力系统环境在多智能体探索过程中出现的不稳定问题,采用多智能体深度确定策略梯度算法,设计适用于有功-无功协调调度模型的电力系统多智能体环境,构造智能体状态、动作和奖励函数.通过算例仿真和对比分析,验证所提模型及算法的有效性.     

基于多智能体深度强化学习的配电网无功优化策略

配电网中光伏、风机设备出力随机波动以及负荷波动带来的电压波动、网损增加等问题,给配电网在线无功优化带来了挑战.本文采用一种无模型的深度确定性策略梯度(MADDP G)算法多智能体强化学习框架,采用集中训练、分散执行的方式解决无功优化问题.MADDP G算法将每一个智能体当作一个行动者(Actor),在离线训练过程中每个...     

基于深度学习和智能在线场景匹配的配电网源网荷储无功协调优化策略

配电网源网荷储协调优化是消纳可再生能源的重要手段,其中,无功优化可保障系统安全可靠和经济运行。该文提出了一种基于深度学习和智能在线场景匹配的配电网源网荷储无功协调优化方法,它充分考虑到运行场景的特性,直接利用配网运行大数据离线生成历史场景库并基于多目标粒子群优化算法离线构建历史策略库,再基于不同优化目标和K-means聚类算法对历史场景库和实时待优化场景进行两次分类,然后以历史场景库为训练集,以实时待优化场景为测试集,基于深度神经网络实现智能在线场景匹配,通过匹配效果评估匹配历史策略或在线优化分配无功优化方案。最后,在IEEE 30节点仿真模型接入分布式光伏、储能和电动汽车充电站等随机负荷进行算例验证。结果表明,方法可灵活、有效地对系统进行协调无功优化,不依赖于模型和参数,极大地提高了决策效率。     

基于交替方向乘子法的主动配电网日前两阶段分布式优化调度策略

随着主动配电网中可控设备的大量接入,亟需提出新的优化调度策略以适应主动配电网日益复杂的调度运行。针对此问题,综合考虑主动配电网的运营成本和网络损耗,提出了一种日前两阶段分布式优化调度策略。第一阶段为有功优化阶段,考虑可控资源的有功调节作用,以配电网运营成本最小为目标进行经济优化调度;第二阶段为无功优化阶段,在第一阶段调度基础上,以系统网损最小为目标,考虑可控资源的无功调节作用,建立无功优化模型。为减轻系统通信负担,采用交替方向乘子法分别将有功和无功优化的集中式数学模型分解成多个子模型,通过相邻区域间期望信息的交互实现模型的分布式求解。仿真结果表明该策略可有效减小配电网的运营成本和网络损耗。     

基于价值分解深度强化学习的分布式光伏主动电压控制方法

针对主动电压控制问题,深度强化学习能够有效地解决数学优化方法在精确性和实时性方面的不足。但传统多智能体深度强化学习方法存在信用分配、过度泛化等问题,难以学习到全局最优的协调策略,控制效果较差。为此,提出了一种基于价值分解深度强化学习的分布式光伏主动电压控制方法。将主动电压控制问题建模为分布式部分可观测马尔可夫决策过程,然后基于中心化训练和去中心化执行框架,提出分解式价值网络、集中式策略梯度2项改进措施：将全局价值网络分解为个体价值网络和混合网络,并采用所有智能体的当前策略进行集中参数更新。改进的IEEE 33节点配电网系统的算例结果表明,所提方法表现出了优越的稳压减损控制性能,且在训练速度、场景鲁棒性等方面具备一定的优势。     

基于深度强化学习的配电网实时电压优化控制方法

大规模分布式电源的接入使得配电网电压优化控制策略与传统配电网差异较大。针对就地控制中光伏逆变器调压之间缺乏协同的问题，该文提出了一种基于多智能体深度强化学习的配电网实时电压控制方法。首先根据电压控制模型设计了部分可观测的马尔科夫决策过程，然后采用多智能体双延迟深度确定性策略梯度算法求解，根据中心化训练、分散式执行的框架实现光伏逆变器的无功协同控制。该方法能智能决策各个逆变器的无功调节量，且能够根据源荷的随机变化实时给出电压控制策略，具有较好的实时性和控制经济性。最后通过仿真算例验证了所提方法的有效性。     

基于MAS-SOA的微网群广域协同控制

简要介绍兼具多智能体系统和面向服务架构两者优点的MAS-SOA技术,以微网群灵活多变的分布式信息管理需求为切入点,提出基于MAS-SOA的微网群广域跨平台信息协同方案,并详细分析微网多智能体平台设计、WS-Agent适配器设计细节,最后以市场环境下微网群的智能调度为例印证方案的可行性。     

考虑通信延时的分布式电源经济优化调度策略

分布式电源优化调度依赖于各设备间的通信,通信延时会影响调度过程,甚至可能造成系统运行的不稳定。针对稀疏通信网络存在通信延时的情况下多种分布式电源的经济调度问题,提出一种基于扩散算法的全分布式经济调度策略。首先,设计了控制本地发电机组的多智能体结构,多个智能体间的通信及控制不依赖于"领导单元";建立了系统的经济调度模型,该模型以系统运行成本最低为目标,对分布式电源和需求侧柔性负荷有功出力进行优化。在此基础上,研究通信延时对有功调度的影响,设计了一种支持完全分布式优化的改进扩散策略,与一致性控制方法相比,在相同延时的情况下改进扩散策略能够保证更快的收敛速度和更高的稳定性。多个场景的仿真结果验证了所提策略的正确性和有效性。     

结合深度强化学习与领域知识的电力系统拓扑结构优化

对拓扑结构进行优化可提高电力系统运行灵活性,然而线路开断与变电站母线分裂等系统级的离散决策变量维度极高。该拓扑结构优化问题难以由传统混合整数优化方法求解。针对该问题,提出了一种结合异步优势Actor-Critic(A3C)深度强化学习与电力系统领域知识的运行优化方法,将在线优化的计算负担转移至离线智能体训练阶段。该方法通过同时考虑拓扑结构与发电出力调整的动作空间设计系统运行控制智能体,以最小化约束越限为训练奖励,通过强制约束校验缩减搜索空间并提高强化学习效率,从而实现电力系统运行拓扑结构优化的快速计算,提高电力系统运行的安全性。仿真测试验证了所提方法的有效性。     

基于深度强化学习的配电网多时间尺度在线无功优化

含分布式电源的配电网存在潮流建模不精确、通信条件差、各无功补偿设备难以协调等问题,给配电网在线无功优化带来了挑战.文中采用深度强化学习方法,提出了一种多时间尺度配电网在线无功优化运行方案.该方案将配电网在线无功优化问题转化为马尔可夫决策过程.鉴于不同无功补偿设备的调节速度不同,设计2个时间尺度分别对离散调节设备和连续调节设备进行优化配置.该方案能够实时追踪配电网状态,在线决策无功调节设备的优化方案,且不依赖精确的潮流模型,适用于复杂多变、通信条件差的部分可观测配电网.最后,通过算例验证了所提方法的有效性和鲁棒性.     

基于深度强化学习算法的“电网脑”及其示范工程应用

可再生能源、电力电子设备渗透率持续增大以及大功率交直流混联,电网的动态性、随机性和不确定性显著增强,给电力系统安全稳定运行带来新的挑战.为更有效解决电网中出现的电压、潮流快速波动而导致的安全问题,提出一种基于最大熵深度强化学习算法的智能电网调控辅助决策方法,同时考虑多种控制目标,对电网运行方式进行在线优化控制.该方法将电网调度控制决策建模为马尔科夫决策过程,训练多线程智能体,并采用周期性在线训练机制对智能体的控制性能进行不断提升.基于该方法所研发的辅助决策原型软件部署在国网江苏电力调度控制中心,可与电网调度控制系统环境直接交互,自主学习且不断提升智能体调控决策能力.训练好的智能体可针对电压越限、联络线潮流越限、网损等综合控制目标在毫秒级时间内给出有效控制策略.     

基于蜂巢状有源配电网的分布式优化调度

微网群是未来微网并网的发展方向。对此,课题组提出了一种适应于微网大规模应用的智能化结构,即蜂巢状有源配电网拓扑。基于此拓扑研究其优化调度问题,首先对该拓扑结构及其中的有源微网与智能功率/信息交换基站进行说明。接着,采用基于一致性约束的分布式优化方法,将蜂巢状配电网分解成多个区域,并推导了蜂巢状配电网优化数学模型。然后,考虑经济和可靠性等指标选取了运行成本最小化为优化目标,采用MATLAB/YALMIP/IPOPT商业求解器求解所建立的优化模型。最后,以7个微网组成的蜂巢状配电网为例,对所构建的优化模型和采用的求解方法进行说明,并分析了蜂巢状配电网的应用对微网群经济性和可靠性的影响。     

基于多智能体一致性的多微电网分布式经济调度

多微电网系统拓扑多变,其经济调度方法需要满足"即插即用"特性.基于多智能体一致性理论,提出了一种多微电网分布式经济调度方法,在子微电网内采用领导-跟随一致性算法,子微电网间采用完全分布式一致性算法,实现了多种情况下的多微电网经济调度.通过分布式通信网络传递微增率与功率,降低通信负担,同时保护隐私.算例验证了所提出方法的...