基于多智能体深度强化学习的配电网无功优化策略

配电网中光伏、风机设备出力随机波动以及负荷波动带来的电压波动、网损增加等问题,给配电网在线无功优化带来了挑战.本文采用一种无模型的深度确定性策略梯度(MADDP G)算法多智能体强化学习框架,采用集中训练、分散执行的方式解决无功优化问题.MADDP G算法将每一个智能体当作一个行动者(Actor),在离线训练过程中每个...     

基于多智能体深度强化学习的电热联合系统优化运行

电热联合系统优化调度问题对于实现系统的能源互补、经济运行具有重要意义.电热联合系统优化运行涉及非线性、非凸、多目标问题求解,传统方法在计算实时性与迭代收敛性等方面存在困难.文章首先构建电热联合系统优化数学模型,将电热联合系统按照不同利益主体划分为多智能体,基于多智能体深度确定性策略梯度强化学习算法,建立了适用于电热联合系统的行动器-评判器框架,将优化模型转化为强化学习模型.其次对智能体进行了状态与动作空间的划分,搭建多智能体强化学习环境并设计相应的奖励函数.最后进行电热联合系统算例验证,表明所提方法可以有效解决电热联合系统优化问题.训练后的多智能体强化学习模型可实时生成优化策略,克服传统方法运算时间长、难以满足在线计算要求的问题;和单智能体算法相比,模型训练过程更易稳定收敛,执行过程中各智能体仅依赖局部信息完成计算,解决不同利益主体的数据共享问题.     

含分布式电源的智能配电网的多目标优化调度

随着智能电网的建设,分布式电源越来越受到青睐,对配电网内各个分布式电源的优化调度也越来越重要。本文综合考虑了配电网的运行费用和环境效益,建立了含有柴油机、风力发电机、光伏发电单元和燃料电池等分布式电源的智能配电网优化调度模型。然后在满足各种约束条件的基础上,使用遗传算法求解了该模型。接下来给出相应算例计算了目标函数,通过分析计算结果,得出多目标优化调度模型的可行性与优越性。     

多智能体深度强化学习驱动的跨园区能源交互优化调度

为协调多园区综合能源系统各个园区之间的能量交互,多能源子系统之间的能源转换,实现综合能源系统整体优化调度,提出一种利用多智能体深度强化学习算法学习不同园区的负荷特征,并在此基础上进行决策的综合调度模型。该模型将多园区综合能源系统的调度问题转化为马尔科夫决策过程,并利用深度强化学习算法进行求解,避免了对多园区、多能源子系统之间复杂的能量耦合关系进行建模。仿真结果表明,所提方法可以很好地捕捉到不同园区的负荷特性,并利用其中的互补特性协调不同园区之间进行合理的能量交互,可以实现弃风率由16.3%降低至0,并可以使总运行成本降低5 445.6元,具有良好的经济效益和环保效益。     

基于多智能体强化学习值分解的优化算法

当前多智能体强化学习在值分解的算法中无法充分考虑到多智能体间的协作关系，并且使用的随机策略在探索过程中容易出现越过最优点，陷入局部最优解的情况。针对以上问题，本文提出了一种深度交流多智能体强化学习算法。本文通过使用卷积和全连接结构在值分解网络中设计了一种通信机制以此来增强多智能体之间的协作。接着，本文提出了一种新的自适应探索策略，为了平衡数据探索与利用之间的矛盾，加入了周期性的衰减策略。最后，通过仿真结果验证了本文提出方法在部分场景中达到25.8%的性能提升，提高了多智能体的合作能力。     

基于多目标多智能体强化学习的低轨卫星切换策略

针对低轨卫星通信系统(LSM) 中地面用户流量需求分布不均衡和用户并发切换过多等挑战,提出了一种基于多目标 多智能体协同深度强化学习的低轨卫星切换策略,以地面小区用户流量需求满意度、切换时延、用户冲突为优化目标,采用多 智能体协同深度学习算法对目标进行优化,其中每个智能体仅负责一个小区用户的卫星切换策略,智能体之间通过共享奖励 实现协作,从而达到多目标优化的效果。仿真结果表明,所提的切换策略的平均用户流量满意度为73.1%,平均切换时延为 343 ms,对比启发式算法能够更好满足地面小区用户的流量需求、平衡卫星网络的负载。     

基于深度强化学习的分布式电力配电网负荷调度研究

分布式电力配电网通常涉及多个能源源头,如传统发电机组、可再生能源和储能设备等。这些能源的有效协调调度是一个关键难题。需要考虑不同能源之间的互补性和相互依赖性,以平衡供需关系,提高系统的可靠性和经济性。为此,提出一种基于深度强化学习的分布式电力配电网负荷调度方法。利用深度强化学习中的LSTM（长短期记忆）提取损坏负荷数据,基于此,建立分布式电力配电网调度模型的约束条件,并将非线性递减惯性权重引入到传统粒子群算法中,对调度结果实现寻优。实验结果表明：通过对负荷的优化调度,可实现存储设备及灵活负荷的主动加入,新能源功率特性与负荷特性的匹配度更高。     

面向隐私保护基于联邦强化学习的分布式电源协同优化策略

针对分布式电源优化调度面临的隐私保护和实时决策问题，提出了基于联邦强化学习的多智能体分布式协同优化策略。首先，构建了基于联邦强化学习的配电网分布式协同优化框架，利用联邦学习避免在多智能体深度强化学习过程中泄露隐私数据。在此框架下，提出了多智能体约束策略优化方法，利用离线训练缩短在线决策时间，支持智能体实时分布式决策。同时，该方法为智能体构建了考虑潮流方程等约束条件的可行域，允许智能体在训练过程中自由探索，提高了收敛速度，并确保实时调度策略满足电力系统安全运行约束。最后，通过算例进行仿真验证，结果表明离线训练时各智能体仅利用局部信息即可实现全局优化，并保证了实时决策和调度策略的安全性。     

基于分布式深度强化学习的微网群有功无功协调优化调度

针对微网群的分布式有功无功协调优化调度问题,提出一种分布式多智能体深度强化学习方法,可训练智能体在与环境交互的过程中学习到最优调度策略,并克服传统优化方法对模型的依赖。相较于已有基于“集中训练”框架的多智能体深度强化学习方法,该方法无须收集全局信息,能够更好地保障各子微网信息的隐私,减轻通信压力,并且在训练和执行阶段均表现出对通信故障的鲁棒性。此外,考虑到微网群存在拓扑变化而强化学习模型泛化能力差,提出一种迁移强化学习方法,利用已有智能体知识为每种拓扑高效训练一组智能体。最后,通过改进的IEEE 33节点系统算例,验证了所提方法在解决微网群分布式有功无功协调优化调度问题上的有效性。     

多时间尺度的配电网深度强化学习无功优化策略

随着高比例分布式电源的接入,配电网在应对源荷不确定性和协调多种无功补偿设备等方面面临较大挑战。该文提出一种基于优化数学模型与数据驱动方法相结合的配电网多时间尺度电压调节策略。该策略首先针对长时间尺度调节的有载调压变压器和电容器组,以最小化有功功率损耗为目标,建立基于混合整数二阶锥规划的日前无功电压优化模型。其次,为满足短时间尺度调度对于实时性的要求,提出一种基于多智能体强化学习的日内实时调度方法,将实时无功优化问题转化为马尔科夫博弈过程,并采用集中训练、分散执行框架。与传统方法相比,该方法通信开销低、实时性强并且不依赖于精确的潮流模型。最后,通过IEEE 33节点算例验证所提策略的有效性。     

基于多智能体系统一致性算法的电力系统分布式经济调度策略

集中式优化方法难以应对未来电网柔性负荷广泛渗透以及电力元件"即插即用"的技术要求。区别于集中式经济调度,提出一种电力系统分布式经济调度策略。应用多智能体系统中的一致性算法,以发电机组的增量成本和柔性负荷的增量效益作为一致性变量,设计一种用于电力系统经济调度的算法,通过分布式优化的方式求解经济调度问题。算例仿真与分析验证了所提调度策略的有效性。     

基于协同多智能体进化的分布式电源选址和定容

分布式能源接入配电网是智能电网建设的重要内容之一,合理地对分布式电源进行选址和定容是解决分布式电源合理规划的关键。本文提出一种解决配电网分布式电源规划的协同智能体进化算法,利用智能体的竞争和自学习行为,利用罚函数法将分布式能源规划问题转化为无约束求极值问题,有效提高算法的性能,在IEEE 33节点和69节点配电网测试系统仿真实验中取得了满意的结果。     

基于多智能体一致性的多微电网分布式经济调度

多微电网系统拓扑多变,其经济调度方法需要满足"即插即用"特性.基于多智能体一致性理论,提出了一种多微电网分布式经济调度方法,在子微电网内采用领导-跟随一致性算法,子微电网间采用完全分布式一致性算法,实现了多种情况下的多微电网经济调度.通过分布式通信网络传递微增率与功率,降低通信负担,同时保护隐私.算例验证了所提出方法的...     

基于区间估计与深度强化学习的有源配电网多智能体电压滚动控制

光伏高渗透下的配电网电压滚动控制是时序非线性随机优化问题，传统物理建模方法难以满足时效性。为此，提出一种基于区间状态估计的多智能体强化学习有源配电网电压滚动控制方法。首先，考虑光伏与负荷预测不确定性，提出节点电压随机分布的区间状态深度学习方法，并基于电压数值空间特征构建实时安全约束，避免随机采样引入的高维约束集；进而，在电压估计的置信区间满足安全约束条件下以光伏消纳最大为目标，构建不同分区下以变压器、电容和光伏逆变器为控制对象的多智能体边缘协同滚动控制策略。算例验证表明，相比于传统模型的优化控制方法，所提方法能有效减少变压器和电容动作、降低电压越限风险，且决策效率满足时效性。     

基于单/多智能体简化强化学习的电力系统无功电压控制

为了快速平抑分布式能源接入系统产生的无功电压波动,以强化学习、模仿学习为代表的机器学习方法逐渐被应用于无功电压控制。虽然现有方法能实现在线极速求解,但仍然存在离线训练速度慢、普适性不够等阻碍其应用于实际的缺陷。该文首先提出一种适用于输电网集中式控制的单智能体简化强化学习方法,该方法基于“Actor-Critic”架构对强化学习进行简化与改进,保留了强化学习无需标签数据与强普适性的优点,同时消除了训练初期因智能体随机搜索造成的计算浪费,大幅提升了强化学习的训练速度;然后,提出一种适用于配电网分布式零通信控制的多智能体简化强化学习方法,该方法将简化强化学习思想推广形成多智能体版本,同时采用模仿学习进行初始化,将全局优化思想提前注入各智能体,提升各无功设备之间的就地协同控制效果;最后,基于改进IEEE 118节点算例的仿真结果验证了所提方法的正确性与快速性。     

基于深度强化学习的电动汽车充电调度算法研究进展

对电动汽车的充电过程进行优化调度有利于电网安全稳定运行,提升道路通行效率,提高可再生能源利用率,减少用户充电时间和充电费用。深度强化学习可以有效解决电动汽车充电优化调度面临的随机性和不确定性因素的影响。首先,概述了深度强化学习的工作原理,对比分析了不同种类强化学习的特点和应用场合。然后,从静态充电调度和动态充电调度两方面综述了基于深度强化学习的电动汽车充电调度算法研究成果,分析了现有研究的不足。最后,展望了该领域未来的研究方向。     

基于强化学习的多微电网分布式二次优化控制

针对微电网中分布式电源下垂一次控制产生的系统频率和电压静态偏差问题,提出了一种基于强化学习就地反馈方法的分布式二次优化控制,利用本地信息可兼顾频率恢复和电压调整的需求。首先,针对微电网经济性、频率及电压控制需求和各分布式电源综合性能(环境效益、经济效益、技术效益),定义了本地奖励,协调多微电网的频率恢复和电压调节。其次,针对电网实际运行情况,在满足供需平衡的同时,使用多智能体强化学习算法对全局奖励反馈优化修正,使各分布式电源协同出力渐近消除频率偏差,保证微电网的稳定运行。最后,通过实例验证了所提出控制的有效性和适应性。     

基于深度强化学习的电动汽车实时调度策略

电动汽车(EV)作为一种分布式储能装置,对抑制功率波动有着巨大的潜力。考虑EV接入的随机性及可再生能源出力和负荷的不确定性,利用不基于模型的深度强化学习方法,建立了以最小功率波动及最小充放电费用为目标的实时调度模型。为满足用户的用电需求,采用充放电能量边界模型表征电动汽车的充放电行为。在对所提模型进行日前训练及参数保存后,针对日内每一时刻系统运行的实时状态量,生成该时刻充放电调度策略。最后以某微电网为例,验证了所提基于深度强化学习的调度方法在满足用户充电需求的前提下,可以有效减小微电网内的功率波动,降低EV充放电费用;日内不需要迭代计算,可以满足实时调度的要求。     

考虑通信延时的分布式电源经济优化调度策略

分布式电源优化调度依赖于各设备间的通信,通信延时会影响调度过程,甚至可能造成系统运行的不稳定。针对稀疏通信网络存在通信延时的情况下多种分布式电源的经济调度问题,提出一种基于扩散算法的全分布式经济调度策略。首先,设计了控制本地发电机组的多智能体结构,多个智能体间的通信及控制不依赖于"领导单元";建立了系统的经济调度模型,该模型以系统运行成本最低为目标,对分布式电源和需求侧柔性负荷有功出力进行优化。在此基础上,研究通信延时对有功调度的影响,设计了一种支持完全分布式优化的改进扩散策略,与一致性控制方法相比,在相同延时的情况下改进扩散策略能够保证更快的收敛速度和更高的稳定性。多个场景的仿真结果验证了所提策略的正确性和有效性。