基于改进深度确定性策略梯度算法的微电网能量优化调度

针对微电网中分布式发电设备存在输出不确定性和间歇性问题，以及传统的深度确定性策略梯度算法存在收敛速度慢、鲁棒性差、容易陷入局部最优的缺点。本文提出了一种基于优先经验回放的深度确定性策略梯度算法，以微电网系统运行成本最低为目标，实现微电网的能量优化调度。首先，采用马尔可夫决策过程对微电网优化问题进行建模；其次，采用Sumtree结构的优先经验回放池提升样本利用效率，并且应用重要性采样来改善状态分布对收敛结果的影响。最后，本文利用真实的电力数据进行仿真验证，结果表明，提出的优化调度算法可以有效地学习到使微电网系统经济成本最低的运行策略，所提出的算法总运行时间比传统算法缩短了7.25%,运行成本降低了31.5%。     

基于改进DDPG的多能园区典型日调度研究

电-气-热综合能源系统(powergasheatintegrated energy system,IPGHES)中可再生能源出力的波动性、负荷需求的随机性、热水环流的动态特性给调度过程带来了诸多挑战，传统的随机调度方法无法适应综合能源系统负荷和可再生能源的多样性。针对以上问题，提出一种基于改进深度确定性策略梯度(improveddeepdeterministicpolicy gradient,IDDPG)算法的典型日调度方法，灵活处理供需过程中的随机性问题。首先将优先级经验回放(prioritized experience replay,PER)机制加入到DDPG的经验池中以区分不同经验的价值，并将采用方差递减高斯过程的OU随机噪声加入到策略网络参数向量中，提高探索性能，使用二阶振荡贝叶斯(secondorderoscillatory-Bayesian,SOO-Bayes)算法对结构参数进行调节，然后构建以能源交换、设备折旧、供需不平衡量为成本的与IDDPG数据交互的园区动态IPGHES模型后，定义状态空间、调度动作以及奖励函数，继而根据IDDPG对工作日与双休日进行决策调度分析与比对...     

基于改进TD3算法的综合能源系统低碳经济调度

在用传统调度方法进行综合能源系统低碳经济调度时会面临数据维数高、建模难度大等困难。虽然用基于数据驱动自适应挖掘物理模型的深度强化学习算法有希望克服这些困难,且其中确定性策略梯度算法尤其适用于连续决策变量问题的求解,但该算法在实际应用时存在训练效率普遍较低的问题。对此,提出了一种基于改进双延迟深度确定性策略梯度算法的调度决策模型。首先基于综合能源系统低碳经济调度特性建立序贯马尔可夫决策过程模型;进而应用改进双延迟深度确定性策略梯度算法构建并训练神经网络,避免过估计并提高网络输出稳定性。同时,为提升网络训练效率,以求和树对训练过程中的历史经验数据进行存储和经验回放采样。实验结果表明,所提方法能对综合能源系统低碳经济调度问题进行有效求解,且比传统强化学习算法表现更优。     

主动配电网日前-实时调度策略研究

主动配电网(Active Distribution Network,AND)是充分消纳分布式电源以及满足配电系统供电可靠性的关键。针对分布式电源种类多样化以及规模扩大化的特点,提出了基于多代理系统(Multi-agent System,MAS)的ADN日前-实时调度策略。该策略运用多代理技术对ADN进行分区管控,构建ADN日前-实时优化调度模型,使ADN调度在空间与时间层面上实现解耦。通过建立日前调度和实时调度模型,保证日前优化运行的经济性以及实时优化调度的即时性;选取微分进化算法(Differential Evolution,DE)作为模型的求解工具;通过IEEE33节点算例仿真形成ADN日前优化调度策略,并在该策略的基础上选取典型时间段面进行实时优化;仿真结果验证所提策略的可行性与有效性。     

基于多智能体深度确定策略梯度算法的有功-无功协调调度模型

实现有功-无功协调调度是促成"未来一体化大电网调控系统"建设中的关键一环.为解决调度中存在反复调节、难以协调冲突等问题,采用多智能体技术,智能组织多种有功调控资源和无功调控资源,建立电网有功-无功协调调度模型;为解决电力系统环境在多智能体探索过程中出现的不稳定问题,采用多智能体深度确定策略梯度算法,设计适用于有功-无功协调调度模型的电力系统多智能体环境,构造智能体状态、动作和奖励函数.通过算例仿真和对比分析,验证所提模型及算法的有效性.     

考虑微电网参与的主动配电网分区 自动电压控制策略

由于可再生能源出力的间歇性与随机性给配电网电压控制带来了挑战,因此本文提出了一种考虑微电网参与的主动配电网(ADN)无功电压分区与控制策略。通过潮流计算,获得电压灵敏度矩阵,采用聚类算法构建分布式微电网在ADN中的控制空间,确定微电网主导的可控区域集合。在自动电压控制(AVC)系统的框架上,提出了考虑微电网参与电压柔性控制的AVC系统。通过该系统可合理调度微电网与传统无功补偿设备协调运行,并对ADN进行无功补偿,实现控制区域柔性且快速的自动电压控制,提升ADN电压质量。最后,通过IEEE33节点系统验证了所提策略的有效性。     

基于专家示范深度强化学习的光伏系统MPPT控制

提出一种基于专家示范的深度确定性策略梯度算法(ED-DDPG)的MPPT算法，该算法将最大功率点跟踪问题转化为马尔科夫决策过程(MDP)，选择基于连续动作空间的深度确定性策略梯度算法(DDPG)训练MPPT控制算法，来提高输出电压的控制精度，并基于专家示范改进了DDPG算法，使其在强化学习算法的经验池中预先加入传统方法的经验，从而加快算法神经网络训练的收敛速度。该算法解决了传统MPPT算法在面对温度、光照不断变化的复杂环境下动态效率较低的问题，解决了深度确定性策略梯度算法(DDPG)在求解MPPT问题时训练时间过长、收敛难度较大的问题。算例表明该算法在EN50530标准下MPPT动态效率平均达到97.3%，具有较强的鲁棒性。     

考虑可再生能源跨区域消纳的主动配电网多目标优化调度

提高对可再生能源的综合利用能力是主动配电网(ADN)运行控制面临的新增重要任务。为此,提出了一种面向促进可再生能源跨区域消纳的ADN多目标运行优化方法。首先,基于并网接口模型,推导了集中控制模式下分布式发电(DG)的有功、无功功率解耦可调范围,并提出考虑可再生能源跨区域消纳的ADN能量管理策略。在此基础上,分别以系统运行成本、可再生能源发电功率削减量以及系统网损三方面最小化作为目标,构建ADN多目标优化调度模型。该模型综合考虑了DG有功、无功出力控制、储能设备充放电以及可中断负荷的调用,并详细分析了网络潮流和分布式资源特性两方面的约束及其多时段耦合特征。鉴于所建模型具有高维、非线性特点,采用基于启发式策略的多目标和声搜索算法实现高效求解。以扩展的33节点配网系统为例,验证了所提模型的有效性以及ADN运行中计及可再生能源DG无功控制潜力的必要性。     

基于深度强化学习的微电网优化运行策略

风电、光伏、负荷的不确定性给含有高比例可再生能源的微电网制定运行策略带来了挑战,人工智能技术的发展为解决微电网运行优化问题提供了新思路。基于强化学习框架,将微电网运行问题转化为马尔可夫决策过程,以最大化微电网经济利益和居民满意度为目标,提出一种基于深度强化学习的微电网在线调度方法。为了在深度强化学习训练的过程中高效利用经验,设计一种优先经验存储的深度确定性策略梯度(PES-DDPG)算法,学习各类环境下不同时段的微电网最优调度策略。算例结果表明,PES-DDPG算法能够为微电网提供有效的调度策略,并实现微电网的实时优化。     

基于深度强化学习的自适应不确定性经济调度

当风电、光伏等间歇性电源大规模接入电力系统时,为应对其出力的不确定性,电力系统经济调度模型需建立在对不确定性建模的基础上,建模精确度将直接影响调度结果的精确度。但当系统同时包含风电、光伏和负荷复杂的不确定性时,对系统整体不确定性进行精确建模显得尤为困难。针对这一问题,引入深度强化学习中深度确定性策略梯度算法,避免对复杂的不确定性进行建模,利用其与环境交互、根据反馈学习改进策略的机制,自适应不确定性的变化。为确保算法适用性,进行了模型泛化方法的设计,针对算法稳定性问题进行了感知-学习比例调整和改进经验回放的机制设计。算例结果表明,所提方法能在自适应系统不确定性的基础上,实现任意场景下的电力系统动态经济调度。     

基于场景分析的有源配电系统有功无功协调鲁棒优化策略

考虑有源配电系统在运行经济性和安全性方面的要求,以及功率不确定性对系统运行的影响,提出基于场景分析的有源配电系统有功无功协调鲁棒优化策略。首先考虑系统中可调资源的有功无功功率极限,建立有源配电系统确定性有功无功协调优化模型,在此基础上,考虑功率预测误差对有源配电系统决策的影响,建立考虑不确定性的协调优化模型,采用场景分析方法生成典型场景集,从中寻找可能出现的最恶劣场景,并求得其对应的有功无功协调鲁棒优化调控策略。通过IEEE 14节点配电系统算例结果验证所提方法在应对功率波动不确定性方面的鲁棒性,以及有功无功协调优化在提升系统安全性方面的优势。     

基于深度强化学习的电-气区域综合能源系统安全校正控制决策方法

电–气区域综合能源系统电、气相互耦合与影响,使得其安全校正控制难度大且对快速性要求高,为此,提出一种基于深度确定性策略梯度(deepdeterministicpolicy gradient,DDPG)算法的安全校正控制决策方法。首先,进行系统多能流与变量分析,建立安全校正控制的目标与约束条件。然后,构建基于DDPG的安全校正控制模型,设计目标奖励和各种约束条件奖励,提出结合基于综合灵敏度的安全校正知识经验设计目标奖励函数,使调整具有方向性,且目标奖励考虑能量枢纽(energy hub,EH)的经济效益及其可再生能源消纳;通过智能体离线训练,使其能够在线做出实时最优的安全校正控制策略,预先产生专家经验数据集存放于经验回放池,提高训练速度和收敛性。最后,通过含EH电–气区域综合能源系统仿真算例验证了所提方法的有效性。     

基于深度确定性策略梯度算法的风光储系统联合调度策略

针对风光储联合系统的调度问题,提出了一种基于深度强化学习的风光储系统联合调度模型。首先,以计划跟踪、弃风弃光以及储能运行成本最小为目标,建立了充分考虑风光储各个场站约束下的联合调度模型。然后,定义该调度模型在强化学习框架下的系统状态变量、动作变量以及奖励函数等,引入了深度确定性策略梯度算法,利用其环境交互、策略探索的机制,学习风光储系统的联合调度策略,以实现对联合系统功率跟踪,减少弃风弃光以及储能充放电。最后,借用西北某地区风电、光伏、跟踪计划的历史数据对模型进行了训练和算例分析,结果表明所提方法可以较好地适应不同时期的风光变化,得到在给定风光下联合系统的调度策略。     

基于数据驱动与物理模型的主动配电网双时间尺度协调优化

高比例间歇性分布式电源与电动汽车接入配电网时，容易导致功率与电压频繁、快速、剧烈波动。文中结合数据驱动与物理建模方法，提出了一种配电网双时间尺度有功无功协调优化策略。针对短时间尺度（分钟级或秒级）的功率波动，以静止无功补偿器、分布式电源无功功率为决策变量，以网损最小为目标函数，计及物理约束，针对平衡与不平衡配电网分别构建了二阶锥与二次规划模型。针对长时间尺度（小时级）的优化，以有载调压变压器分接头变比、可投切电容电抗器挡位、储能系统充放电功率为动作，以网损为代价，计及节点电压越限惩罚，构建了马尔可夫决策过程。为克服连续-离散动作空间维数灾，采用一种基于松弛-预报-校正的深度确定性策略梯度强化学习求解算法。通过IEEE 33节点与IEEE 123节点配电系统验证了所提方法的有效性。     

基于RG-DDPG的直流微网能量管理策略

针对分布式能源的随机性和间歇性给直流微网能量管理带来的巨大挑战，提出一种基于奖励指导深度确定性策略梯度（reward guidance deep deterministic policy gradient,RG-DDPG）的直流微网能量管理策略。该策略将直流微网的优化运行描述为一个马尔科夫决策过程，利用智能体与直流微网环境间的持续交互，自适应地学习能量管理决策，实现直流微网能量的优化管理。在策略训练过程中，采用基于时序差分误差（temporal difference error,TD-error）的优先经验回放机制减少RG-DDPG在直流微网运行环境中学习、探索的随机性和盲目性，提升所提能量优化管理策略的收敛速度。同时，在训练回合间利用累计奖励的大小构造直流微网能量管理的优秀回合集，加强RG-DDPG智能体在训练回合间的联系，最大化利用优秀回合的训练价值。算例仿真结果表明：所提策略能够实现直流微网内能量的合理分配。相较于基于深度Q网络（deep Q-network,DQN）和粒子群算法（particle swarm optimization,PSO）的能量管理策略，所提策略能使直流微网...     

主动配电网的日前-日内两阶段优化调度

针对主动配电网的日前-日内两阶段优化调度问题,首先构建了配电管理系统总揽全局、区域调控终端负责分区的调控框架。采用经济性与安全性协调统一的两阶段调度策略:日前执行经济调度,降低主动配电网(active distribution network,ADN)运行成本;日内阶段正常时各子区域跟踪日前计划进行分区局部修正,存在电压越限时DMS执行系统全局调整以消除越限。建立了日前经济调度、日内分区局部功率修正与系统全局电压调整的数学优化模型,并采用和声搜索算法来求解调度模型。最后通过算例分析,验证了所提调度方法能够适用于日前-日内两个阶段,保障ADN经济安全运行。     

基于确定性策略梯度深度强化学习和模仿学习的多源微电网经济优化调度策略

当前国家大力实施“双碳”战略,以新能源为主体的新型电力系统将呈现爆发式增长,风电、光伏等新能源机组逐渐成为主力电源,微电网得以提出并迅速发展,其调度与优化问题也成为研究的热点。传统的基于数学建模与求解的微电网有功优化调度方法计算量大且十分复杂,存在易陷入局部最优、模型修改困难等瓶颈问题,因此提出基于确定性策略梯度深度强化学习(DDPG)和模仿学习(XGBoost)的经济优化调度策略。首先构建微电网有功优化调度的统一预置数学模型,其次通过构建XGBoost模型学习得到初始宏观决策,最后再构建基于DDPG的微电网有功调度人工智能模型。通过进行XGBoost分类器和DDPG神经网络离线训练,得出基于确定性策略梯度深度强化学习和模仿学习的微电网优化调度在线决策模型,最后通过算例分析验证了模型和算法的有效性。     

含微电网的主动配电网分级优化运行策略

分布式电源（DG）在主动配电网（ADN）中的渗透率越来越高，使ADN的调度变得日益复杂。随着微电网（MG）技术的发展，本文提出将MG看作一个独立的调度单元，参与到ADN的分级优化调度中。采用将有功和无功解耦的方法，有功优化阶段以配电网运行成本最小为目标，无功优化阶段以系统网损最低为目标，再将无功优化阶段计算出的系统网损代入有功优化的功率平衡约束条件中，反复计算得出ADN的最优运行策略。在有功优化问题上，分别采用启发式优化算法（Heuristic algorithm）和传统线性规划（Linear programming）法，并将两者的计算结果进行对比。最后以改造的IEEE-33节点配电网系统作为算例进行仿真分析，算例结果表明，所提出的分级优化调度方法大大降低了问题的计算难度，与传统线性规划法相比，采用启发式优化算法能更有效地减少系统运行成本。     

基于深度确定性策略梯度算法的配电网最优电压实时控制

随着光伏发电在配电网中的渗透率逐渐增大,在降低系统网损和全社会的碳排放量的同时,也导致了电压出现时段性越限等问题,而电压安全对配电网的稳定运行有重要意义。提出了一种基于深度确定性策略梯度（deep determi-nistic policy gradient,DDPG）算法的电压控制策略。研究了太阳能光伏逆变器在配电网无功电压优化中的作用;以配电网有功损耗最小化为目标函数,同时考虑到逆变器的无功补偿能力,提出了一种基于深度确定性策略梯度算法的配电网电压控制策略;利用修改后的IEEE33节点算例对所提策略的有效性进行验证,仿真结果表明：DDPG算法学习所得策略可以动态调节各光伏逆变器的无功输出,从而实现控制电压安全的目标,并且与调控前相比系统网络耗损减少了13.5%。     

主动配电网背景下无功电压控制方法研究综述

介绍了主动配电网(ADN)背景下分布式电源(DG)接入对配电网电压分布和电压稳定性影响,从电网结构优化调压措施、电网设备的调压措施、电力系统无功优化调度调压措施等方面阐述了ADN无功电压控制方法。基于当前研究现状,总结了现有关于ADN无功电压控制研究存在的不足,并指出了在未来亟待解决的几个问题。