基于深度强化学习的微电网在线优化

针对微电网的随机优化调度问题,提出了一种基于深度强化学习的微电网在线优化算法。利用深度神经网络近似状态-动作值函数,把蓄电池的动作离散化作为神经网络输出,然后利用非线性规划求解剩余决策变量并计算立即回报,通过Q学习算法,获取最优策略。为使得神经网络适应风光负荷的随机性,根据风电、光伏和负荷功率预测曲线及其预测误差,利用蒙特卡洛抽样生成多组训练曲线来训练神经网络;训练完成后,保存权重,根据微电网实时输入状态,神经网络能实时输出蓄电池的动作,实现微电网的在线优化调度。在风电、光伏和负荷功率发生波动的情况下与日前优化结果进行对比,验证了该算法相比于日前优化在微电网在线优化中的有效性和优越性。     

基于免疫进化算法的粒子群算法在梯级水库优化调度中的应用

针对高维、复杂的梯级水库优化调度在求解时易出现"维数灾"或陷入局部最优解的问题,本文提出了基于免疫进化算法的粒子群优化算法,该算法充分利用了免疫进化算法的全局搜索特性和粒子群算法的局部搜索能力,克服了粒子群寻优中对初始种群的依赖和易陷入局部最优的不足.通过实例计算表明,应用该算法求解梯级水库优化调度问题,结果可靠、合理,计算效率高,从而为求解高维,复杂的梯级水库优化调度提供了新的思路.     

基于改进TD3算法的综合能源系统低碳经济调度

在用传统调度方法进行综合能源系统低碳经济调度时会面临数据维数高、建模难度大等困难。虽然用基于数据驱动自适应挖掘物理模型的深度强化学习算法有希望克服这些困难,且其中确定性策略梯度算法尤其适用于连续决策变量问题的求解,但该算法在实际应用时存在训练效率普遍较低的问题。对此,提出了一种基于改进双延迟深度确定性策略梯度算法的调度决策模型。首先基于综合能源系统低碳经济调度特性建立序贯马尔可夫决策过程模型;进而应用改进双延迟深度确定性策略梯度算法构建并训练神经网络,避免过估计并提高网络输出稳定性。同时,为提升网络训练效率,以求和树对训练过程中的历史经验数据进行存储和经验回放采样。实验结果表明,所提方法能对综合能源系统低碳经济调度问题进行有效求解,且比传统强化学习算法表现更优。     

电量约束比条件下梯级水电站短期优化调度研究

梯级水库的发电调度问题本质上是一个高度非线性的数学规划问题,并且随着梯级规模的增大,其解空间变得极其庞大且无规则,这给梯级水库优化调度计算带来了巨大障碍。本文结合四川省某流域梯级电站的实际背景,把该梯级水电站发电收入最大作为目标函数,建立了包含约束条件的优化调度模型,运用逐步优化算法(POA)对模型进行寻优,克服了动态规划算法的"维数灾"问题,并考虑了电量约束比问题,最后给出了短期优化调度算例结果与分析,具有一定的实际应用价值。     

基于云变异人工蜂群算法的梯级水库群优化调度

针对求解高维、复杂的梯级水库优化调度时易出现"维数灾"或陷入局部最优解的问题,本文提出了一种混合优化算法。该算法结合云模型思想对人工蜂群算法进行了改进,克服了人工蜂群算法寻优中易于"早熟"的缺点,保持了后期种群的多样性,提高了全局搜索能力。实例计算表明,利用该混合算法求解梯级水库优化调度问题与传统算法比较,结果可靠合理,计算效率高,从而为求解高维、复杂的梯级水库优化调度问题提供了一条新的思路。     

适用于大规模充电场站的深度强化学习有序充电策略

针对大型充电场站内规模化电动汽车的有序充电问题,提出一种基于双深度Q网络（DDQN）深度强化学习方法的电动汽车充电安排策略,能有效计及电动汽车出行模式和充电需求的不确定性,实现充电场站充电成本最小化的目标。首先,对电动汽车泊车时间和充电需求特征进行提取;其次,为解决维数灾问题,提出一种“分箱”方法和充电次序优化策略以控制状态和动作空间的大小,从而建立了一种适用于大规模电动汽车有序充电的马尔可夫决策过程（MDP）模型;然后,应用DDQN的强化学习算法对电动汽车有序充电策略进行求解;最后,通过仿真算例验证了所提方法的有效性,不仅能有效减少充电场站的充电成本,而且能使模型训练难度不受电动汽车规模影响。     

改进的多层次优化算法在水库群优化调度中的应用

随机动态规划(SDP)方法是水库优化调度的基本方法,但将其应用于包含有多年调节水库的水库群的优化调度时会引起"维数灾"问题,并且难以反映多年调节水库调节周期不定的特点。针对这种情况,本文提出多层次的改进遗传模拟退火优化算法(IGA-SA),把库群优化问题分解为第1层次的SDP优化与第2层次的IGA-SA优化,从而获得库群的优化调度结果,并应用于贵州乌江梯级水库群中长期发电优化调度研究中,取得较好的结果。实践表明,该方法可以克服随机动态规划应用中遇到的"维数灾"问题,并给包含有多年调节水库的水库群的优化调度问题研究提供了有效的工具。     

基于分层强化学习的电动汽车充电引导方法

为了有效解决电动汽车充电目的地优化和充电路径规划问题,以及充电引导的在线实时决策问题,建立了考虑多种不确定因素的电动汽车充电引导双层优化模型,提出了一种基于分层增强深度Q网络强化学习(HEDQN)的电动汽车充电引导方法。所提HEDQN算法采用基于Huber损失函数的双竞争型深度Q网络算法,并包含2层增强深度Q网络(eDQN)算法。上层eDQN用于对电动汽车充电目的地的优化;在此基础上,下层eDQN用于对电动汽车充电路径的实时优化。最后,在某城市交通网络中对所提HEDQN算法进行仿真验证,仿真结果表明相比基于Dijkstra最短路径的就近推荐算法、单层深度Q网络强化学习算法和传统的分层深度Q网络强化学习算法,所提HEDQN算法能够有效降低电动汽车充电费用,实现电动汽车在线实时的充电引导。此外还验证了所提HEDQN算法在仿真环境变化后的适应性。     

基于多智能体深度强化学习的分布式电源优化调度策略

针对分布式电源集中优化调度难以解决隐私保护的问题,提出一种基于多智能体深度强化学习的分布式优化调度方法。该方法可自适应源荷不确定性,在源荷随机波动的情况下实时给出优化调度策略。首先,阐述了基于通信神经网络架构的多智能体深度强化学习方法原理。然后,提出基于多智能体深度强化学习的分区分布式优化调度框架,以日运行成本最低为目标构建日前优化调度模型,并考虑各种运行约束。继而,采用近端策略优化算法对该模型进行离线训练,利用训练好的模型进行在线优化调度决策。最后通过改进IEEE33节点算例进行仿真验证,结果表明,各自治区域在仅利用局部通信的情况下即可计算出各自的近似全局最优解。     

基于状态转移矩阵的梯级水库优化调度确定性离散动态规划方法

基于状态转移矩阵的确定性离散动态规划（DDDP）方法是在考虑水库运行的综合利用的前提下,利用状态转移矩阵寻找出梯级水库优化调度过程中所有的可行策略,基于目标函数逆向搜索可行策略,得出最优解的优化算法。该方法可进行单库优化计算,也可以进行梯级水电站优化计算。文中以锦屏梯级为例,说明该方法可在满足梯级水库上下游生态用水、发电用水等综合利用的前提下,以梯级水电站发电效益最大为目标,求得梯级水库优化调度的较好解。     

基于深度强化学习的主动配电网高恢复力决策方法

随着全球极端天气事件频发,电力系统在极端自然灾害下恢复力的研究日益受到关注。本文提出基于深度强化学习的高恢复力决策方法,将极端灾害下配电网运行状态和线路故障状态作为观测状态集合,自学习智能体Agent在当前环境观测状态下寻求可行的决策策略进行动作,定义自学习Agent的回报函数以进行动作评价;采用观测状态数据,开展基于竞争深度Q网络(dueling deep Q network,DDQN)的深度强化学习(deep reinforcement learning,DRL)训练,智能体Agent通过试错学习方式选择动作,试错经验在估值函数Q矩阵中存储,实现状态到主动配电网实时故障恢复策略的非线性映射;最后结合改进的IEEE 33节点算例,基于蒙特卡罗法仿真随机故障场景,对所提出方法生成的故障恢复随机优化决策进行分析。结果表明:通过主动配电网的分布式电源、联络开关和可中断负荷的协调优化控制,可以有效提升极端灾害下供电能力。     

计及安全约束的综合能源系统深度强化学习优化调度策略研究

在“双碳”背景下,综合能源系统多能耦合与梯级利用已成为助力“双碳”目标实现的重要手段。综合能源系统优化运行是一个涉及非线性、非凸的复杂问题,传统求解方法在获得全局优化调度策略上存在一定困难。同时,随着光伏、风电等可再生能源渗透率不断提高以及网络拓扑日趋复杂进一步加剧了该问题的求解难度。强化学习为解决上述问题提供了有效途径,然而目前大部分关于强化学习优化调度的研究较少考虑系统整体安全约束,因此,该文基于深度强化学习构建了考虑安全约束的综合能源系统优化调度模型。首先,将电网与热网潮流约束融入到传统综合能源系统优化调度模型中,实现了对调度策略的安全校验。其次,基于深度强化学习理论将物理调度问题转化为强化学习序贯决策问题,改进了智能体的状态空间、动作空间及奖励函数的设计方法。最后,在离线与在线环境中实现了优化调度决策的求解与应用,并通过算例对比与分析验证了所提方法的有效性与合理性。     

基于优势柔性策略-评价算法和迁移学习的区域综合能源系统优化调度

为提高清洁能源消纳率及减少碳排放对环境的污染，实现更具泛化能力、鲁棒性和高效性的区域综合能源系统优化调度，该文提出了基于优势柔性策略–评价(advantage learning soft actor-critic,ALSAC)算法和迁移学习的区域综合能源系统优化调度方法。利用环境信息与智能体进行通信交互，以低碳、经济为目标实现区域综合能源系统的优化调度。在文中分析了提升柔性策略–评价(soft actor-critic,SAC)鲁棒性的最大熵机制，并与基于策略梯度的多种深度强化学习算法和启发式算法进行了性能对比，随后将优势学习的思想引入SAC的Q值函数更新中，解决了算法对Q值的过估计问题，提升了算法的性能。为提高智能体的学习效率和应对新场景的泛化能力，加入了迁移学习的参数迁移。算例表明，基于ALSAC算法和迁移学习的优化调度策略具有较好的鲁棒性、泛化能力和高效的学习效率，实现区域综合能源系统的灵活高效调度。     

基于深度学习的三峡水库实时防洪调度模型北大核心CSCD

水库实时调度需要考虑多种约束条件及综合目标,具有较高复杂度。本文以三峡水库实时防洪调度为研究对象,提出一种基于深度学习的水库实时防洪调度模型。研究模拟三峡水库实时调度过程,生成训练样本数据。基于样本数据生成高维张量输入数据,通过网络参数训练提取高维数据特征以学习拟合水库实时调度模式。基于深度卷积神经网络实时调度模型在训练过程中提取闸门数据特征,模型中采用强化学习算法,迭代优化模型参数,随着样本数据不断更新,通过在线学习实现最优调度决策。实例研究表明,水位实时控制和下泄流量实时控制模型模拟的下泄流量与实际数据相对误差分别为1.4%和1.0%左右,该深度学习模型有较好的收敛性,能够应用于水库实时调度。     

基于柔性策略-评价网络的微电网源储协同优化调度策略

近年来,微电网中的可再生能源与储能占比不断增大,给其优化调度带来了新的挑战。针对微电网源储协同调度问题中非凸非线性约束带来的求解困难,利用深度强化学习算法构建基于数据的策略函数,通过不断地与环境进行交互学习寻找最优策略,避免了对原非凸非线性问题的直接求解。考虑到训练过程中策略函数可能不满足安全约束,进一步提出了一种利用部分模型信息的微电网源储协同优化调度安全策略学习方法,得到了满足网络安全约束的优化策略。此外,针对强化学习的智能体在训练过程中与环境的交互耗时较长的问题,采用神经网络对环境进行建模以提高学习效率。     

基于免疫克隆选择算法的水电站水库优化调度

在研究了人工免疫系统中的克隆选择学说和克隆选择算法的基础上,研究了1种新的人工免疫算法——免疫克隆选择算法,并将其应用到水库优化调度中,提出了1种基于免疫克隆选择算法的水库优化调度方法.该算法通过在克隆选择算法中引入免疫基因操作,提高了算法的求解精度和求解效率,避免了“维数灾”和早熟问题.实例研究结果表明,相对于动态规划,免疫克隆选择算法计算速度快、收敛性好,提高了计算效率,较好地解决了传统的动态规划方法求解水库(群)优化调度问题存在“维数灾”问题.     

基于深度强化学习的微电网优化运行策略

风电、光伏、负荷的不确定性给含有高比例可再生能源的微电网制定运行策略带来了挑战,人工智能技术的发展为解决微电网运行优化问题提供了新思路。基于强化学习框架,将微电网运行问题转化为马尔可夫决策过程,以最大化微电网经济利益和居民满意度为目标,提出一种基于深度强化学习的微电网在线调度方法。为了在深度强化学习训练的过程中高效利用经验,设计一种优先经验存储的深度确定性策略梯度(PES-DDPG)算法,学习各类环境下不同时段的微电网最优调度策略。算例结果表明,PES-DDPG算法能够为微电网提供有效的调度策略,并实现微电网的实时优化。     

基于方向自学习遗传算法的水库优化调度

本文提出一种方向自学习遗传算法并用于水库优化调度问题.在传统遗传算法基础上引入方向自学习机制,克服标准遗传算法收敛速度慢,早熟收敛等缺点.该算法在局部搜索中引入方向信息,利用函数的伪梯度来指导搜索方向,提出一种消亡算子用以增加种群多样性,有效地避免了早熟收敛、提高了算法的收敛速度,避免了水库优化调度同题中的维数灾问题.实例计算表明,相对于传统的遗传算法,方向自学习遗传算法计算速度快、收敛性好,提高了计算效率,较好的解决了传统遗传算法求解水库优化调度时存在的一些问题.     

基于确定性策略梯度深度强化学习和模仿学习的多源微电网经济优化调度策略

当前国家大力实施“双碳”战略,以新能源为主体的新型电力系统将呈现爆发式增长,风电、光伏等新能源机组逐渐成为主力电源,微电网得以提出并迅速发展,其调度与优化问题也成为研究的热点。传统的基于数学建模与求解的微电网有功优化调度方法计算量大且十分复杂,存在易陷入局部最优、模型修改困难等瓶颈问题,因此提出基于确定性策略梯度深度强化学习(DDPG)和模仿学习(XGBoost)的经济优化调度策略。首先构建微电网有功优化调度的统一预置数学模型,其次通过构建XGBoost模型学习得到初始宏观决策,最后再构建基于DDPG的微电网有功调度人工智能模型。通过进行XGBoost分类器和DDPG神经网络离线训练,得出基于确定性策略梯度深度强化学习和模仿学习的微电网优化调度在线决策模型,最后通过算例分析验证了模型和算法的有效性。     

基于近端策略优化算法的新能源电力系统安全约束经济调度方法

针对高比例新能源接入导致电力系统安全约束经济调度难以高效求解的问题,该文提出了一种基于近端策略优化算法的安全约束经济调度方法。首先,建立了新能源电力系统安全约束经济调度模型。在深度强化学习框架下,定义了该模型的马尔科夫奖励过程。设计了近端策略优化算法的奖励函数机制,引导智能体高效生成满足交流潮流以及N-1安全约束的调度计划。然后,设计了调度模型与近端策略优化算法的融合机制,建立了调度训练样本的生成与提取方法以及价值网络和策略网络的训练机制。最后,采用IEEE 30节点和IEEE 118节点2个标准测试系统,验证了本文提出方法的有效性和适应性。