基于强化学习的智慧社区广义负荷协同互动调度策略

随着低碳经济在电力行业的发展,居民的节能环保意识逐步提高。针对智慧社区广义负荷灵活调度的问题,研究了基于强化学习框架的智慧社区广义负荷协同互动调度策略。基于智能电表和智能设备的数据来实现负荷管理和能源消费优化,通过分析智慧社区的负荷特性和用户的用电偏好,建立了广义负荷和储能充放电模型,构建了基于深度强化学习框架的能量管理模型,并提出一种基于柔性动作-评价（soft actor-critic,SAC）的社区能量管理方法来求解低碳社区的优化调度策略。研究结果表明,智慧社区广义负荷协同互动调度策略能够显著降低能源消费成本,同时有效减少社区碳排放。     

面向综合能源系统的多区域AC协调控制策略

为解决综合能源系统背景下电网面临的不断加重的随机扰动问题,从自动发电控制角度提出一种基于actor-critic结构的多网络激励深度强化学习方法(multiple incentive actor-critic,MIAC),作为自动发电控制的控制策略。考虑控制过程中的优化目标决策,通过AC策略的激励式启发更新机制,提高策略挖掘质量和经验探索效率,同时采用一种相对最小化Q值函数价值的更新方式以降低寻优偏差,引导策略目标趋向探索和利用的均衡,进而获取自动发电控制的最优协同控制。通过对改进的IEEE标准两区域电力系统模型和综合能源系统模型进行仿真,结果表明,所提MIAC策略具有良好的动态控制性能和迁移泛化能力,能实现对复杂电网强扰动环境的快速适应和稳定优化,能有效解决综合能源系统背景下的随机扰动问题。     

多主体参与可再生能源消纳的Nash博弈模型及其迁移强化学习求解

随着可再生能源产业不断壮大,可再生能源消纳问题日益凸显。为了充分挖掘源–网–荷–储联合运行的灵活性调节能力,提高可再生能源的消纳水平,该文提出一种基于灵活性平衡理论的可再生能源消纳策略。通过Nash博弈实现参与消纳的各主体相互利益达到均衡,并提出一种多智能体迁移强化学习算法。该算法采用了多种人工智能技术,包括基于Nash-Q学习的强化学习技术、资格迹更新技术和迁移学习技术,使学习方式更加灵活、效用更广泛、泛化能力更强。通过算例仿真验证了所提算法在保证最优解质量的同时,具有快速求解的能力,非常适用于求解多主体参与可再生能源消纳问题。     

计及安全约束的综合能源系统深度强化学习优化调度策略研究

在“双碳”背景下,综合能源系统多能耦合与梯级利用已成为助力“双碳”目标实现的重要手段。综合能源系统优化运行是一个涉及非线性、非凸的复杂问题,传统求解方法在获得全局优化调度策略上存在一定困难。同时,随着光伏、风电等可再生能源渗透率不断提高以及网络拓扑日趋复杂进一步加剧了该问题的求解难度。强化学习为解决上述问题提供了有效途径,然而目前大部分关于强化学习优化调度的研究较少考虑系统整体安全约束,因此,该文基于深度强化学习构建了考虑安全约束的综合能源系统优化调度模型。首先,将电网与热网潮流约束融入到传统综合能源系统优化调度模型中,实现了对调度策略的安全校验。其次,基于深度强化学习理论将物理调度问题转化为强化学习序贯决策问题,改进了智能体的状态空间、动作空间及奖励函数的设计方法。最后,在离线与在线环境中实现了优化调度决策的求解与应用,并通过算例对比与分析验证了所提方法的有效性与合理性。     

基于自适应强化探索悲观Q的多智能体协同AGC算法

双碳目标下规模化可再生能源和柔性负荷的接入，使得电力系统中新能源占比日益增大。而传统的控制方法无法充分调动源–网–荷–储各部分的能动性，给电网带来愈来愈差的控制性能。因此本文从自动发电控制的角度，提出一种自适应强化探索悲观Q的多智能体协同算法，以提高源网荷储协同系统的控制性能。算法中所采用的悲观Q学习通过选择多个动作值估计器中最小动作值，不仅能够解决传统Q学习在动作探索过程中动作值的估计偏差，而且能够控制动作值估计偏差从正到负的变化，有助于提高算法的控制精度。同时自适应强化探索策略的引入，代替了传统Q学习中ε-贪婪策略，能够避免重复和不平衡的探索。通过对改进的IEEE标准两区域负荷频率控制模型和源网荷储协同系统模型进行仿真，验证了所提算法的有效性，且与传统强化学习相比，具有更高的CPS性能、更小的频率偏差、更小的区域控制误差和更快的收敛速度。     

基于改进樽海鞘群算法的区域综合能源系统优化调度

为降低区域综合能源的碳排放量,提高其经济性,文中建立了以运行成本和环境成本最小为目标函数的区域综合能源系统优化调度模型。利用莱维飞行和非线性收敛因子策略对樽海鞘群算法进行改进,得到改进樽海鞘群算法,提升了算法的全局搜索性能和收敛能力。采用改进樽海鞘群算法对区域综合能源系统优化调度模型进行求解,结果表明,改进樽海鞘群算法在经过47次迭代后就找到了最优解为2 536.24元,相比其他算法,迭代次数和收敛时间更少,求解精度更高。根据改进樽海鞘群算法的调度方案,各设备出力合理,系统运行的经济性和环保性较好,验证了所提区域综合能源系统优化调度模型和求解方法的实用性。     

基于柔性行动器–评判器深度强化学习的电–气综合能源系统优化调度

多能流协同优化调度是实现综合能源系统高效经济运行的核心技术之一。面向电–气综合能源系统运行优化问题,提出一种基于柔性行动器-评判器框架的深度强化学习方法,通过智能体与能源系统的交互,自适应学习控制策略。该方法可实现多能流系统的连续动作控制,且能够灵活处理风电、光伏、多能负荷等源荷不确定性问题,实现多场景下的电-气综合能源优化调度决策。首先,构建面向电-气综合能源系统调度的强化学习基本框架,介绍柔性行动器-评判器强化学习的基本原理;然后,构建与智能体交互的电-气综合能源系统环境模型,设计深度强化学习的动作与状态空间、奖励机制、神经网络结构、学习流程等关键环节;最后,针对2个电-气综合能源系统算例进行强化学习优化调度结果分析。     

基于深度Q学习的强鲁棒性智能发电控制器设计

在现代互联大电网背景下,研究了多区域强鲁棒性的智能发电控制策略。在Q学习的架构下,将深度神经网络的预测机制作为强化学习的动作选择机制,提出了一种具有强鲁棒性的深度Q学习算法,设计了基于该算法的智能发电控制器。针对智能电网下的智能发电控制问题,在多智能体系统的框架下采用所提深度Q学习算法进行控制,并与传统的PID、Q学习和Q(λ)算法进行对比。在IEEE标准2区域和以南方电网4区域为背景的仿真模型(采用了23 328种不同模型参数)中进行数值仿真,仿真结果验证了所提深度Q学习算法的可行性和有效性,也验证了所设计控制器的强鲁棒性。     

基于分布式深度强化学习的微网群有功无功协调优化调度

针对微网群的分布式有功无功协调优化调度问题,提出一种分布式多智能体深度强化学习方法,可训练智能体在与环境交互的过程中学习到最优调度策略,并克服传统优化方法对模型的依赖。相较于已有基于“集中训练”框架的多智能体深度强化学习方法,该方法无须收集全局信息,能够更好地保障各子微网信息的隐私,减轻通信压力,并且在训练和执行阶段均表现出对通信故障的鲁棒性。此外,考虑到微网群存在拓扑变化而强化学习模型泛化能力差,提出一种迁移强化学习方法,利用已有智能体知识为每种拓扑高效训练一组智能体。最后,通过改进的IEEE 33节点系统算例,验证了所提方法在解决微网群分布式有功无功协调优化调度问题上的有效性。     

资源富集岛蓄–氢–冷联合可再生能源消纳系统设计及调度策略研究

远洋海岛的和平开发与利用在我国的海洋战略中占有极其重要的地位。对于远洋海岛中需要通过船运对负荷中心岛进行能量支援的资源富集岛而言,其离岸可再生能源消纳设备(renewable energy absorption facility,REAF)的高效运行至关重要。针对此问题,该文设计兼顾蓄–氢–冷多能源形式的制氢装置,有效提升了REAF系统能源吸收效率;同时,基于快速决策树剪枝算法及强化学习式蒙特卡洛算法设计包含蓄–氢–冷的REAF系统的综合调度策略。仿真算例表明,该文提出的决策树快速剪枝算法及改进强化学习式蒙特卡洛算法能够有效提升REAF系统调度策略的能源消纳能力。最后探讨进一步提升基于这2种算法的REAF系统调度策略性能的路径。     

基于知识迁移Q学习算法的多能源系统联合优化调度

随着能源互联网的提出,传统的单一能源优化利用模式正在发生变革,多种能源网络协调优化模式展现出广阔的发展前景。在此背景下,首先以能源中心建模方法建立了多能源系统的联合优化调度框架,在此基础上构建了计及含阀点效应供能成本和碳排放目标的典型多能源系统联合优化调度模型。其次,对于此不连续可微、非凸的非线性问题,以知识迁移Q学习算法和内点法构成级联式算法进行求解,即上层Q学习以机组有功功率作为动作变量,下层以内点法求解机组有功功率确定后的多能源系统优化模型,并通过知识迁移提高求解效率。最后,以33能源中心测试系统为算例的仿真分析,验证了所提模型及算法的有效性。     

考虑可再生能源不确定性的综合能源系统优化调度方法

综合能源系统是实现可再生能源充分消纳和解决其不确定性的有效途径。专注于区域综合能源系统的优化调度问题,首先建立了以电为核心的综合能源系统优化调度模型,充分考虑高渗透率可再生能源的不确定性,分别在采暖期和空调期建立了系统运行约束模型、冷/热负荷供需平衡约束模型以及不确定性约束模型;其次采用具有良好全局搜索能力的粒子群算法作为调度模型求解算法;最后通过具体算例验证了该模型和算法可得到综合能源系统优化调度方案,并分析了可再生能源不确定性对调度方案经济性的影响,分析结果表明通过适当增加消纳备用可以有效避免因可再生能源不确定性引起的潜在经济损失。     

基于Multi-Agent异步深度强化学习的居民住宅能耗在线优化调度研究

为促进居民用户柔性负荷高效参与需求响应,帮助用户从被动角色转变为主动角色,实现需求侧最大效益。该文在智能电网环境下,根据用电设备的特性,以概率论的角度对家电设备状态进行描述定义,基于异步深度强化学习(asynchronous deep reinforcement learning,ADRL)进行家庭能源管理系统调度的在线优化。学习过程采用异步优势演员–评判家(asynchronous advantage actor-critic,A3C)方法,联合用户历史用电设备运行状态的概率分布,通过多智能体利用CPU多线程功能同时执行多个动作的决策。该方法在包括光伏发电、电动汽车和居民住宅电器设备信息的某高维数据库上进行仿真验证。最后通过不同住宅情境下的优化决策效果对比分析可知,所提在线能耗调度策略可用于向电力用户提供实时反馈,以实现用户用电经济性目标。     

基于多智能体深度强化学习的电热联合系统优化运行

电热联合系统优化调度问题对于实现系统的能源互补、经济运行具有重要意义.电热联合系统优化运行涉及非线性、非凸、多目标问题求解,传统方法在计算实时性与迭代收敛性等方面存在困难.文章首先构建电热联合系统优化数学模型,将电热联合系统按照不同利益主体划分为多智能体,基于多智能体深度确定性策略梯度强化学习算法,建立了适用于电热联合系统的行动器-评判器框架,将优化模型转化为强化学习模型.其次对智能体进行了状态与动作空间的划分,搭建多智能体强化学习环境并设计相应的奖励函数.最后进行电热联合系统算例验证,表明所提方法可以有效解决电热联合系统优化问题.训练后的多智能体强化学习模型可实时生成优化策略,克服传统方法运算时间长、难以满足在线计算要求的问题;和单智能体算法相比,模型训练过程更易稳定收敛,执行过程中各智能体仅依赖局部信息完成计算,解决不同利益主体的数据共享问题.     

不确定性环境下基于深度强化学习的综合能源系统动态调度

随着综合能源系统中间歇性能源和负荷不确定性的逐步增强,传统的调度方法局限于固定物理模型及参数设定,难以较好地动态响应源荷的随机波动。针对这一问题,提出了一种基于深度强化学习的综合能源系统动态调度方法。首先,以数据驱动方式构建面向综合能源系统的深度强化学习模型,通过智能体与综合能源系统的持续交互,自适应学习调度策略,降低对物理模型的依赖程度。其次,通过添加随机扰动的方式表征源荷不确定性变化特征,针对不确定性变化特征改进深度强化学习模型的状态空间、动作空间、奖励机制以及训练流程等关键环节,并经由近端策略优化算法优化求解,实现了综合能源系统的动态调度决策。最后,通过算例仿真验证了所提方法在不同时间尺度以及不确定性环境下的可行性和有效性。     

区域综合能源系统优化调度方法

区域综合能源系统(integrated community energy system, ICES)可以充分利用可再生能源、提高综合系统能源利用效率。该文专注于ICES优化调度问题。首先建立了以电为核心的综合能源系统优化调度模型,优化目标包括经济性和环保性最优准则,基于可再生能源技术、节能技术以及电能替代技术的典型设备模型,分别在采暖期和空调期建立了系统运行约束模型,以及电和冷/热负荷供需平衡约束模型;采用具有良好全局搜索能力的粒子群算法（particle swarm optimization, PSO）作为调度模型求解算法。通过具体算例,验证本模型和算法,可得到经济性和环保性目标下的综合能源系统优化调度方案,同时分析了不同目标下调度方案存在统一和矛盾的原因。     

基于改进近似动态规划的园区综合能源优化调度

园区综合能源系统可以实现能源的高效利用,提高电力系统与区域供热网络的综合效益。针对园区综合能源系统优化调度问题,提出了一种基于改进近似动态规划的园区综合能源系统优化调度方法。考虑到该优化调度模型本质上是一个多时段的非凸非线性规划问题,常规方法难以求解,将其转化为马尔可夫决策过程,并通过近似动态规划实现时段解耦求解。此外,为提高求解效率,提出了一种改进的近似动态规划算法,将传统的基于迭代的值函数近似方法发展为数值拟合的值函数近似方法。仿真结果表明,相较于传统的近似动态规划算法,所提方法的求解效率提升了25%以上。     

基于Q强化学习的综合能源服务商现货市场申报策略研究

随着综合能源系统建设和电力市场改革推进,综合能源服务商有望成为新的市场交易成员。为解决申报阶段有限的决策参考信息制约申报策略制定的问题,文章提出了一种基于Q强化学习的综合能源服务商现货市场申报策略,以提升申报策略的理想度。该方法的主要特点在于充分利用庞大的历史运行信息,通过人工智能算法训练申报策略智能体,建立综合能源服务商所掌握的有限参考信息与最优申报策略之间的内在关系。智能体以市场公开信息、社会公共信息及服务商私有信息为环境变量,能够实现申报策略的自动生成和智能改进。最后,基于某省电网实际数据构造算例表明,该方法能较好地拟合合作博弈下的申报策略,具有收敛速度快、理想度高、计算效率高等特点,更符合综合能源服务商决策需求。     

基于改进Nash-Q均衡迁移算法的源网荷储协同优化策略

为了充分发挥多类型储能资源的调度潜力,实现源网荷储协同优化调度,提出了计及电池储能、抽水蓄能、电动汽车的多类型储能调度策略。以低碳经济为目标,构建了考虑多主体博弈的源网荷储协同优化调度模型。为了在保证源网荷三侧整体利益的同时兼顾自身利益,基于Nash均衡理论,利用强化迁移学习技术,提出了一种基于改进Nash-Q的均衡迁移算法。利用K-means聚类使数据离散化,增设双结构经验池以提高样本利用率,从而有效提高了模型的泛化能力。基于实际区域电网的数据进行仿真验证,结果表明所提策略能有效降低系统的经济成本和碳处理费用,提高新能源消纳能力。     

基于变工况模型的综合能源系统源–荷互动多目标优化调度

随着综合能源系统中清洁能源占比的不断增加,供能不确定性与时空分散性愈发凸显,系统建模与优化调度面临较大挑战。针对上述问题,首先,以能量流动模型为基础,建立能够反映设备效率与负荷率之间非线性关系的变工况模型;然后,考虑柔性负荷特性,引入需求侧管理,优化能源定价和时段策略,激励用户参与调度;最后,建立多目标优化模型和双层递阶优化策略,采用智能优化算法进行源–荷互动多目标优化调度。基于某园区典型日负荷和气象数据进行仿真实验,结果显示该方法能够促进良性源–荷互动,充分调动供需两侧的调峰潜力,在保证用户用能舒适度的同时,提高系统运行的经济性、环保性和稳定性。