基于双层深度强化学习的园区综合能源系统多时间尺度优化管理

园区综合能源系统（PIES）的能源转换结构复杂性、新能源出力与多能负荷的不确定性以及不同能源系统管理时间尺度的差异性，是阻碍PIES实现高效管理与经济效益优化的主要原因。该文提出了一种基于双层深度强化学习的园区综合能源系统多时间尺度优化管理方法。该方法面向包含燃气、热力、电力三种能源的园区综合能源系统模型，构建上、下两层深度确定性策略梯度（DDPG）管理模型，分别以0.5h和5min为长短时间尺度滚动制定燃气与热力系统、电力系统的管理方案。仿真结果表明，所提方法不仅能有效克服深度强化学习算法在训练过程中出现“维数灾难”情况，还能以差异化时间尺度滚动制定PIES的不同能源系统管理方案，并优化其总体经济效益。     

基于改进联邦竞争深度Q网络的多微网能量管理策略

目前,基于联邦深度强化学习的微网（MG）能量管理研究未考虑多类型能量转换与MG间电量交易的问题,同时,频繁交互模型参数导致通信时延较大。基于此,以一种包含风、光、电、气等多类型能源的MG为研究对象,构建了支持MG间电量交易和MG内能量转换的能量管理模型,提出基于正余弦算法的联邦竞争深度Q网络学习算法,并基于该算法设计了计及能量交易与转换的多MG能量管理与优化策略。仿真结果表明,所提能量管理策略在保护数据隐私的前提下,能够得到更高奖励且最大化MG经济收益,同时降低了通信时延。     

基于改进深度确定性策略梯度算法的微电网能量优化调度

针对微电网中分布式发电设备存在输出不确定性和间歇性问题，以及传统的深度确定性策略梯度算法存在收敛速度慢、鲁棒性差、容易陷入局部最优的缺点。本文提出了一种基于优先经验回放的深度确定性策略梯度算法，以微电网系统运行成本最低为目标，实现微电网的能量优化调度。首先，采用马尔可夫决策过程对微电网优化问题进行建模；其次，采用Sumtree结构的优先经验回放池提升样本利用效率，并且应用重要性采样来改善状态分布对收敛结果的影响。最后，本文利用真实的电力数据进行仿真验证，结果表明，提出的优化调度算法可以有效地学习到使微电网系统经济成本最低的运行策略，所提出的算法总运行时间比传统算法缩短了7.25%,运行成本降低了31.5%。     

基于优势柔性策略-评价算法和迁移学习的区域综合能源系统优化调度

为提高清洁能源消纳率及减少碳排放对环境的污染，实现更具泛化能力、鲁棒性和高效性的区域综合能源系统优化调度，该文提出了基于优势柔性策略–评价(advantage learning soft actor-critic,ALSAC)算法和迁移学习的区域综合能源系统优化调度方法。利用环境信息与智能体进行通信交互，以低碳、经济为目标实现区域综合能源系统的优化调度。在文中分析了提升柔性策略–评价(soft actor-critic,SAC)鲁棒性的最大熵机制，并与基于策略梯度的多种深度强化学习算法和启发式算法进行了性能对比，随后将优势学习的思想引入SAC的Q值函数更新中，解决了算法对Q值的过估计问题，提升了算法的性能。为提高智能体的学习效率和应对新场景的泛化能力，加入了迁移学习的参数迁移。算例表明，基于ALSAC算法和迁移学习的优化调度策略具有较好的鲁棒性、泛化能力和高效的学习效率，实现区域综合能源系统的灵活高效调度。     

基于能量共享的综合能源系统群多主体实时协同优化策略

建设多主体参与的区域综合能源市场是中国能源市场发展的主要方向,但是综合能源系统一般规模较小,用能行为难以掌握,如何处理能源需求预测不准造成的能量偏差成为市场交易的关键问题。通过能量共享方式实现综合能源系统集群参与日前-实时市场,是处理能量偏差的有力途径。设计了基于供应侧多主体竞价互动、需求侧多主体能量共享的综合能源日前-实时市场框架。在此基础上,需求侧园区运营商内部通过能源枢纽模型进行运行优化,外部采用能量共享方式展开交易,并采用合作博弈的Shapley值法对多主体联合运营效益再分配,实现多主体实时协同优化。最后,算例分析表明所提的交易机制和能量共享策略能够在平抑能量偏差的同时有效提升市场各主体利益。     

产业园区综合能源系统形态特征与演化路线

梳理了典型产业园区的综合能源需求,在此基础上,分析了未来产业园区综合能源系统将呈现的典型形态,包括冷热电联供分布式能源站、园区光储微网、小水电+分散式风电、园区能源互联主动配电网和多能互补综合能源系统。然后,对产业园区综合能源系统多能互补、物理信息深度融合以及源网荷储协调互动的特征内涵进行了剖析。最后,结合我国能源和信息基础设施及能源市场等方面的现有条件,从近期、中期和远期3个发展阶段探讨了产业园区综合能源系统的演化路线。     

基于分层分布式调度的多园区服务商与综合能源供应商两级协调优化运行模型

在用能形态转变关键期,有关园区级综合能源系统的试点项目集中涌现。多个园区以不同参与主体接入电力系统与热力系统构成的区域综合能源系统,带来利益冲突与交互功率不匹配问题。为此,基于交替方向乘子分布式算法,建立了多园区服务商与综合能源供应商的两级协调优化运行模型。上级综合能源供应商运营管理电网与热网构成的区域综合能源系统,下级各园区服务商控制管理各园区级综合能源系统。上级模型中针对热电能源本身特性,建立供需实时平衡的配电网以及考虑热能传输延时性的热网模型;在下级模型中利用多能转换设备实现能源的梯级利用。该文提出的两级协调运行模型基于ADMM(alternatingdirectionmethod of multipliers)分布式算法,利用复制变量法解耦上下层交互功率保护参与主体隐私信息,利用惩罚因子调整参与主体调度策略,在多次迭代互动中实现上下层协调运行。以苏州同里某新能源智慧园区为算例,验证所建模型可保护各参与主体隐私,同时满足整体运行成本最低,并分析不同调度模式以及不同运行场景对系统运行结果的影响。     

综合能源系统多能流准稳态分析与计算

多能流计算及互动分析是综合能源系统的重要基础,分析多能流交互机制,建立由电、气、热网和耦合元件组成的综合能源系统模型,提出针对多能流计算的分解法和统一法的求解框架和求解方法。针对目前基于牛顿法的多能流算法对初值较为敏感的不足,提出基于自适应步长因子的改进统一法,对比分析3种算法的准确性、收敛性和收敛时间。考虑扰动后的过渡过程和网络间的多时间尺度特性,将综合能源系统交互过程划分为4个准稳态阶段,分析基于准稳态多能流的交互作用。最后,基于一个双向耦合的综合能源系统,以电网支路开断为例对系统进行分析,验证了所提算法和准稳态分析的有效性。     

考虑综合需求响应的园区综合能源系统优化配置

园区综合能源系统是用户侧多能源耦合与供应的典型形式,而综合需求响应(integrated demand response,IDR)则是实现多种能源间耦合互补关系的重要应用,而目前的园区综合能源系统规划研究并未考虑IDR的应用。为了进一步激发园区综合能源系统中的多能互补特性,提升规划的灵活性和经济性,文中提出了一种考虑综合需求响应的园区综合能源系统优化配置模型,其在建立PIES内部各能量转换设备和能量存储设备数学模型的基础上,以包含投资、运行、维护和IDR成本的全寿命周期成本最小为目标函数进行建模,考虑了设备运行、功率平衡以及IDR的约束条件。以某热/电耦合商业园区综合能源系统为例进行算例分析,并在MATLAB平台上调用CPLEX求解器对所提模型进行求解。算例分析结果表明,考虑IDR的园区综合能源系统配置结果相比不考虑IDR而言,具有"削峰填谷"作用,可以更好地发挥园区综合能源系统多能互补特性,降低了园区综合能源系统的全寿命周期成本。     

考虑综合需求响应的综合能源系统多能协同优化调度

在能源互联网迅速发展的背景下,综合能源系统多能耦合互补特性为需求侧参与系统调度提供了更大的优化空间,如何建立切实有效的多能源、多类型需求响应模型对提升系统运行性能具有重要意义。为此,建立了考虑激励型、替代型和基于实时定价机制的价格型多能源、多类型需求响应精细化模型,在此基础上,以电、气、热、冷多能耦合园区系统为研究对象,考虑系统运行、需求响应、用户用能满意度等约束条件,提出了考虑综合需求响应的综合能源系统多能协同优化调度策略。算例分析结果表明所提优化策略能够充分挖掘需求侧资源的调节潜力,在促进能源供需平衡的同时实现了系统多能协同互补与经济运行。     

交互能源机制下多区域综合能源系统能源共享协同调度

能源共享需求下多区域综合能源系统存在集中调度决策变量多、约束复杂、区域主体信息隐私难以保护,以及传统分布式算法收敛不光滑、收敛速度慢等问题。为此,设计了交互能源机制下地区系统运营商进行多区域能源管理的框架,建立了考虑新能源不确定性的能源共享日前调度随机优化模型,并构建了基于绝对值函数线性化的代理增广拉格朗日松弛算法进行求解。基于所提模型和算法,地区系统运营商根据各区域提交的初始供求信息制定区域间的交易价格,各区域以运行成本、碳排放成本、弃光成本最小为目标优化设备出力和能源交互量,并进行迭代出清。算例结果表明所提模型能够有效提升区域运行效益,提高新能源消纳,且所提算法较常用分布式算法在求解速度和求解质量方面更具优越性。     

基于深度Q学习的电热综合能源系统能量管理

能量管理是电热综合能源系统运行优化的重要组成部分。然而,系统中可再生能源出力的波动性以及用户负荷的随机性使得能量优化管理问题充满挑战。针对此问题,文章提出了一种计及可再生能源和负荷需求不确定性的综合能源系统能量管理方法。将电热综合能源系统的能量管理问题表述为转移概率未知的马尔科夫决策过程,定义了系统的状态空间、动作空间和奖励函数。为求解该马尔科夫决策过程,提出了一种基于深度Q学习网络的电热综合能源系统能量优化管理方法。算例仿真表明,所提方法能够自适应地对源和荷的随机波动做出响应,实现系统的能量优化管理。     

基于改进樽海鞘群算法的区域综合能源系统优化调度

为降低区域综合能源的碳排放量,提高其经济性,文中建立了以运行成本和环境成本最小为目标函数的区域综合能源系统优化调度模型。利用莱维飞行和非线性收敛因子策略对樽海鞘群算法进行改进,得到改进樽海鞘群算法,提升了算法的全局搜索性能和收敛能力。采用改进樽海鞘群算法对区域综合能源系统优化调度模型进行求解,结果表明,改进樽海鞘群算法在经过47次迭代后就找到了最优解为2 536.24元,相比其他算法,迭代次数和收敛时间更少,求解精度更高。根据改进樽海鞘群算法的调度方案,各设备出力合理,系统运行的经济性和环保性较好,验证了所提区域综合能源系统优化调度模型和求解方法的实用性。     

基于深度Q学习的含用户侧储能微电网频率-电压数字化智能控制策略

频率与电压是衡量电能指标的重要标准。针对微电网受到负荷波动而引起的频率/电压调控问题,提出基于深度Q学习(deep Q-learning, DQN)的含用户侧储能微电网智能监控-控制策略。首先,通过考虑用户行为的随机性,增加了用户侧储能输出的随机约束,并引入四象限充放电的模型,构建用户侧储能的集群充放电模型,从而搭建出微电网频率-电压的协同控制模型。其次,设计基于DQN的频率/电压控制器结构与数字化智能控制平台,以系统实时的频率偏差、电压偏差与用户侧储能输出功率的上、下限约束为状态空间,以系统各机组出力为动作空间,并基于频率及电压2个控制目标,完成包含2个本地奖励的全局奖励函数的设计。算例结果表明：与传统PID控制器相比,所提DQN控制器能同时满足频率与电压的控制需求,更有效地应对负荷波动所引起的电能质量问题。     

可再生能源配额制下多园区综合能源系统优化调度

为提高综合能源系统可再生能源消纳能力和满足电力行业节能减排的要求,提出了一种基于可再生能源配额制的多园区综合能源系统优化调度模型.建立了考虑热网的多园区综合能源系统模型;将可再生能源配额制引入模型中,提出了综合考虑绿色证书交易机制和热网的综合能源系统调度模型;分析了不同算例下的系统经济性和可再生能源消纳情况.结果表明,通过引入可再生能源配额制和热网,可有效提高系统可再生能源消纳能力,减少系统碳排放,并保证系统经济性.     

基于长短期记忆的电-气耦合综合能源系统贝叶斯状态估计

伴随着中国国家能源革命战略与电力体制改革的发展,综合能源系统作为综合各能源属性的新型能源发展形态逐步兴起,最大限度提升了能源利用效率.然而,综合能源系统存在量测数据冗余度低、量测设备的量测误差较大以及电网与气网量测设备的数据采集单位时间标尺不统一的问题,对电-气耦合的综合能源系统状态估计问题提出严峻挑战.考虑到数据驱动方法具有高度的可移植性与对不同信息提炼归纳的能力,建立了一种基于长短期记忆的电-气耦合综合能源系统贝叶斯状态估计模型.采用贝叶斯学习获取量测量的概率统计特征,利用蒙特卡洛采样生成完备量测数据,通过电-气耦合综合能源系统潮流检验所生成数据的合理性,从而得到长短期记忆深度学习网络的训练样本集合.采用均方根误差的评判标准对长短期记忆深度学习网络进行训练,有效提升了电-气耦合综合能源系统状态估计的精度.与经典模型驱动的状态估计方法比较,算例仿真验证了所提数据驱动状态估计方法的有效性与鲁棒性.     

基于合同能源管理的园区能耗优化及多主体利益分配研究

合同能源管理是解决工业园区能源低效率利用的有效途径。以节能服务公司为主体,依托合同能源管理模式,为含有光伏、燃气轮机、储能系统及各类负荷用户的园区综合能源系统提供节能方案。以园区运行经济性及用户满意度为目标,通过优化光伏、燃气轮机、储能系统及各类负荷的运行方式实现节能,采用效益分享型合同能源管理模式使节能服务公司和综合园区在合同年限内获得盈利,并对园区中各节能项目参与者的利益再分配问题进行了探讨,采用Shapley值法保证了合作联盟利益再分配的合理性和公平性。最后对四川某实际园区进行算例分析,利用所提方法分析其经济性及利益分配问题。结果表明,园区用户及节能服务公司在参与此效益分享型合同能源管理项目后,均可通过节约购电成本盈利,另外利益的合理再分配也极大地提高了节能项目参与者的积极性。     

考虑上级电网与工业园区互动的综合需求响应

目前综合需求响应（integrated demand response,IDR）缺少完善的互动机制,上级电网无法基于用户的实际响应潜力,对响应资源进行精准地调控和管理。为此,文章提出了一种考虑上级电网与工业园区互动的综合需求响应策略。首先,提出针对工业园区的综合需求响应互动机制,明确各个能源系统之间信息交互方式。其次,提出兼顾调峰需求、用能经济性和用户满意度的综合需求响应模型,采用分支定界法进行求解,得到用户可调控能力和对应的综合需求响应策略。同时,园区能量管理中心基于用户上报的响应方案,通过用户优选模型得到使整体补偿费用最低的用户响应组合方案。算例结果表明,所提IDR策略能够进一步挖掘用户的可调控潜力。另外,园区能量管理中心可根据各个用户的实际可调控能力合理选择参与需求响应的用户,在较低的需求响应成本下,获得相同的调峰潜力,有利于实现电网公司与工业用户的双赢。     

电能替代下考虑需求响应的综合园区风光储配置方法

推进园区电能替代是改善环境问题的重要措施,针对综合园区能源系统进行电能替代受配电网络改造限制的情况,提出采用风光储系统作为供电系统的方案。首先构建综合园区能源系统中电替热、电替冷和电替油负荷模型。然后提出考虑配电网运行状态和需求响应的风光储最优容量双层配置模型,该模型包括配电网层和风光储系统层。最后采用Cplex进行求解,得到综合园区电能替代下考虑配电网运行状态和需求响应的风光储系统最优配置方案。通过IEEE 33节点系统以及某实际园区的电能替代负荷数据进行仿真计算,结果表明采用风光储系统供电并计及负荷的需求响应能解决园区电能替代负荷增长的需求并兼顾其最优经济配置。     

基于运行最优模拟的综合能源系统经济评价方法

基于综合能源项目全生命周期分析法,通过系统运行优化调度模拟,提出了一种聚合燃气轮机、锅炉、风机、光伏、电热储能、电负荷、热负荷等的综合能源协调优化调度模型和全生命周期的经济分析模型的经济评价方法,解决了综合能源规划设计中粗放式经济分析估算的问题;并以重庆某一园区CHP型综合能源系统为例,通过对供能调度模拟及经济指标的分析,验证了该经济评价方法的有效性。结果表明,所提出的基于运行最优模拟的综合能源系统经济评价方法能够极大地提高综合能源规划设计经济分析的精确性和灵活性,能够更好地评价系统方案的合理性和可操作性。