基于双层优化的综合能源服务商博弈策略

随着更为高效的综合能源系统的推广以及能源交易市场化的进行,多种能源的价格和交易呈现出越来越强的耦合性和关联性,综合能源市场逐渐成为研究热点。综合能源服务商作为综合能源市场的核心成员之一,其市场行为和策略会对综合能源市场产生巨大影响。针对综合能源市场内多个综合能源服务商间的博弈竞争行为,建立了综合能源服务商最优竞价策略的双层模型,其中,上层为综合能源服务商间的博弈模型,下层为电力和天然气市场出清模型,并采用对角化算法对其进行求解。在上述模型的基础上,设定每个综合能源服务商的极限竞价策略集合,并计算每个综合能源服务商每个极限竞价策略下的市场出清结果,从而对每个综合能源服务商竞价策略对综合能源市场出清的影响进行定量分析。最后,通过算例仿真计算验证该模型及求解方法的有效性和可行性。     

多能源微网参与电-气多能源市场的多主体主从博弈交易策略

针对多能源微网（MEMGs）具有丰富可调节资源的特点,基于区域电-气综合能源系统中配-微网络间不同层级的能源交互特性,提出一种MEMGs参与多能源市场的交易框架和多主体主从博弈的交易模型。通过MEMGs策略性参与区域能源市场交易,降低各主体购能成本,实现多个能源市场下多主体互动交易。将配电系统运营商和配气系统运营商视为领导者、各个多能源微网运营商（MEMGO）视为跟随者,以配电网节点边际电价和配气网节点边际气价作为各MEMGO的能源结算价格,构建考虑MEMGs参与电-气多能源市场的多主体主从博弈交易模型;在证明该模型存在Stackelberg均衡解的基础上,通过交替方向乘子法求解所提模型以保证各主体的信息私密性;通过REGESE13-G7和REGESE123-G20测试系统验证了所提多主体交易策略的可行性和有效性。     

多主体参与可再生能源消纳的Nash博弈模型及其迁移强化学习求解

随着可再生能源产业不断壮大,可再生能源消纳问题日益凸显。为了充分挖掘源–网–荷–储联合运行的灵活性调节能力,提高可再生能源的消纳水平,该文提出一种基于灵活性平衡理论的可再生能源消纳策略。通过Nash博弈实现参与消纳的各主体相互利益达到均衡,并提出一种多智能体迁移强化学习算法。该算法采用了多种人工智能技术,包括基于Nash-Q学习的强化学习技术、资格迹更新技术和迁移学习技术,使学习方式更加灵活、效用更广泛、泛化能力更强。通过算例仿真验证了所提算法在保证最优解质量的同时,具有快速求解的能力,非常适用于求解多主体参与可再生能源消纳问题。     

虚拟电厂参与电-碳联合市场运行的竞价策略研究

电力系统脱碳是全社会零碳发展的关键。近年来分布式小微主体发展迅速,成为未来我国能源结构的重要组成部分。首先,从虚拟电厂(virtual power plant, VPP)出发,在分析VPP参与我国现行碳交易市场方式的基础上,提出VPP参与电-碳联合市场的运行机制。其次,构建了联合市场运行机制下多主体互动博弈的两阶段双层竞价策略模型。第一阶段为VPP内部分布式小微主体预调度模型;第二阶段内层为VPP与多市场主体间非合作博弈竞价模型,以VPP参与日前现货市场和碳交易市场的总收益最大为目标,采用多场景描述竞争对手报价的不确定性;外层是以全社会福利最大化为目标函数的多主体互动决策出清模型。最后,采用Q-learning算法和路径跟踪内点法进行模型求解,算例验证了所提模型的可行性和有效性。     

基于MADDPG和智能合约的微电网交易决策优化

为解决微电网在传统集中化交易模式下面临的决策耗时长、信任成本高和隐私安全等问题,提出了基于多智能体深度确定性策略梯度(multi-agent deep deterministic policy gradient, MADDPG)算法与智能合约的微电网去中心化市场交易体系。首先,对微电网市场中多智能体进行划分后设计了适用于各主体参与分布式交易的微电网去中心化交易机制,以保障市场主体利益。其次,为实现交易确认阶段微电网市场主体的交易策略优化,采用MADDPG算法对各主体追求利益最大的竞价模型进行求解。最后,通过算例仿真验证了MADDPG算法在智能合约下微电网市场主体交易策略优化过程中的可行性和经济性。     

基于多主体博弈与强化学习的并网型综合能源微网协调调度

针对传统集中式优化调度方法难以全面反映综合能源微网内不同智能体的利益诉求,以及人工智能技术在综合能源调度方面的应用亟待进一步挖掘等问题,提出了基于多主体博弈与强化学习的并网型综合能源微网协调调度模型和方法。首先,针对并网型综合能源微网中横向电气热冷各子系统及纵向源网荷储等各环节的不同投资与运营主体,开展了多智能体划分;其次,针对可再生能源服务商、微网系统能源服务商、电动汽车用户等智能体,分别构建了各自的决策模型,并建立了以多智能体间利益均衡为目标的联合博弈决策模型;再次,针对多主体博弈这一高维决策难题,引入人工智能求解方法,提出了基于Nash博弈和强化学习算法的综合能源微网协调调度方法;最后,通过实例验证了所提模型和方法的有效性与实用性。     

基于MADDPG和智能合约的微电网交易决策优化

为解决微电网在传统集中化交易模式下面临的决策耗时长、信任成本高和隐私安全等问题,提出了基于多智能体深度确定性策略梯度(multi-agent deep deterministic policy gradient, MADDPG)算法与智能合约的微电网去中心化市场交易体系。首先,对微电网市场中多智能体进行划分后设计了适用于各主体参与分布式交易的微电网去中心化交易机制,以保障市场主体利益。其次,为实现交易确认阶段微电网市场主体的交易策略优化,采用MADDPG算法对各主体追求利益最大的竞价模型进行求解。最后,通过算例仿真验证了MADDPG算法在智能合约下微电网市场主体交易策略优化过程中的可行性和经济性。     

基于能量共享的综合能源系统群多主体实时协同优化策略

建设多主体参与的区域综合能源市场是中国能源市场发展的主要方向,但是综合能源系统一般规模较小,用能行为难以掌握,如何处理能源需求预测不准造成的能量偏差成为市场交易的关键问题。通过能量共享方式实现综合能源系统集群参与日前-实时市场,是处理能量偏差的有力途径。设计了基于供应侧多主体竞价互动、需求侧多主体能量共享的综合能源日前-实时市场框架。在此基础上,需求侧园区运营商内部通过能源枢纽模型进行运行优化,外部采用能量共享方式展开交易,并采用合作博弈的Shapley值法对多主体联合运营效益再分配,实现多主体实时协同优化。最后,算例分析表明所提的交易机制和能量共享策略能够在平抑能量偏差的同时有效提升市场各主体利益。     

电转气设备与燃气机组的联合竞价策略

电转气(P2G)设备和燃气机组作为联系电力系统与天然气系统的能源转换单元,是未来多能源互联系统的重要枢纽。在竞争性能源市场环境下,P2G设备和燃气机组如何构造竞价策略是相关各方关注的重要问题。对于P2G设备和燃气机组而言,在构造其参与竞争性电力市场和天然气市场的竞价策略时,这两个市场的出清价格未知,可以采用概率分布或其他方法进行模拟。在此背景下,发展了基于场景分析的P2G设备和燃气机组的最优竞价策略模型。首先,采用拉丁超立方抽样生成含概率信息的场景集合,用于处理采用概率分布模拟的市场出清价格,并对场景进行消减。之后,以收益最大化为目标,分别构建了P2G设备同时参与日前能量市场和调频市场的单独竞价模型及其与燃气机组的联合竞价模型,确定次日各交易时段的竞价策略。然后,针对具体的市场出清结果,采用夏普利值法对P2G设备与燃气机组的收益进行合理分配。最后,用算例对所构建的模型和采用的求解方法加以说明,并分析了P2G设备和燃气机组竞价策略的特征。     

基于联合出清机制的电-热综合能源市场均衡分析

随着能源市场化改革逐步推进,综合能源系统中各类能源在物理层面的耦合将逐渐扩展至市场层面。综合能源系统中各自独立运行的能源市场难以协调耦合的多能生产、使用,使得市场参与主体交易意愿难以充分满足,增大了物理系统运行风险。因此,提出了一种电-热综合能源市场出清机制,统一电、热的市场交易,并建立了电-热联合市场竞价双层模型,研究了计及供应侧策略投标的市场均衡。其中上层是电-热供应商,其目标是使自身收益最大化;下层是市场运营商的出清模型,其目标是电、热供需总体社会福利最大化。通过将下层市场出清问题转化为等效KKT条件,供应商的竞争均衡问题转化为带有均衡约束的均衡问题,并采用对角算法求解市场均衡。最后通过算例验证了该方法的有效性。     

区域综合能源系统多主体非完全信息下的双层博弈策略

针对区域综合能源系统多主体高耦合的特点,提出一种由供能商、配电网和用户组成的多主体双层博弈互动策略。博弈互动策略包括调度和竞价两个方面。调度部门协调各方可调资源,根据供能商的报价和配电网的分时电价预测多能负荷,以系统用能费用最小为目标协调优化,真正实现合作博弈下的多能互补。文中在非完全信息和有限理性的假设下设计供能商报价和系统结算策略。在此基础上,根据历史调度结果和自身机组特性,以追求自身最大利益为目标,模拟供能商代理的冷热电日前市场非合作竞价策略后上报调度部门,并采用Q-Learning算法优化多代理竞价策略。应用实际算例研究区域综合能源系统调度—竞价双层博弈过程的演化规律,并分析了所提策略的局部Nash均衡性。     

基于多智能体强化学习的电力现货市场定价机制研究(一):不同定价机制下发电商报价双层优化模型

电力现货市场定价机制是市场设计的重点问题之一,与发电商交易行为相互影响。定价机制设计需要考虑发电商可能的交易行为,而不同定价机制下发电商报价策略不同,为系统性地解决这一嵌套难题,形成2篇不同侧重点的论文。作为首篇,该文探讨强化学习在发电商报价决策中的适用性,完整考虑系统和分区边际电价的两阶段过程,构建节点、系统、分区3种边际电价定价机制下的发电商报价双层优化模型,并基于可变学习速率和策略爬山算法相结合的多智能体强化学习方法对模型进行迭代求解。该双层模型中,上层为发电商报价决策层,下层为市场出清层,以决策层优化的发电商报价信息和出清层计算的发电商中标信息作为上下层之间的交互数据,不断优化发电商报价策略。最后,以IEEE 39系统为例,选择4个典型负荷场景,优化3种定价机制下的发电商报价,结果表明:所提模型和算法可有效求解发电商最优报价策略,获取市场均衡结果。     

基于双边合同二次交易的高低匹配竞价机制Swarm仿真

在发电侧电力市场双边竞价过程中,为了约束发电商的市场力,提出一种基于双边合同二次交易的高低匹配竞价机制。为了验证该机制的正确性,构建了基于Swarm的多主体仿真模型。在模型中考虑了报价接受风险因素,从而使模型与现实中的报价行为更加接近。在多主体博弈过程中,主体具有自治能力,可以采取学习博弈方法,充分利用所获取的信息,在竞价过程中不断修正其价格和电量的申报策略。通过对南方某电力市场进行仿真,发现基于双边合同二次交易的竞价机制可以把发电商的市场力约束在一个较小的范围内。     

有限信息环境下基于学习自动机的发电商竞价策略

电力市场是典型的不完全竞争市场,发电商可以通过策略性报价以提高自身收益。现有的发电商报价策略研究通常假设发电商能利用充分的市场信息,但这种假设在市场启动初期往往不成立。为解决发电商在有限信息环境下的报价策略问题,文中提出了一种改进的强化学习自动机算法,该方法对外部信息量要求较低,且计算复杂度小,易于实现。此外,将发电商报价和市场出清的过程建模为重复博弈而非广泛使用的马尔可夫博弈,避免了马尔可夫博弈要求系统状态具有时间相关性这一强假设。最后,算例验证了该算法的有效性。     

售电侧开放下日前电力市场动态博弈模型

针对我国未来售电侧开放下日前电力市场信息不完美等一系列特点,建立日前电力市场报价策略动态调整(博弈)及均衡仿真模型。首先,基于利润最大化原则,构建发电商及售电商报价策略决策模型;其次,基于市场出清价格模式(market clearing price,MCP)建立ISO市场出清模型;第三,构建不完美信息情况下,发电商(售电商)的适应性学习模型;第四,组合以上3个模型,完成市场动态博弈模型的构建,运用改进式和声搜索算法(harmony search algorithm,HSA),对发电商(售电商)策略的动态调整过程及纳什均衡情况进行模拟。最后,在算例仿真中验证模型合理性的同时,在供求总容量匹配与否2种情况下,对模拟结果进行比较,提出几点关于我国未来日前电力市场建设的参考建议。     

计及碳排放权交易的光热电站市场竞价策略研究

“碳中和·碳达峰”目标的提出加快了我国碳排放权交易市场(简称“碳市场”)的建设与发展。对于光热电站而言，在电力市场与碳市场中制定合理竞价的策略对于保障其自身投资回报至关重要。为此，提出了一种计及碳排放权交易的光热电站市场竞价策略。首先，分析了光热电站在电力市场与碳市场中的交易流程与框架，以及参与多市场的博弈均衡性。其次，计及新能源出力不确定性，提出了光热电站参与电力市场与碳市场的双层鲁棒优化模型。其中上层为光热电站竞价决策模型，下层为电力市场与碳市场出清模型。然后，针对这一非线性、多目标、多层规划问题，基于KKT条件和博弈均衡分析，将双层模型转换为单层模型。并基于强对偶理论和二进制扩展方法对模型中的非线性项线性化，以实现模型高效求解。最后，以典型光热电站为例进行了数值仿真，验证了所提竞价策略的合理性与优越性。     

计及碳排放权交易的发电商报价策略研究

基于agent的市场仿真方法描绘了存在二氧化碳排放权交易的市场环境下发电商的报价博弈过程,采用模拟退火Q学习算法模拟了发电商追求利润最大的行为,并给出了市场出清结果,进而分析了碳排放权交易机制对电力市场运营的影响。仿真计算表明,计及二氧化碳排放权交易后,agent发电商能够根据状态改变以利润最大为目标做出有利的报价决策,实施碳排放权交易会促进清洁能源的发展。     

碳交易机制下综合能源市场多供能主体均衡竞价策略

为了研究引入碳排放交易机制对综合能源市场(integrated energy market,IEM)运行和多供能主体竞价策略的影响,首先,构建了多供能主体碳交易奖惩规则;其次,基于多供能主体奖惩型碳交易机制建立了多供能主体竞价函数模型;然后,基于纳什均衡建立了碳交易机制下IEM多供能主体均衡竞价模型;鉴于所建模型具有高...