基于多智能体强化学习的电力现货市场定价机制研究(一):不同定价机制下发电商报价双层优化模型

电力现货市场定价机制是市场设计的重点问题之一,与发电商交易行为相互影响。定价机制设计需要考虑发电商可能的交易行为,而不同定价机制下发电商报价策略不同,为系统性地解决这一嵌套难题,形成2篇不同侧重点的论文。作为首篇,该文探讨强化学习在发电商报价决策中的适用性,完整考虑系统和分区边际电价的两阶段过程,构建节点、系统、分区3种边际电价定价机制下的发电商报价双层优化模型,并基于可变学习速率和策略爬山算法相结合的多智能体强化学习方法对模型进行迭代求解。该双层模型中,上层为发电商报价决策层,下层为市场出清层,以决策层优化的发电商报价信息和出清层计算的发电商中标信息作为上下层之间的交互数据,不断优化发电商报价策略。最后,以IEEE 39系统为例,选择4个典型负荷场景,优化3种定价机制下的发电商报价,结果表明:所提模型和算法可有效求解发电商最优报价策略,获取市场均衡结果。     

考虑发电商均衡报价的发电容量投资模型及其分析

基于发电商均衡报价,分别建立发电商的报价模型和容量投资决策模型,然后对模型进行求解,得出发电商在有无约束条件下的均衡发电量;在此基础上,分别对单个和双寡头发电商是否需要进行投资以及最优投资策略问题进行建模,最后对模型进行仿真分析.分析结果表明:垄断发电商不会进行投资增加电量供给,而双寡头发电商的投资策略则需要考虑电力市场初始的可发电量情况.     

日前和实时市场中发电商多目标二层规划竞价策略

由日前和实时市场组成的2市场交易机制是目前普遍存在的电力市场交易机制,在2市场中发电商的电量分配和竞价决策以及风险评估等都是受到广泛关注的问题。指出了现有文献在借鉴经济学和金融学的理论模型来研究多交易市场中发电商竞价策略时存在的问题。首先在分析了发电商竞价结果的概率分布之后,提出了发电商竞价成功概率分布函数的概念。然后基于日前和实时市场中投标结构的特点,针对采用分段报价和按报价结算(pay as bid price,PAB)方式的电力市场,建立了日前和实时市场中发电商的多目标二层规划竞价策略模型,并设计了以蒙特卡罗方法和遗传算法为基础的求解算法。最后采用算例对所提出的模型和算法进行了仿真验证。     

计及BSV有限理性模型和分段点优化的发电商策略竞标模型

在实时电力市场中，发电商可以通过策略报价提升收益，但是如何合理估计竞争对手的竞标行为，仍有待进一步研究。对此改进了经典的发电商策略竞标模型。首先，基于行为金融学中的“BSV有限理性模型”构建竞标对手行为模型，反映竞标对手作为“现实人”存在认知偏差这一现实。其次，考虑“分段点优化”竞标模式特点，建立了计及BSV有限理想模型和供应曲线分段点优化的发电商策略竞标模型，以期进一步提升竞标收益。该模型为双层优化模型，下层模型模拟实时市场出清，上层模型最大化发电商收益。它可通过库恩-塔克（KKT）条件、强对偶定理和特殊顺序集等方法转换为可由求解器直接求解的单层优化问题，即混合整数线性规划问题。最后，对具体算例进行分析，与估计对手非策略、策略报价的策略竞标模型相比，发电商的收益增加20%～30%。算例验证了采用BSV有限理性模型估计对手行为的有效性，证明了基于分段点优化的竞标模型可以进一步提升发电商的收益。这一研究对设计者完善市场规则同样具有借鉴意义。     

基于图形的发电商最优报价决策方法

作者基于供求关系建立了发电商优化报价的数学模型.传统上报价问题以基于博弈论的Nash均衡思想利用最优反应函数来求解,这在报价策略为一维时是有效的.但此文中发电商的行为是报价曲线,策略是其报价曲线的参数矢量,所以传统方法对此已不适用.作者利用图形来模拟交易中心的决策过程和发电商的竞价行为,通过在图形上运用Nash均衡的思想,直观地描述出发电商最优的报价曲线和收益曲线间的关系,得出了求解合理的Nash均衡策略的表达式.与传统方法相比,这种方法更简单易行.另外,对于不完全信息下的重复报价博弈,当各发电商都采用文中给出的报价机制时,通过迭代最终收敛于Nash均衡点.算例结果表明此方法是有效和实用的.     

基于博弈论的发电商报价策略研究

在对各种发电商竟价策略进行比较分析的基础上,结合我国电力市场的现状,选择了博弈论作为发电商报价决策的理论基础,并针对博弈论应用于电力市场的几种模型进行了分析,建立了以只改变报价曲线斜率为策略的报价策略模型;通过在模型中引入虚拟竞争对手的概念,将电力市场上多个发电商的竞争转化为两人博弈问题,将计算出的报价策略模型的最优解引入成本收益函数,从而得出最优报价决策.     

基才博弈论的发电商报价策略研究

在对各种发电商竞价策略进行比较分析的基础上,结合我国电力市场的现状,选择了博弈论作为发电商报价决策的理论基础,并针对博弈论应用于电力市场的几种模型进行了分析,建立了以只改变报价曲线斜率为策略的报价策略模型;通过在模型中引入虚拟竞争对手的概念,将电力市场上多个发电商的竞争转化为两人博弈问题,将计算出的报价策略模型的最优解引入成本收益函数,从而得出最优报价决策。     

发电商与煤炭商价格竞争的二级博弈优化模型

构建了市场条件下电煤价格竞争的博弈模型。该模型分为两层,第一层发电商根据煤炭企业和运输公司的报价进行最优购煤决策,第二层煤炭企业和运输公司依据发电商的决策模型选择最优的报价策略,通过求解KKT条件将两层优化模型融合为一层模型,求解Nash均衡得到模型的最优解。     

共聚反应机理的发电厂商报价策略的模型

电力市场条件下,发电商报价过程存在着复杂的策略依存关系,以聚合动力学为基础,构建了发电商报价策略的博弈模型,揭示了不同策略选择对市场占有额的影响以及发电商报价策略的调整和变化规律。通过分析发电商报价策略调整和均衡路径的变化,对区域电力市场发电商有效报价策略给出了一般性理论总结。     

基于Q学习算法的发电商报价策略模型

针对日前电力市场发电商利益最大化问题,利用Q学习算法构造了发电商策略报价模型。以发电商即时收益和市场相对占有率组成奖赏函数,使发电商策略收益最大化并同时达到提高市场占有率的目的。通过算例验证了模型的有效性,发现如果发电商试图提高市场占有率将选择低报价策略;考虑爬坡限制后使得24 h独立的Q学习联立,引起发电商报价策略变化。     

不同允许报价段数对发电公司报价策略的影响

针对国内外实际运营的电力市场中普遍采用的分段报价规约研究了不同允许报价容量段数对发电公司构造最优报价策略的影响。在研究初期以作为价格接受者的发电公司为研究对象,首先采用概率方法模拟电力市场中的电价并在此基础上采用等概率法建立了模拟发电公司最优报价策略的多段报价模型;然后研究了发电公司风险偏好程度和市场信息不对称对其构造最优报价策略的影响。最后通过算例对所提出的模型和方法进行了说明。     

输电阻塞中的多机组联合竞标策略

针对电力竞标市场中出现的输电阻塞问题,提出了基于功率分布系数的电价修正因子的概念和多机组联合竞标策略,并给出了相应的数学模型.该策略的本质是在现有的发电利润函数中,嵌入一可变的报价函数,使得在竞标过程中出现输电阻塞时,可以根据阻塞的情况调整相关机组的报价,从而有效地降低输电阻塞对发电厂商的影响,提高发电效益.多机组联合竞标策略基于由潮流追踪原理导出的系数.此策略能提高全部发电机组的利润,减轻阻塞区域之外的发电机组所受到的不利影响.9节点系统的算例验证了该方法的有效性.     

考虑风险约束的发电公司报价策略研究

针对采用分段报价策略和按发电公司报价结算的电力市场，提出了构造计及风险约束的发电公司最优报价策略的模型框架。在假设所研究的发电公司对其竞争对手的报价策略概率分布已知的前提下，首先提出了计算采用某种报价策略时的期望利润和相应风险的方法，然后根据发电公司自身的风险偏好，定义了在最大化利润和最小化风险这两个目标间折衷的效用函数，发展了使报价策略所产生的效用最大化的最优报价策略模型和以遗传算法为基础的求解方法。最后用一个有5个发电公司参与的电力市场为例来说明所提出的方法的基本特征。     

采用高低匹配机制的发电权交易市场中发电公司的竞价策略

发电权交易有利于优化电源结构,促进节能减排,在国内电力系统领域得到比较普遍的应用。发电公司在发电权交易市场中所采用的竞价策略直接影响其收益,因而是发电公司关注的重要问题。在此背景下,针对采用高低匹配机制的发电权集中竞价交易市场,发展了计及风险的发电公司的竞价策略。首先,建立了评估发电权交易双方的成本和收益的数学模型。之后,构建了发电公司参与采用高低匹配机制的发电权交易市场的计及风险的最优竞价策略的优化模型,并采用蒙特卡洛仿真方法求解。最后,用算例对所构造的最优竞价策略模型和采用的方法进行说明,并分析了发电权交易其他参与者的报价行为对所研究的发电公司最优报价策略的影响。     

计及网络阻塞影响的发电公司最优报价策略

在电力市场环境下发电公司要竞价上网，其最关心的问题是如何构造最优的报价策略以获取最大利润。输电系统容量不足所引起的阻塞问题可以起到分割市场的作用，从而改变发电公司在电力市场中所处的竞争位置，进而影响发电公司的最优报价策略。文中研究了计及输电网络阻塞影响情况下的发电公司的最优报价策略，在假设可用概率分布函数来描述竞争对手报价行为的基础上，系统地构造了描述这一问题的随机优化模型，并提出了基于蒙特卡罗仿真和遗传算法的求解方法。最后，用修改过的IEEEl4节点系统说明了所提出的方法的基本特征。     

The impacts of different bidding segment numbers on bidding strategies of generation companies

In a competitive electricity market, generation companies design bidding strategies to maximize their individual profits subject to the constraints imposed by bidding rules. For a generation company, obviously, the optimal bidding strategy and hence the potential of exercising market power may be different if different bidding rules are employed. Hence, a well-designed bidding protocol is vital to the effective and efficient operation of an electricity market. Based on the widely used stepwise bidding rules, the impacts of different numbers of bidding segments on the bidding strategies of generation companies are investigated. This study is focused on a price-taker generation company in an electricity market. A probabilisic model is used to simulate electricity price in the competitive market environment. With a given number of bidding segments, the optimal bidding strategy for a price-taker generation company is then developed. The effects of risk preferences as well as information asymmetry on the optimal bidding strategy are also examined. With particular references to the impacts of different numbers of bidding segments on the optimal bidding strategy, a numerical example is employed to demonstrate the validity of the proposed model and methodology.     

构造发电公司最优报价策略的机会约束规划方法

在采用暗标拍卖的电力市场环境中,发电公司在构造报价策略时需要对竞争对手的报价行为或市场电价进行估计,即报价决策是在不完全的信息基础上作出的,这样就不可避免地会带来一定的风险,因而需要进行风险管理.为避免现有的用方差度量风险时所存在的问题,作者借用了金融理论中的风险价值的思想,提出了与发电公司报价策略相关的风险的新的度量方法.在此基础上,构造了发电公司最优报价策略的机会约束规划模型,提出了将遗传算法嵌入蒙特卡罗随机模拟的求解方法.最后,用算例对所提出的模型和方法进行了验证.     

考虑套利因素的发电商竞价模型研究

电力市场中的核心电价机制在资源配置中起着基础性的作用。针对不完全电力市场中因网络拓扑各节点电价差异而产生的套利行为,提出用金融学无套利定价理论分析市场中存在的套利因素,分别从是否考虑套利因素2个方面建立发电商上网竞价的2种模型。通过仿真模拟电力市场中的风险交易,比较发电商在2种模型下的收益,得出不完全电力市场中套利竞价对于发电商的重要性,从而验证了该方法的合理性和可行性,为发电商在制定上网电价时提供了决策依据。     

计及输电容量约束的发电公司最优报价策略

在采用暗标拍卖的电力市场环境中,发电公司可以通过估计竞争对手的报价行为来构造最优的报价策略。在不考虑输电容量约束的情况下,已提出了解决这一问题的计算效率较高的直接优化方法。计及输电容量约束后,该问题要复杂得多,文中对此问题进行了研究,提出了互补直接优化方法,该方法在本质上是用求解线性方程组来替代费时的蒙特卡罗仿真,其计算速度较后者快得多,较好地解决了这一困难的问题。最后,用IEEE30节点测试系统对所提出的方法进行了计算分析,说明了其可行性和有效性。     

不确定信息下发电企业的报价策略研究

发电企业的报价决策是在不确定信息的基础上作出的,如何分析处理市场公布的历史信息并描述相关决策信息的不确定性是构建优化报价策略的前提。针对此问题,对发电企业自身报价策略和其他因素对市场电价的影响进行了分析,以表征市场环境的指标为特征向量,运用模糊聚类方法对历史交易数据进行分类,依据各类别的中标容量和市场电价的样本数据建立模糊回归模型,在此基础上构建了优化报价策略的模糊机会约束规划模型,并给出求解方法。该模型可以为决策者提供在市场信息不确定的条件下、不同置信水平下的折中方案。最后,以拥有多台机组的发电企业为例,说明了该模型的基本特征和功能。