基于深度强化学习的电动汽车充电调度算法研究进展

对电动汽车的充电过程进行优化调度有利于电网安全稳定运行,提升道路通行效率,提高可再生能源利用率,减少用户充电时间和充电费用。深度强化学习可以有效解决电动汽车充电优化调度面临的随机性和不确定性因素的影响。首先,概述了深度强化学习的工作原理,对比分析了不同种类强化学习的特点和应用场合。然后,从静态充电调度和动态充电调度两方面综述了基于深度强化学习的电动汽车充电调度算法研究成果,分析了现有研究的不足。最后,展望了该领域未来的研究方向。     

基于深度强化学习的电动汽车实时调度策略

电动汽车(EV)作为一种分布式储能装置,对抑制功率波动有着巨大的潜力。考虑EV接入的随机性及可再生能源出力和负荷的不确定性,利用不基于模型的深度强化学习方法,建立了以最小功率波动及最小充放电费用为目标的实时调度模型。为满足用户的用电需求,采用充放电能量边界模型表征电动汽车的充放电行为。在对所提模型进行日前训练及参数保存后,针对日内每一时刻系统运行的实时状态量,生成该时刻充放电调度策略。最后以某微电网为例,验证了所提基于深度强化学习的调度方法在满足用户充电需求的前提下,可以有效减小微电网内的功率波动,降低EV充放电费用;日内不需要迭代计算,可以满足实时调度的要求。     

基于深度确定性策略梯度算法的风光储系统联合调度策略

针对风光储联合系统的调度问题,提出了一种基于深度强化学习的风光储系统联合调度模型。首先,以计划跟踪、弃风弃光以及储能运行成本最小为目标,建立了充分考虑风光储各个场站约束下的联合调度模型。然后,定义该调度模型在强化学习框架下的系统状态变量、动作变量以及奖励函数等,引入了深度确定性策略梯度算法,利用其环境交互、策略探索的机制,学习风光储系统的联合调度策略,以实现对联合系统功率跟踪,减少弃风弃光以及储能充放电。最后,借用西北某地区风电、光伏、跟踪计划的历史数据对模型进行了训练和算例分析,结果表明所提方法可以较好地适应不同时期的风光变化,得到在给定风光下联合系统的调度策略。     

基于多信息交互与深度强化学习的电动汽车充电导航策略

针对电动汽车动态行驶行为和随机充电行为的多信息融合特征以及多系统建模复杂度,提出了一种基于多信息交互与深度强化学习的电动汽车充电导航策略。该策略首先对“电动汽车集群优化储能云平台”采集的电动汽车实际运行数据进行建模与挖掘,通过数据预处理以及数据可视化显示得到电动汽车行驶、充电信息以及城市充电站信息。其次,分析了电动汽车充电调度过程符合马尔科夫决策定义,引入深度强化学习方法建立了充电导航模型。将“车-站-网”实时信息作为深度Q网络算法的状态空间,并将充电站的分配作为智能体的执行动作。通过对充电过程不同时段出行的成本和时间决策目标的评估,确定行驶途中与到站后的奖励函数。执行最高奖励对应的最优动作-值函数,为车主推荐最优充电站和规划行驶路径。最后,设计了多场景仿真算例验证了所提策略的可行性和有效性。     

基于深度强化学习的光储充电站储能系统优化运行

优化储能充放电策略有利于提升光储充电站运行经济性,但是现有模型驱动的随机优化方法无法全面考虑储能系统的复杂运行特性以及光伏发电功率、电动汽车充电负荷的不确定性.因此,提出一种基于深度强化学习的光储充电站储能系统全寿命周期优化运行方法.首先对储能运行效率模型和容量衰减模型进行精细化建模.然后考虑电动汽车充电需求、光伏出力和电价的不确定性,在满足电动汽车充电需求和光伏消纳的条件下,以光储充电站收益最大化为目标,建立了基于强化学习的储能优化运行问题.考虑到储能充放电决策动作的连续性,采用双延迟深度确定性策略梯度算法进行求解.采用实际历史数据对模型进行训练,根据当前时段状态对储能充放电策略进行实时优化.最后,对所提方法及模型进行测试,并将所提出的方法与传统模型驱动方法进行对比,结果验证了所提方法及模型的有效性.     

基于深度强化学习的自适应不确定性经济调度

当风电、光伏等间歇性电源大规模接入电力系统时,为应对其出力的不确定性,电力系统经济调度模型需建立在对不确定性建模的基础上,建模精确度将直接影响调度结果的精确度。但当系统同时包含风电、光伏和负荷复杂的不确定性时,对系统整体不确定性进行精确建模显得尤为困难。针对这一问题,引入深度强化学习中深度确定性策略梯度算法,避免对复杂的不确定性进行建模,利用其与环境交互、根据反馈学习改进策略的机制,自适应不确定性的变化。为确保算法适用性,进行了模型泛化方法的设计,针对算法稳定性问题进行了感知-学习比例调整和改进经验回放的机制设计。算例结果表明,所提方法能在自适应系统不确定性的基础上,实现任意场景下的电力系统动态经济调度。     

基于强化学习的电动汽车集群实时优化调度策略

针对大规模电动汽车的实时调度存在维度高和随机性强等问题,提出基于强化学习的电动汽车集群实时优化调度策略。首先,以最小化综合成本（机组发电成本和补贴成本）为目标,建立电动汽车集群参与的电网机组经济调度模型。将实时阶段下的该模型构建为一个马尔可夫决策过程,利用基于最大熵的深度强化学习算法对马尔可夫决策过程进行模型训练和求解。此外,融合强化学习不依赖预测信息和运筹优化算法保证物理约束的优势,将电动汽车充电和机组出力分开优化调度。最后,通过算例验证所提策略在降低成本和削峰填谷方面的可行性和有效性。     

基于多智能体深度强化学习的分布式电源优化调度策略

针对分布式电源集中优化调度难以解决隐私保护的问题,提出一种基于多智能体深度强化学习的分布式优化调度方法。该方法可自适应源荷不确定性,在源荷随机波动的情况下实时给出优化调度策略。首先,阐述了基于通信神经网络架构的多智能体深度强化学习方法原理。然后,提出基于多智能体深度强化学习的分区分布式优化调度框架,以日运行成本最低为目标构建日前优化调度模型,并考虑各种运行约束。继而,采用近端策略优化算法对该模型进行离线训练,利用训练好的模型进行在线优化调度决策。最后通过改进IEEE33节点算例进行仿真验证,结果表明,各自治区域在仅利用局部通信的情况下即可计算出各自的近似全局最优解。     

基于深度强化学习的微能源系统优化调度

微能源系统是城市配网终端的重要聚合部分,其应对源荷随机特性的能力为城市配网稳定运行提供了有效支撑。针对城市工业园微能源系统提出一种考虑源荷随机波动的动态调度方法。考虑工业园多种可调度资源对微能源系统的经济调度构建数学模型,然后将构建的微能源系统经济调度模型表示为具有连读动作调节的深度强化学习(DRL)模型,最后采用双延迟深度确定性策略梯度算法获取DRL模型下的动态连续调度策略。所提方法不仅避免对源荷随机波动的不确定性进行建模,同时也避免了离散Q学习的可调节设备出力不连续性。仿真结果表明所提出的动态调度方法具有更好的经济性和自适应性。     

融合图神经网络模型与强化学习的综合能源系统优化调度

随着人工智能技术特别是强化学习在能源优化调度领域的深入研究,将系统状态表示为向量用于学习的模式,其训练效率与信息利用率较低。针对这一问题,提出了一种融合图神经网络模型与强化学习的综合能源系统优化调度方法。首先,将电-热-气综合能源系统建模为图结构数据,充分利用系统的拓扑信息。其次,提出了基于图神经网络架构的强化学习模型,使其可以充分利用图结构信息实现更快的训练速度,获得更大的探索空间。最后,将表示系统状态的图结构信息送入该模型进行训练,算例仿真验证了该方法的训练效率与探索能力。     

面向光储充一体化社区的有序充电策略研究

针对当前有序充电策略优化目标单一且未考虑新能源出力的现状,提出了面向光储充一体化社区的有序充电策略。首先,将降低社区负荷峰谷差作为电网层优化目标,将减少用户充电费用作为用户层优化目标,完成双层多目标有序充电模型的设计。其次,设计基于云边协同的调度架构,将电网层优化模型部署在云端侧,用户层优化模型部署在边缘侧。该架构能有效利用边缘侧的计算资源,缓解云端侧面对电动汽车大规模接入时的计算压力。最后,以5种充电场景为例进行算例分析。实验表明,与无序充电相比,所提策略能够使社区负荷峰谷差减少40.47%,充电均价减少52.63%。与单层有序充电策略相比,该策略综合效果优势明显,在保障配电网安全稳定运行的同时,兼顾电动汽车用户的经济利益。     

不确定性环境下基于深度强化学习的综合能源系统动态调度

随着综合能源系统中间歇性能源和负荷不确定性的逐步增强,传统的调度方法局限于固定物理模型及参数设定,难以较好地动态响应源荷的随机波动。针对这一问题,提出了一种基于深度强化学习的综合能源系统动态调度方法。首先,以数据驱动方式构建面向综合能源系统的深度强化学习模型,通过智能体与综合能源系统的持续交互,自适应学习调度策略,降低对物理模型的依赖程度。其次,通过添加随机扰动的方式表征源荷不确定性变化特征,针对不确定性变化特征改进深度强化学习模型的状态空间、动作空间、奖励机制以及训练流程等关键环节,并经由近端策略优化算法优化求解,实现了综合能源系统的动态调度决策。最后,通过算例仿真验证了所提方法在不同时间尺度以及不确定性环境下的可行性和有效性。     

电动汽车充电站智能化调度研究

通过电动汽车充电站智能化调度控制,服务器将充电站信息发送给已请求充电的电动汽车用户,用户根据其提供的信息,选择最近且有空余充电位的充电站进行充电。该智能化调度可以帮助电动汽车用户快速就近找到充电站,有效减少充电等待时间。     

基于强化学习的电动汽车换电站实时调度策略优化

随着电动汽车的应用推广,换电站的调度优化逐渐成为研究热点。传统的基于换电需求预测值的调度策略在实际应用中面临着难以适应动态干扰因素、预测误差累积等问题。为了解决这些问题,提出了一种基于带基线的蒙特卡罗策略梯度法的换电站实时调度策略,用于优化换电站的充放电策略以及响应电池数量。提出了带基线的蒙特卡罗策略梯度强化学习,并为换电站实时调度问题选取合适的状态空间和动作空间;设计了奖励函数对智能体进行离线训练,从电池状态数据、分时电价和排队电动汽车数量中学习得到最优策略网络;在离线训练好的模型基础上进行实时调度策略测试。基于换电站的服务可用率和经济效益验证了所提调度策略的有效性和经济性,算例结果表明所提策略能对电网负荷起到一定的削峰填谷作用。     

考虑充放储一体站与电动汽车互动的主从博弈优化调度策略

针对大规模电动汽车(electrical vehicle,EV)接入微电网造成的负荷压力,提出一种考虑充放储一体站(charging-discharging-storage integrated station,CDSIS)与EV互动的主从博弈优化调度策略。首先,通过建立CDSIS模型,并针对CDSIS多场景进行分段设置。其次,建立动态路网模型并结合EV出行特性,预测城市区域路网约束下的EV充电负荷时空分布。并根据预测结果建立EV及CDSIS多目标主从博弈优化调度模型,对EV用户、CDSIS收益进行多目标协调。最后,以某城市主城区域部分交通路网结合IEEE33节点配电系统进行仿真,分析电价与CDSIS储能设备容量对城市区域内EV用户和CDSIS站收益的影响。结果表明,所提主从博弈模型与调度策略能够使得EV用户与CDSIS双方得到最大收益。     

含风电的多种形式储能协调调度多目标优化模型

随着大规模储能的日渐广泛应用,其灵活的出力调节能力为含大规模风电接入的电网优化调度运行提供了解决思路。针对电力系统中储能以电源侧、电网侧以及用户侧等多种形式并存的情况,建立多种形式储能协调调度多目标优化模型。该模型考虑风储一体化电站、电网侧电池储能电站和电动汽车参与系统调度运行,深入挖掘多种形式储能的互补调节能力,有效增加了电网的调节容量;电池储能电站面向电网调控运行,考虑其参与系统调峰并提供备用的功能,充分利用储能的可调空间优化系统运行。考虑到不同形式储能的利益主体不同,构建以风储一体化电站上网收益最大、系统总运行成本最小、电动汽车车主支付费用最小的多目标优化调度模型。基于十机算例系统的仿真实验说明:所提模型能兼顾各形式储能投资主体的利益,削减负荷峰谷差,提高风电的消纳能力,不同的储能初始剩余能量对系统整体运行经济性的影响不同。     

基于马尔可夫决策过程的电动汽车充电站能量管理策略

电动汽车充电站作为并网分布式储能装置,是实现电动汽车与未来能源互联网深度融合的重要组成部分。考虑分时电价和电动汽车用户行为的不确定性,提出了以电动汽车充电站日运营成本最小化为目标的能量管理策略。为了减少对先验信息的依赖和约束,将优化问题建模为一个新的有限回合马尔可夫决策过程模型;基于传统成本模型提出奖惩回报函数,通过主动学习调度决策,得到每辆电动汽车的实时充放电行为;针对模型的高维状态空间问题,设计相应的状态空间和动作空间,采用一种卷积神经网络结构结合强化学习的方法,通过从原始数据观测中提取高质量的经验,获取最优调度策略以达到优化目标。仿真结果表明,与传统的充电策略相比,所提策略可以有效地降低充电站的日运营成本,保护电动汽车的电池,同时能满足电动汽车用户的充电需求。