基于深度强化学习的电动汽车实时调度策略

电动汽车(EV)作为一种分布式储能装置,对抑制功率波动有着巨大的潜力。考虑EV接入的随机性及可再生能源出力和负荷的不确定性,利用不基于模型的深度强化学习方法,建立了以最小功率波动及最小充放电费用为目标的实时调度模型。为满足用户的用电需求,采用充放电能量边界模型表征电动汽车的充放电行为。在对所提模型进行日前训练及参数保存后,针对日内每一时刻系统运行的实时状态量,生成该时刻充放电调度策略。最后以某微电网为例,验证了所提基于深度强化学习的调度方法在满足用户充电需求的前提下,可以有效减小微电网内的功率波动,降低EV充放电费用;日内不需要迭代计算,可以满足实时调度的要求。     

基于多信息交互与深度强化学习的电动汽车充电导航策略

针对电动汽车动态行驶行为和随机充电行为的多信息融合特征以及多系统建模复杂度,提出了一种基于多信息交互与深度强化学习的电动汽车充电导航策略。该策略首先对“电动汽车集群优化储能云平台”采集的电动汽车实际运行数据进行建模与挖掘,通过数据预处理以及数据可视化显示得到电动汽车行驶、充电信息以及城市充电站信息。其次,分析了电动汽车充电调度过程符合马尔科夫决策定义,引入深度强化学习方法建立了充电导航模型。将“车-站-网”实时信息作为深度Q网络算法的状态空间,并将充电站的分配作为智能体的执行动作。通过对充电过程不同时段出行的成本和时间决策目标的评估,确定行驶途中与到站后的奖励函数。执行最高奖励对应的最优动作-值函数,为车主推荐最优充电站和规划行驶路径。最后,设计了多场景仿真算例验证了所提策略的可行性和有效性。     

基于深度强化学习的充光储能源站调度策略

为了应对大规模电动汽车调度模型求解复杂、算力要求高的问题,机器学习方法在电动汽车充电导航调度中越来越受到关注。针对充光储一体化能源站,文中提出了一种基于深度强化学习(DRL)的充光储能源站调度策略。首先,分析了能源站运行策略与DRL基本理论。其次,基于后悔理论刻画用户对不同充电方案时间与费用的心理状态,建立了智能体对\"人-车-站\"状态环境全感知模型,并引入时变ε-greedy策略作为智能体动作选择方法以提高算法收敛速度。最后,结合南京市实际道路与能源站分布设计了多场景算例仿真,结果表明所提方法在考虑用户心理效应的基础上能够有效提高能源站光伏消纳率,为电动汽车充电调度提供了一种新思路。     

基于分层强化学习的电动汽车充电引导方法

为了有效解决电动汽车充电目的地优化和充电路径规划问题,以及充电引导的在线实时决策问题,建立了考虑多种不确定因素的电动汽车充电引导双层优化模型,提出了一种基于分层增强深度Q网络强化学习(HEDQN)的电动汽车充电引导方法。所提HEDQN算法采用基于Huber损失函数的双竞争型深度Q网络算法,并包含2层增强深度Q网络(eDQN)算法。上层eDQN用于对电动汽车充电目的地的优化;在此基础上,下层eDQN用于对电动汽车充电路径的实时优化。最后,在某城市交通网络中对所提HEDQN算法进行仿真验证,仿真结果表明相比基于Dijkstra最短路径的就近推荐算法、单层深度Q网络强化学习算法和传统的分层深度Q网络强化学习算法,所提HEDQN算法能够有效降低电动汽车充电费用,实现电动汽车在线实时的充电引导。此外还验证了所提HEDQN算法在仿真环境变化后的适应性。     

集群电动汽车充电行为的深度强化学习优化方法

随着用电信息采集系统的推广,数据驱动的机器学习方法在用户侧用电行为优化领域的应用已引起广泛关注.利用深度强化学习方法(deep reinforcement learning,DRL),基于充电监测系统实时反馈的数据与分时电价信号,从负荷聚合商层面优化电动汽车(electric vehicles,EVs)充电行为.通过双...     

基于电动汽车充电负荷需求预测的电网调度优化*

现有的电网调度方法对电动汽车充电负荷需求的预测效果较差,预测的负荷变化趋势与实际情况相差较大,因此基于电动汽车充电负荷需求预测提出电网调度优化方法。根据电动汽车到达充电站的起始和终止时间,计算得到充电时长,电网调度再根据此时间段执行充放电活动。对历史负荷数据标记季节和假期属性,得到属性相似的初步样本,使用充电负荷数据的最值和平均值作为负荷属性,经过AP算法聚类后,利用CNN模型对样本负荷进行预测,其通道值分别为负荷值、温度和车流量,输出充电负荷需求值。根据充电负荷预测信息和剩余容量确定电网调度优化目标和调度约束条件,改变电动汽车的充电时刻,实现电网负荷优化。测试结果表明,该设计方法使用有序的充电策略保证了良好的优化调度效果,满足充电负荷需求。     

电动汽车充电调度综述

电动汽车因节能环保的优点得到大力推广,然而由于充电行为的随机性、不确定性,大规模电动汽车无序充电将对电网的安全稳定带来挑战。随着V2G技术的发展,电动汽车作为分布式电源和储能装置成为可能,这使得对电动汽车进行充电调度成为电网中一种新的调控手段,帮助消除电动汽车充电对电网产生的不利影响,同时也是消纳新能源发电的一种有效方式。简述了V2G技术和电动汽车充放电对电网产生的有利与不利影响,介绍了电动汽车充电负荷计算方法和几类充电调度策略。     

电动汽车充电设施的建设

随着智能电网建设的推进和电动汽车市场的成熟,电动汽车充电设施的建设成为亟待解决的问题,论述了电动汽车发展对电网的要求与影响,充电模式、充电站设计方案、充电设施的建设及充电设施的效益等,为下一步电动汽车充电设施的建设实施提供参考。     

基于强化学习的电动汽车集群实时优化调度策略

针对大规模电动汽车的实时调度存在维度高和随机性强等问题,提出基于强化学习的电动汽车集群实时优化调度策略。首先,以最小化综合成本（机组发电成本和补贴成本）为目标,建立电动汽车集群参与的电网机组经济调度模型。将实时阶段下的该模型构建为一个马尔可夫决策过程,利用基于最大熵的深度强化学习算法对马尔可夫决策过程进行模型训练和求解。此外,融合强化学习不依赖预测信息和运筹优化算法保证物理约束的优势,将电动汽车充电和机组出力分开优化调度。最后,通过算例验证所提策略在降低成本和削峰填谷方面的可行性和有效性。     

汽车充电站接入对电网电能质量的影响分析

汽车充电站的接入给电网的电能质量等方面带来诸多问．分析了汽车充电站并网方式产生的电能质量问题及目前提出的解决方法,探讨了汽车充电调度和有序充电的控制策．最后对充电汽车随智能电网的发展进行了展．     

Deep Reinforcement Learning Based Charging Scheduling for Household Electric Vehicles in Active Distribution Network

With the booming of electric vehicles（EVs） across the world, their increasing charging demands pose challenges to urban distribution networks. Particularly, due to the further implementation of time-of-use prices, the charging behaviors of household EVs are concentrated on low-cost periods, thus generating new load peaks and affecting the secure operation of the medium-and low-voltage grids. This problem is particularly acute in many old communities with relatively poor electricity infrastructure. In this paper, a novel two-stage charging scheduling scheme based on deep reinforcement learning is proposed to improve the power quality and achieve optimal charging scheduling of household EVs simultaneously in active distribution network（ADN） during valley period. In the first stage, the optimal charging profiles of charging stations are determined by solving the optimal power flow with the objective of eliminating peak-valley load differences. In the second stage, an intelligent agent based on proximal policy optimization algorithm is developed to dispatch the household EVs sequentially within the low-cost period considering their discrete nature of arrival. Through powerful approximation of neural network, the challenge of imperfect knowledge is tackled effectively during the charging scheduling process. Finally, numerical results demonstrate that the proposed scheme exhibits great improvement in relieving peak-valley differences as well as improving voltage quality in the ADN.     

基于马尔可夫决策过程的电动汽车充电站能量管理策略

电动汽车充电站作为并网分布式储能装置,是实现电动汽车与未来能源互联网深度融合的重要组成部分。考虑分时电价和电动汽车用户行为的不确定性,提出了以电动汽车充电站日运营成本最小化为目标的能量管理策略。为了减少对先验信息的依赖和约束,将优化问题建模为一个新的有限回合马尔可夫决策过程模型;基于传统成本模型提出奖惩回报函数,通过主动学习调度决策,得到每辆电动汽车的实时充放电行为;针对模型的高维状态空间问题,设计相应的状态空间和动作空间,采用一种卷积神经网络结构结合强化学习的方法,通过从原始数据观测中提取高质量的经验,获取最优调度策略以达到优化目标。仿真结果表明,与传统的充电策略相比,所提策略可以有效地降低充电站的日运营成本,保护电动汽车的电池,同时能满足电动汽车用户的充电需求。     

电动汽车充放电与风力/火力发电系统的协同优化运行

提出一种通过控制规模化电动汽车的充放电,使其能够与现有的风力/火力发电系统协同运行的优化调度策略。针对传统含电动汽车的电力系统优化模型没有考虑电动汽车用户成本,实用性不高的缺陷,建立了包含电网运行经济性、电动汽车用户成本、CO2排放、最小弃风量的多目标优化模型;提出了将改进的NSGA-II遗传算法和加权尺度法相结合的智能优化算法。应用该算法,求出多目标动态优化模型的帕累托前沿,获得了最符合实际的电力系统综合优化调度方案。对所提出的多目标优化调度方法进行了仿真计算,结果证明,采用所提优化策略可以获得最佳的火电、风电与电动汽车之间的出力方案。该方案符合实际,在合理的电动汽车用户成本范围内可有效地降低电网运行成本、风力发电弃风量和大气碳排放量,应用价值较高。     

电动汽车对电力市场的影响分析

通过预测分析2015、2020年吉林省电动汽车对售电量的影响,提出吉林省电力有限公司应加快智能电网建设,以推动电动汽车发展,增加经济效益。     

电动汽车充电对配电网的影响及对策

电动汽车的大规模使用将会对配电网产生直接影响。以某市一条10kV生活线路为对象,考虑了多种渗透率场景,从负荷、电网损耗和电压等几个方面分析了电动汽车充电对配电网的影响。分析结果表明当电动汽车渗透率较高时,车主的无控制充电行为将会对电网造成巨大的压力,而合理的电动汽车接入电网充电将有助于电网的经济运行。提出了电动汽车智能充电方法,该方法可在满足电动汽车充电需求的情况下,根据短期负荷趋势,对各时段可充电功率进行优化,达到平稳负荷、降低电能损耗和提高电压质量的目标。     

基于全局和局部最优模型的电动汽车充放电优化调度

电动汽车大规模入网将对电网产生重大影响。针对大规模具有动态响应特性的电动汽车充放电问题,提出了全局最优调度和局部最优调度两种模型。通过电动汽车响应的实时电价模型,分别建立含电池损耗成本、连续可微、带线性约束的凸目标函数。全局最优模型需要负载和电动汽车各项信息求解全局总成本最小的调度方案。局部最优调度模型对电动汽车进行分组,以分布式模式最小化滑动窗口内电动汽车组的总成本。通过内点法对两种模型求解表明:局部最优调度方案可以扩展到大型电动汽车群,对电动汽车的动态到达特性具有弹性。相对于全局最优调度模型复杂的求解信息,局部最优调度方案具有更高的实用性和相近的求解结果。