基于深度强化学习的电动汽车实时调度策略

电动汽车(EV)作为一种分布式储能装置,对抑制功率波动有着巨大的潜力。考虑EV接入的随机性及可再生能源出力和负荷的不确定性,利用不基于模型的深度强化学习方法,建立了以最小功率波动及最小充放电费用为目标的实时调度模型。为满足用户的用电需求,采用充放电能量边界模型表征电动汽车的充放电行为。在对所提模型进行日前训练及参数保存后,针对日内每一时刻系统运行的实时状态量,生成该时刻充放电调度策略。最后以某微电网为例,验证了所提基于深度强化学习的调度方法在满足用户充电需求的前提下,可以有效减小微电网内的功率波动,降低EV充放电费用;日内不需要迭代计算,可以满足实时调度的要求。     

基于多信息交互与深度强化学习的电动汽车充电导航策略

针对电动汽车动态行驶行为和随机充电行为的多信息融合特征以及多系统建模复杂度,提出了一种基于多信息交互与深度强化学习的电动汽车充电导航策略。该策略首先对“电动汽车集群优化储能云平台”采集的电动汽车实际运行数据进行建模与挖掘,通过数据预处理以及数据可视化显示得到电动汽车行驶、充电信息以及城市充电站信息。其次,分析了电动汽车充电调度过程符合马尔科夫决策定义,引入深度强化学习方法建立了充电导航模型。将“车-站-网”实时信息作为深度Q网络算法的状态空间,并将充电站的分配作为智能体的执行动作。通过对充电过程不同时段出行的成本和时间决策目标的评估,确定行驶途中与到站后的奖励函数。执行最高奖励对应的最优动作-值函数,为车主推荐最优充电站和规划行驶路径。最后,设计了多场景仿真算例验证了所提策略的可行性和有效性。     

基于分层强化学习的电动汽车充电引导方法

为了有效解决电动汽车充电目的地优化和充电路径规划问题,以及充电引导的在线实时决策问题,建立了考虑多种不确定因素的电动汽车充电引导双层优化模型,提出了一种基于分层增强深度Q网络强化学习(HEDQN)的电动汽车充电引导方法。所提HEDQN算法采用基于Huber损失函数的双竞争型深度Q网络算法,并包含2层增强深度Q网络(eDQN)算法。上层eDQN用于对电动汽车充电目的地的优化;在此基础上,下层eDQN用于对电动汽车充电路径的实时优化。最后,在某城市交通网络中对所提HEDQN算法进行仿真验证,仿真结果表明相比基于Dijkstra最短路径的就近推荐算法、单层深度Q网络强化学习算法和传统的分层深度Q网络强化学习算法,所提HEDQN算法能够有效降低电动汽车充电费用,实现电动汽车在线实时的充电引导。此外还验证了所提HEDQN算法在仿真环境变化后的适应性。     

基于深度强化学习的充光储能源站调度策略

为了应对大规模电动汽车调度模型求解复杂、算力要求高的问题,机器学习方法在电动汽车充电导航调度中越来越受到关注。针对充光储一体化能源站,文中提出了一种基于深度强化学习(DRL)的充光储能源站调度策略。首先,分析了能源站运行策略与DRL基本理论。其次,基于后悔理论刻画用户对不同充电方案时间与费用的心理状态,建立了智能体对"人-车-站"状态环境全感知模型,并引入时变ε-greedy策略作为智能体动作选择方法以提高算法收敛速度。最后,结合南京市实际道路与能源站分布设计了多场景算例仿真,结果表明所提方法在考虑用户心理效应的基础上能够有效提高能源站光伏消纳率,为电动汽车充电调度提供了一种新思路。     

集群电动汽车充电行为的深度强化学习优化方法

随着用电信息采集系统的推广,数据驱动的机器学习方法在用户侧用电行为优化领域的应用已引起广泛关注.利用深度强化学习方法(deep reinforcement learning,DRL),基于充电监测系统实时反馈的数据与分时电价信号,从负荷聚合商层面优化电动汽车(electric vehicles,EVs)充电行为.通过双...     

基于电动汽车充电负荷需求预测的电网调度优化*

现有的电网调度方法对电动汽车充电负荷需求的预测效果较差,预测的负荷变化趋势与实际情况相差较大,因此基于电动汽车充电负荷需求预测提出电网调度优化方法。根据电动汽车到达充电站的起始和终止时间,计算得到充电时长,电网调度再根据此时间段执行充放电活动。对历史负荷数据标记季节和假期属性,得到属性相似的初步样本,使用充电负荷数据的最值和平均值作为负荷属性,经过AP算法聚类后,利用CNN模型对样本负荷进行预测,其通道值分别为负荷值、温度和车流量,输出充电负荷需求值。根据充电负荷预测信息和剩余容量确定电网调度优化目标和调度约束条件,改变电动汽车的充电时刻,实现电网负荷优化。测试结果表明,该设计方法使用有序的充电策略保证了良好的优化调度效果,满足充电负荷需求。     

电动汽车充电调度综述

电动汽车因节能环保的优点得到大力推广,然而由于充电行为的随机性、不确定性,大规模电动汽车无序充电将对电网的安全稳定带来挑战。随着V2G技术的发展,电动汽车作为分布式电源和储能装置成为可能,这使得对电动汽车进行充电调度成为电网中一种新的调控手段,帮助消除电动汽车充电对电网产生的不利影响,同时也是消纳新能源发电的一种有效方式。简述了V2G技术和电动汽车充放电对电网产生的有利与不利影响,介绍了电动汽车充电负荷计算方法和几类充电调度策略。     

电动汽车充电设施的建设

随着智能电网建设的推进和电动汽车市场的成熟,电动汽车充电设施的建设成为亟待解决的问题,论述了电动汽车发展对电网的要求与影响,充电模式、充电站设计方案、充电设施的建设及充电设施的效益等,为下一步电动汽车充电设施的建设实施提供参考。     

基于强化学习的电动汽车集群实时优化调度策略

针对大规模电动汽车的实时调度存在维度高和随机性强等问题,提出基于强化学习的电动汽车集群实时优化调度策略。首先,以最小化综合成本（机组发电成本和补贴成本）为目标,建立电动汽车集群参与的电网机组经济调度模型。将实时阶段下的该模型构建为一个马尔可夫决策过程,利用基于最大熵的深度强化学习算法对马尔可夫决策过程进行模型训练和求解。此外,融合强化学习不依赖预测信息和运筹优化算法保证物理约束的优势,将电动汽车充电和机组出力分开优化调度。最后,通过算例验证所提策略在降低成本和削峰填谷方面的可行性和有效性。     

基于强化学习的电动汽车换电站实时调度策略优化

随着电动汽车的应用推广,换电站的调度优化逐渐成为研究热点。传统的基于换电需求预测值的调度策略在实际应用中面临着难以适应动态干扰因素、预测误差累积等问题。为了解决这些问题,提出了一种基于带基线的蒙特卡罗策略梯度法的换电站实时调度策略,用于优化换电站的充放电策略以及响应电池数量。提出了带基线的蒙特卡罗策略梯度强化学习,并为换电站实时调度问题选取合适的状态空间和动作空间;设计了奖励函数对智能体进行离线训练,从电池状态数据、分时电价和排队电动汽车数量中学习得到最优策略网络;在离线训练好的模型基础上进行实时调度策略测试。基于换电站的服务可用率和经济效益验证了所提调度策略的有效性和经济性,算例结果表明所提策略能对电网负荷起到一定的削峰填谷作用。     

基于马尔可夫决策过程的电动汽车充电站能量管理策略

电动汽车充电站作为并网分布式储能装置,是实现电动汽车与未来能源互联网深度融合的重要组成部分。考虑分时电价和电动汽车用户行为的不确定性,提出了以电动汽车充电站日运营成本最小化为目标的能量管理策略。为了减少对先验信息的依赖和约束,将优化问题建模为一个新的有限回合马尔可夫决策过程模型;基于传统成本模型提出奖惩回报函数,通过主动学习调度决策,得到每辆电动汽车的实时充放电行为;针对模型的高维状态空间问题,设计相应的状态空间和动作空间,采用一种卷积神经网络结构结合强化学习的方法,通过从原始数据观测中提取高质量的经验,获取最优调度策略以达到优化目标。仿真结果表明,与传统的充电策略相比,所提策略可以有效地降低充电站的日运营成本,保护电动汽车的电池,同时能满足电动汽车用户的充电需求。     

电动汽车充电站智能化调度研究

通过电动汽车充电站智能化调度控制,服务器将充电站信息发送给已请求充电的电动汽车用户,用户根据其提供的信息,选择最近且有空余充电位的充电站进行充电。该智能化调度可以帮助电动汽车用户快速就近找到充电站,有效减少充电等待时间。     

电动汽车充电模式与充电站建设研究

电动汽车是一种发展前景广阔的绿色交通工具,是解决能源和环境问题的重要手段。电动汽车充电站为电动汽车运行提供能越补给,是发展电动汽车所必须的重要配套基础设施。比较研究了3种类型充电模式的优缺点,并从电能外部接入角度对允电站的建设进行了初步研究。     

基于全局和局部最优模型的电动汽车充放电优化调度

电动汽车大规模入网将对电网产生重大影响。针对大规模具有动态响应特性的电动汽车充放电问题,提出了全局最优调度和局部最优调度两种模型。通过电动汽车响应的实时电价模型,分别建立含电池损耗成本、连续可微、带线性约束的凸目标函数。全局最优模型需要负载和电动汽车各项信息求解全局总成本最小的调度方案。局部最优调度模型对电动汽车进行分组,以分布式模式最小化滑动窗口内电动汽车组的总成本。通过内点法对两种模型求解表明:局部最优调度方案可以扩展到大型电动汽车群,对电动汽车的动态到达特性具有弹性。相对于全局最优调度模型复杂的求解信息,局部最优调度方案具有更高的实用性和相近的求解结果。     

考虑车辆充电调度机制的电动公交车充电站规划

针对电动公交车充电站的最佳充电容量难以确定及其充电效率低的问题,提出了一种在站址既定情况下考虑车辆充电调度机制的电动公交车充电站优化规划方法。首先,根据电动公交车的发车状态模拟电动公交车日常运行中的电能消耗,生成电动公交车的总运行负荷时序曲线;然后,基于生成的运行负荷时序曲线,构建充电需求度指标,制定电动公交车的充电调度机制;最后,在满足电动公交车充电需求的同时兼顾充电站精细化规划的要求,建立以充电能力最强、投资运行成本最小、光伏能源综合利用指标最大为优化目标的充电站多目标优化规划模型,并采用小生境多目标粒子群优化算法对该模型进行求解,以确定电动公交车充电站的充电桩数量以及光伏发电系统和配电变压器的容量。工程实例分析结果验证了所提方法的正确性和有效性。     

基于深度强化学习的光储充电站储能系统优化运行

优化储能充放电策略有利于提升光储充电站运行经济性,但是现有模型驱动的随机优化方法无法全面考虑储能系统的复杂运行特性以及光伏发电功率、电动汽车充电负荷的不确定性.因此,提出一种基于深度强化学习的光储充电站储能系统全寿命周期优化运行方法.首先对储能运行效率模型和容量衰减模型进行精细化建模.然后考虑电动汽车充电需求、光伏出力和电价的不确定性,在满足电动汽车充电需求和光伏消纳的条件下,以光储充电站收益最大化为目标,建立了基于强化学习的储能优化运行问题.考虑到储能充放电决策动作的连续性,采用双延迟深度确定性策略梯度算法进行求解.采用实际历史数据对模型进行训练,根据当前时段状态对储能充放电策略进行实时优化.最后,对所提方法及模型进行测试,并将所提出的方法与传统模型驱动方法进行对比,结果验证了所提方法及模型的有效性.     

基于ARM的电动汽车智能快速充电系统研究

能源问题、城市污染问题及二氧化碳的排放问题使电动汽车在交通市场上具有很大的优越性,但电动汽车蓄电池快速智能充电问题限制了电动汽车工业的发展。提出了以ARM处理器为核心,结合嵌入式操作系统的一种快速智能充电系统,该充电系统减少了汽车蓄电池的充电时间。LCD触摸屏实现人机交互并显示蓄电池的电压、电流和温度,GSM通信以短信的方式通知车主蓄电池的充电情况,实现远程操控与智能充电。