基于改进EDRL的含V2G孤岛微电网频率综合控制策略

针对孤岛微电网中源荷不确定性所导致的频率失稳、电动汽车用户充电需求受损与微型燃气轮机调控成本增加等问题,提出了基于改进进化-深度强化学习(EDRL)的含电动汽车与电网互动(V2G)孤岛微电网频率综合控制策略。首先,考虑了V2G过程对电动汽车用户充电需求的影响,以及微型燃气轮机组出力分配对调控成本的影响,构建了微电网综合控制模型;其次,为了应对综合频率控制这类具有欺骗性奖励、稀疏奖励的工程任务,结合进化算法和深度强化学习算法,并基于新颖搜索加以改进,从而有效协助训练过程跳出局部最优解,逼近最优策略;进一步,以频率偏差、综合成本与电动汽车充电站信息为状态集,以调频机组出力作为动作集,以频偏与综合成本为奖励函数指标,完成了综合控制的结构设计。算例结果表明,所提出的控制器能够在保证微电网调频需求的情况下,有效降低微型燃气轮机组的调控成本与车主的充电需求损失。     

基于深度强化学习的孤立多微电网系统频率和电压综合控制

分布式电源出力不确定性和负荷功率扰动给孤立多微电网系统稳定带来较大威胁。提出基于多智能体柔性动作评价(MA-SAC)算法的孤立多微电网负荷频率控制器(LFC),同时采用柔性动作评价(SAC)算法对自动电压调节器(AVR)的比例积分(PI)控制参数进行优化调整。建立了多微电网LFC和AVR组合模型。对于电压和频率控制器的设计,分别根据SAC算法和多智能体深度强化学习(MA-DRL)框架建立各自的状态、动作空间与奖励函数。选择合适的神经网络与训练参数经过预学习生成深度强化学习控制器。最后通过仿真分析,基于SAC算法优化的PI控制器能更快跟踪电压参考值;多微电网系统遭遇功率扰动时,MA-SAC控制器可以快速维持频率稳定。     

基于深度Q学习的含电动汽车孤岛微电网负荷频率控制策略

负荷频率控制对维持孤岛微电网的稳定运行有着至关重要的意义.针对微电网受到强随机扰动和网络拓扑参数改变时的频率控制问题,文章提出了基于深度Q学习(deep Q-learning,DQN)的含电动汽车孤岛微电网负荷频率控制策略.首先,建立了考虑用户充电行为随机性的集群电动汽车频率控制模型,从而搭建出包含光伏、风电、微型燃气...     

基于可进化PID的含电动汽车孤岛微电网负荷频率控制策略

电动汽车（electric vehicle,EV）作为具有车网互动（vehicle-to-grid,V2G）能力的移动储能组件,为微电网的频率稳定提供了更为灵活的控制方案。但是,分布式电源与电动汽车所具有的强非线性,也给微电网频率控制带来了新的挑战。为此,提出了一种基于可进化PID的含电动汽车微电网频率控制策略。首先,考虑电动汽车移动性和用户充电行为随机性,以及电动汽车充电站容量在日内的阶段性突变,建立了由电动汽车充电站、微型燃气轮机与分布式电源组成的微电网系统。其次,将PID与深度确定性策略梯度（DDPG）算法进行互补,形成可进化PID控制器,根据微电网系统实际情况完成状态空间、动作空间与奖励函数的设计,从而对PID控制器实现自适应权重参数的调整,有效解决了电动汽车与随机扰动所带来的强非线性影响。最后,仿真结果表明：与传统PID算法相比,可进化PID控制器不仅能够更有效地抑制强随机扰动所引起的频率波动,还可以更好地适用于系统参数和结构随时间发生变化的复杂工况。