混合动力公交车深度强化学习能量管理策略研究

以某款双行星排混合动力公交车为样车,针对控制变量柴油机转速的离散控制和连续控制分别提出基于双深度Q网络(double deep Q-learning, DDQN)和基于双延迟深度确定性策略梯度(twin delayed deep deterministic policy gradients, TD3)的能量管理策略,并使用优先级经验回放对策略进行优化。运用仿真试验,研究样车在C-WTVC工况下的能量管理特性。通过与动态规划策略(dynamic programming, DP)进行对比发现：DDQN和TD3策略收敛速度快,具有较强的自适应能力;与DP策略相似,DDQN和TD3策略在控制逻辑上均表现为低速和较低转矩时纯电驱动,高速和较高转矩时混合驱动;三种策略下柴油机均主要工作于中低转速区间,且TD3策略可以对柴油机转速进行连续控制;DDQN和TD3策略的百公里油耗分别为19.51L和19.48L,燃油经济性均达到DP策略的93%,研究证明了DDQN和TD3策略的有效性。     

基于DDPG的光储微电网系统能量决策优化

为提高光储微电网系统中的能量管理效率及光电的就地消纳能力,文章以家庭光储微电网系统为研究对象,使用真实的气象数据和分时电价信息建立一个虚拟环境,与家庭光储微电网能量调度策略模型进行交互。采用深度确定性策略梯度算法学习控制蓄电池充/放电功率的连续性,将系统的即时收益和蓄电池可调整出力的加权和作为算法的立即回报,并测试和分析了不同重要性权重对实验结果的影响,最终确定了最优能量调度策略。结果表明,使用深度确定性策略梯度算法可以使系统很好地响应当前和未来的电价信息,在缓解电网压力的同时帮助用户利用能源峰谷电价差套利,并预留了一定的蓄电池调节能力,以减轻光伏出力波动引起的计划外电能交易,证明了该方法的实际意义和应用潜力。     

基于DDPG的换流站融合终端任务卸载与资源调度方法

随着电力数字化技术的快速发展,数字换流站作为电力系统的关键组成部分,面临着日益增加的计算压力。针对数字换流站中融合终端的计算业务需求,提出了一种云–边缘–本地三层计算卸载框架。考虑终端设备的移动性,文章以最小化系统总时延为目标,根据业务需求构建马尔科夫决策模型,采用基于深度确定性策略梯度算法的动态任务卸载优化方法实现对云–边–端三层的总体计算资源和网络资源的最优调度。通过搭建深度强化学习环境并仿真实验,结果表明,所提方案相比于边缘–本地双层卸载方案,系统总时延减少了29.6%。     

基于DDPG算法的发电企业报价策略研究

随着智能代理算法在解决发电企业代理报价策略问题中的优势不断凸显,国内外相关研究层出不穷。由于我国电力市场发展成熟度不够高,目前多数研究采用的是国外电力市场的交易模式,这不符合我国电力市场交易的实际情况,因此提出一种针对国内电力市场中长期集中竞价交易的报价模型。该报价模型建立在深度确定性策略梯度算法(Deep deterministic policy gradient,DDPG)的基础上,提出兼顾社会总效用最大化和发电企业自身收益的报价策略,建立了以市场环境和发电企业自身情况为参考的状态空间,同时还建立了按照统一边际价格出清的市场出清模型。通过仿真算例验证了该模型的可行性,并与Q-Learning算法的结果进行对比,同时也展现了发电企业自身情况对报价模型的市场出清结果和企业收益的影响。     

基于可进化PID的含电动汽车孤岛微电网负荷频率控制策略

电动汽车（electric vehicle,EV）作为具有车网互动（vehicle-to-grid,V2G）能力的移动储能组件,为微电网的频率稳定提供了更为灵活的控制方案。但是,分布式电源与电动汽车所具有的强非线性,也给微电网频率控制带来了新的挑战。为此,提出了一种基于可进化PID的含电动汽车微电网频率控制策略。首先,考虑电动汽车移动性和用户充电行为随机性,以及电动汽车充电站容量在日内的阶段性突变,建立了由电动汽车充电站、微型燃气轮机与分布式电源组成的微电网系统。其次,将PID与深度确定性策略梯度（DDPG）算法进行互补,形成可进化PID控制器,根据微电网系统实际情况完成状态空间、动作空间与奖励函数的设计,从而对PID控制器实现自适应权重参数的调整,有效解决了电动汽车与随机扰动所带来的强非线性影响。最后,仿真结果表明：与传统PID算法相比,可进化PID控制器不仅能够更有效地抑制强随机扰动所引起的频率波动,还可以更好地适用于系统参数和结构随时间发生变化的复杂工况。     

油电混合动力无人机能量管理策略的对比仿真研究

针对固定飞行任务的油电混合动力无人机,降低混合动力系统瞬时燃油消耗率,增加续航里程的工作需求,设计了可以应用于固定飞行任务油电混合动力无人机的不同能量管理策略,主要包括固定规则、模糊逻辑和动态规划算法的能量管理策略。根据油电混合动力无人机动力源特性,通过理论和试验建模相结合的方法,在MATLAB中建立油电混合动力系统的数学模型、飞行任务相对应的仿真工况及不同能量管理策略的控制程序。重点对比了基于优化的动态规划算法能量管理策略相比固定规则和模糊逻辑策略在燃油经济性和运行稳定性方面的表现。仿真结果表明：动态规划算法策略的累积燃油消耗量相比固定规则、模糊逻辑策略分别下降了4.6%和6.5%,平均瞬时燃油消耗率分别下降了5.1%和5.9%;在应对外部突风扰动时,动态规划能量管理策略的航空发动机最大转速波动相比固定规则的能量管理策略下降了59.7%,应对随机紊流扰动时,动态规划策略航空发动机的最大转速波动相比固定规则和模糊逻辑分别下降了33.9%、25.6%。动态算法作为一种全局最优算法,应用在固定飞行任务的油电混合动力无人机能量管理策略中时,可在提高混合动力系统燃油经济性的同时保证系统运行的稳定性。     

发动机管理策略对增程式电动车燃油经济性的影响研究

为了提高增程式电动车的燃油经济性,在传统定点控制式发动机管理策略的基础上,提出了模糊控制式管理策略,对不同的发动机管理策略进行了仿真研究。在CRUISE软件中建立了增程式电动车的驱动系统模型,并在Simulink中搭建了发动机管理策略模型。在模糊逻辑控制器中,使用T-S模糊系统和Mamdani模糊系统,并建立了模糊控制规则。在全球统一轻型车测试规程（worldwide light-duty test cycle,WLTC）循环工况下进行了联合仿真,将模糊控制式管理策略与定点控制式管理策略的结果进行了分析。仿真结果显示,与定点控制式管理策略相比,基于T-S模糊系统和Mamdani模糊系统的发动机管理策略使增程式电动车的燃油经济性分别提高了12.52%和10.60%。其中,基于T-S模糊系统的发动机管理策略效果更好,燃油经济性更高。     

混合动力货车能量管理策略硬件在环仿真研究

针对等效燃油消耗最小策略（equivalent consumption minimum strategy,ECMS）获得优化等效因子的途径提出了一种基于粒子群寻优算法的重型混合动力卡车等效油耗最小控制策略。该策略采用粒子群算法并以整车油耗与终止电池组荷电状态（state of charge,SOC）偏离目标SOC程度的绝对值加权之和作为适应性函数,对等效油耗最小策略的关键参数进行选取。根据该重型卡车的传动系统构型,基于Simulink建立了车辆的纵向动力学模型,并基于此模型分别设计了基于动态规划（dynamic programming,DP）算法优化规则的能量管理策略和基于等效油耗最小的控制策略。在选取的测试工况下验证优化后的策略,硬件在环测试结果表明,在保持SOC稳定的情况下相比于基于DP算法优化规则的能量管理策略,所提出的基于粒子群算法优化的等效油耗最小策略使发动机油耗降低3.63%及1.36%。     

氢燃料电池船舶能量管理策略

基于规则与基于功率跟随的控制方式分别设计氢燃料电池船舶能量管理策略,并对所设计的能量管理策略进行仿真分析。结果表明所设计的2种能量管理策略在船舶运营时能够满足锂电池的充电需求,维持锂电池荷电状态（state of charge,SOC）在合理范围内。与基于规则的能量管理策略相比,当采用能量跟随的能量管理策略时动力系统所需的锂电池容量更小,燃料电池工作点波动更频繁。     

混合动力重卡自适应等效燃油消耗最小化能量管理策略北大核心CSCD

为解决等效燃油消耗最小化策略的关键参数在不同工况下的动态调整,提出一种适用于混合动力重型汽车的自适应等效燃油消耗最小化策略(adaptive equivalent consumption minimization strategy,A-ECMS)。该策略以层次聚类算法得到的6种典型行驶工况为例,提出了一种基于神经网络工况识别算法。应用改进的混沌粒子群优化(chaosparticle swarm optimization,CPSO)算法优化特定驾驶循环下等效燃油消耗最小化策略(equivalent consumption minimization strategy,ECMS)的3个关键参数:等效因子、惩罚函数的比例因子和发动机起动车速阈值。提出了一种基于工况识别的新型自适应能量管理策略对关键参数进行优化,根据该重型卡车的传动系统构型,建立了车辆的纵向动力学模型,并通过仿真进行了验证。仿真结果表明复合工况驱动循环下的CPSO-ECMS和A-ECMS控制策略与传统等效燃油消耗策略相比,油耗分别降低了5.9%和8.9%。