基于深度强化学习的多能流楼宇低碳调度方法

建筑减排已成为中国达到“双碳”目标的重要途径,智慧楼宇作为多能流网络耦合的综合能源主体,面临碳排放量较多、多能流网络耦合程度高、负荷用能行为动态特性明显等问题。针对这一问题,提出基于深度强化学习的多能流楼宇低碳调度方法。首先,根据智慧楼宇的实际碳排放量,建立了一种奖惩阶梯型碳排放权交易机制。其次,面向碳市场和多能流耦合网络,以最小化运行成本为目标函数,建立多能流低碳楼宇调度模型,并将该调度问题转换为马尔可夫决策过程。然后,利用Rainbow算法进行优化调度问题的求解。最后,通过仿真分析验证了优化调度模型的可行性及有效性。     

基于深度强化学习的微电网优化运行策略

风电、光伏、负荷的不确定性给含有高比例可再生能源的微电网制定运行策略带来了挑战,人工智能技术的发展为解决微电网运行优化问题提供了新思路。基于强化学习框架,将微电网运行问题转化为马尔可夫决策过程,以最大化微电网经济利益和居民满意度为目标,提出一种基于深度强化学习的微电网在线调度方法。为了在深度强化学习训练的过程中高效利用经验,设计一种优先经验存储的深度确定性策略梯度(PES-DDPG)算法,学习各类环境下不同时段的微电网最优调度策略。算例结果表明,PES-DDPG算法能够为微电网提供有效的调度策略,并实现微电网的实时优化。     

基于深度强化学习的微电网在线优化

针对微电网的随机优化调度问题,提出了一种基于深度强化学习的微电网在线优化算法。利用深度神经网络近似状态-动作值函数,把蓄电池的动作离散化作为神经网络输出,然后利用非线性规划求解剩余决策变量并计算立即回报,通过Q学习算法,获取最优策略。为使得神经网络适应风光负荷的随机性,根据风电、光伏和负荷功率预测曲线及其预测误差,利用蒙特卡洛抽样生成多组训练曲线来训练神经网络;训练完成后,保存权重,根据微电网实时输入状态,神经网络能实时输出蓄电池的动作,实现微电网的在线优化调度。在风电、光伏和负荷功率发生波动的情况下与日前优化结果进行对比,验证了该算法相比于日前优化在微电网在线优化中的有效性和优越性。     

基于碳排放流理论的电力系统源-荷协调低碳优化调度

在低碳电力的背景下,需求侧资源逐渐参与电力系统调度,为降低电力系统碳排放提供了新思路.建立了一种考虑碳排放流理论和以碳价为价格信号的需求响应电力系统两阶段低碳优化调度模型.首先,以电力系统经济调度为一阶段优化模型.其次,基于Shapley值碳责任分摊方法,计算出各负荷侧碳责任合理范围并由此提出阶梯碳价定制方法,然后基于...     

基于深度学习的微电网优化调度辅助决策方法

随着可再生能源以及电力电子设备的高比例接入,微电网控制决策优化以及调度方式将面临极大的问题和挑战,南方电网公司正在向“能源价值链整合商”转型,将有可能运维数以万计的微电网,传统的模型驱动、预案式控制、人工值守的调度模式将难以满足需求。面向人工智能在微电网自动运行调控领域的需求,提出了基于深度学习的微电网优化调度辅助决策方法。首先介绍了微电网优化运行的典型数学规划模型,分析了模型驱动的建模求解方法的难点和局限性,接着提出了基于深度双向长短期记忆网络的微电网日前优化调度深度学习模型和方法,给出了模型输出结果的修正与处理原则,最后通过算例分析验证了本文模型和算法的有效性。     

基于深度强化学习的充光储能源站调度策略

为了应对大规模电动汽车调度模型求解复杂、算力要求高的问题,机器学习方法在电动汽车充电导航调度中越来越受到关注。针对充光储一体化能源站,文中提出了一种基于深度强化学习(DRL)的充光储能源站调度策略。首先,分析了能源站运行策略与DRL基本理论。其次,基于后悔理论刻画用户对不同充电方案时间与费用的心理状态,建立了智能体对"人-车-站"状态环境全感知模型,并引入时变ε-greedy策略作为智能体动作选择方法以提高算法收敛速度。最后,结合南京市实际道路与能源站分布设计了多场景算例仿真,结果表明所提方法在考虑用户心理效应的基础上能够有效提高能源站光伏消纳率,为电动汽车充电调度提供了一种新思路。     

基于确定性策略梯度深度强化学习和模仿学习的多源微电网经济优化调度策略

当前国家大力实施“双碳”战略,以新能源为主体的新型电力系统将呈现爆发式增长,风电、光伏等新能源机组逐渐成为主力电源,微电网得以提出并迅速发展,其调度与优化问题也成为研究的热点。传统的基于数学建模与求解的微电网有功优化调度方法计算量大且十分复杂,存在易陷入局部最优、模型修改困难等瓶颈问题,因此提出基于确定性策略梯度深度强化学习(DDPG)和模仿学习(XGBoost)的经济优化调度策略。首先构建微电网有功优化调度的统一预置数学模型,其次通过构建XGBoost模型学习得到初始宏观决策,最后再构建基于DDPG的微电网有功调度人工智能模型。通过进行XGBoost分类器和DDPG神经网络离线训练,得出基于确定性策略梯度深度强化学习和模仿学习的微电网优化调度在线决策模型,最后通过算例分析验证了模型和算法的有效性。     

基于改进深度强化学习的智能微电网群控制优化方法

针对微电网群控制的经济效益、负荷波动以及碳排放问题,提出一种基于改进深度强化学习的智能微电网群运行优化方法。首先,计及分布式电源、电动汽车及负荷特性,提出微电网的系统模型。然后,针对微电网群的运行特点,提出4个系统优化目标和5个约束条件,并且引入分时电价机制调控负荷运行。最后,利用改进深度强化学习算法对微电网群进行优化,合理调控多种能源协同出力,调整负荷状态,实现电网经济运行。仿真结果表明了所提方法的有效性,与其他方法相比,其收益较高且碳排放量较小,可实现系统的经济环保运行。     

考虑源荷碳势耦合的电力系统双层低碳经济调度

针对目前低碳调度中负荷侧低碳手段单一且源荷两侧减碳方法相对独立缺乏联动的问题,在利用碳排放流引导多类型负荷需求响应模型的基础上,提出考虑利用碳势耦合源荷多降碳手段的电力系统双层低碳经济调度模型。上层模型基于阶梯碳交易市场,计算源侧的碳市场交易成本,并按照负荷分类进行针对性区域碳排约束,建立考虑源-荷碳势约束的电力系统低碳经济调度模型,求解机组初始调度方案;下层模型利用碳排放流理论,基于上层模型的调度方案计算负荷侧各节点碳势指标和碳排责任分摊量,建立负荷侧多类型需求响应模型,利用用户侧调节能力优化负荷分布进一步实现系统低碳效益。最后在考虑风电不确定性建模的前提下,基于改进的IEEE 30节点系统进行算例分析,结果表明所提调度方法能够有效促进风电消纳,降低碳排放量。     

基于深度强化学习的分布式电力配电网负荷调度研究

分布式电力配电网通常涉及多个能源源头,如传统发电机组、可再生能源和储能设备等。这些能源的有效协调调度是一个关键难题。需要考虑不同能源之间的互补性和相互依赖性,以平衡供需关系,提高系统的可靠性和经济性。为此,提出一种基于深度强化学习的分布式电力配电网负荷调度方法。利用深度强化学习中的LSTM（长短期记忆）提取损坏负荷数据,基于此,建立分布式电力配电网调度模型的约束条件,并将非线性递减惯性权重引入到传统粒子群算法中,对调度结果实现寻优。实验结果表明：通过对负荷的优化调度,可实现存储设备及灵活负荷的主动加入,新能源功率特性与负荷特性的匹配度更高。     

基于深度强化学习的激励型需求响应决策优化模型

随着中国电力市场化改革的推进,售电侧市场逐步开放,售电商可以聚合大量的分散负荷参与电力市场环境下的需求响应.文中提出以售电商和用户综合收益最大化为目标的基于深度强化学习的激励型需求响应建模和求解方法.首先,建立售电商和用户的需求响应模型,通过引入时间-价格弹性,改进现有的用户响应模型,考虑用户对相邻时段补贴价格差的反应...     

基于深度强化学习的微能源系统优化调度

微能源系统是城市配网终端的重要聚合部分,其应对源荷随机特性的能力为城市配网稳定运行提供了有效支撑。针对城市工业园微能源系统提出一种考虑源荷随机波动的动态调度方法。考虑工业园多种可调度资源对微能源系统的经济调度构建数学模型,然后将构建的微能源系统经济调度模型表示为具有连读动作调节的深度强化学习(DRL)模型,最后采用双延迟深度确定性策略梯度算法获取DRL模型下的动态连续调度策略。所提方法不仅避免对源荷随机波动的不确定性进行建模,同时也避免了离散Q学习的可调节设备出力不连续性。仿真结果表明所提出的动态调度方法具有更好的经济性和自适应性。     

基于深度强化学习的居民实时自治最优能量管理策略

随着居民分布式资源的普及,如何考虑用户多类型设备的运行特性,满足实时自治能量管理需求以达到用户侧经济性最优成为亟待解决的课题。传统基于模型的最优化方法在模型精准构建和应对多重不确定性等方面存在局限性,为此提出一种无模型的基于深度强化学习的实时自治能量管理优化方法。首先,对用户设备进行分类,采用统一的三元组描述其运行特性,并确定相应的能量管理动作;接着,采用长短期记忆神经网络提取环境状态中多源时序数据的未来走势;进而,基于近端策略优化算法,赋能在多维连续-离散混合的动作空间中高效学习最优能量管理策略,在最小化用电成本的同时提升策略对不确定性的适应性;最后,通过实际情境对比现有方法的优化决策效果,验证所提方法的有效性。     

基于深度强化学习的电动汽车实时调度策略

电动汽车(EV)作为一种分布式储能装置,对抑制功率波动有着巨大的潜力。考虑EV接入的随机性及可再生能源出力和负荷的不确定性,利用不基于模型的深度强化学习方法,建立了以最小功率波动及最小充放电费用为目标的实时调度模型。为满足用户的用电需求,采用充放电能量边界模型表征电动汽车的充放电行为。在对所提模型进行日前训练及参数保存后,针对日内每一时刻系统运行的实时状态量,生成该时刻充放电调度策略。最后以某微电网为例,验证了所提基于深度强化学习的调度方法在满足用户充电需求的前提下,可以有效减小微电网内的功率波动,降低EV充放电费用;日内不需要迭代计算,可以满足实时调度的要求。     

基于多智能体强化学习的电-碳-绿证多市场均衡研究

面向“双碳”目标及新型电力系统建设要求,电力市场机制设计对于减少碳排放、促进绿色低碳发展具有重要意义。碳市场与绿证市场建设是促进电力系统节能减排的有效手段,研究电力市场、碳市场、绿证市场之间的耦合关系,对于设计3个市场间的衔接机制、促进电力系统碳减排与清洁能源发展具有重要的指导意义。为此,针对碳市场与绿证市场对电力市场均衡的耦合影响展开研究。首先,根据碳市场与绿证市场的交易规则分别建立了电-碳市场、电-绿证市场和电-碳-绿证市场的双层优化模型;然后,利用多智能体深度强化学习算法对上述均衡模型进行求解;最后,在修改后的IEEE 30节点系统上进行算例仿真,分析了碳市场和绿证市场对发电商报价策略、电力市场出清电价等的影响以及碳市场和绿证市场之间的耦合关系。     

基于深度强化学习的输电网网架规划方法

为解决现有输电网规划方法在多场景情况下存在的灵活性不足的问题,同时进一步提高规划方法的运算效率,文章提出一种基于深度强化学习的输电网规划方法.首先,通过聚类方法,以系统信息熵最小为目标,生成用于规划的电网典型场景,并建立适用于多场景的输电网灵活规划模型.其次,综合运用深度强化学习方法及Actor-Critic方法,提出...     

基于深度强化学习的自适应不确定性经济调度

当风电、光伏等间歇性电源大规模接入电力系统时,为应对其出力的不确定性,电力系统经济调度模型需建立在对不确定性建模的基础上,建模精确度将直接影响调度结果的精确度。但当系统同时包含风电、光伏和负荷复杂的不确定性时,对系统整体不确定性进行精确建模显得尤为困难。针对这一问题,引入深度强化学习中深度确定性策略梯度算法,避免对复杂的不确定性进行建模,利用其与环境交互、根据反馈学习改进策略的机制,自适应不确定性的变化。为确保算法适用性,进行了模型泛化方法的设计,针对算法稳定性问题进行了感知-学习比例调整和改进经验回放的机制设计。算例结果表明,所提方法能在自适应系统不确定性的基础上,实现任意场景下的电力系统动态经济调度。     

基于深度强化学习的综合能源系统动态经济调度

综合能源系统的优化调度对于实现系统的多能互补和经济运行具有重要意义.然而,系统中可再生能源的间歇性以及用户用能需求的不确定性造成了系统中供需双方的随机波动,传统的调度方法难以准确地适应实际环境的动态变化.针对这一问题,提出了一种考虑可再生能源和负荷时变特性的综合能源系统动态经济调度方法.首先对综合能源系统动态经济调度问...     

基于改进深度强化学习的移动机器人路径规划

针对传统深度强化学习中移动机器人在稀疏奖励环境下只有在规定时间步内到达目标位置才能得到积极奖励,中间过程的每一步都是负面奖励的路径规划问题.提出了基于改进深度Q网络的路径规划方法,在移动机器人在探索过程中,对以真实目标为条件的轨迹进行采样,在经验回放过程中,把移动机器人已经到达的状态来代替真正的目标,这样移动机器人可以...