深度强化学习在需求响应中的应用

随着中国电力市场化改革的推进,需求响应业务在向着多元化、常态化发展,新环境对需求响应的可靠性与精准性的要求越来越高,亟须完善的技术支撑。深度强化学习能够对复杂的外部环境做出较为准确的识别,并做出最优决策,能够满足需求响应的相关要求。基于此,文中对深度强化学习技术在需求响应中的应用进行了研究与探讨。首先对深度强化学习的发展历程及研究现状进行了梳理,同时分析了需求响应的研究现状与未来发展需求。在此基础上,对深度强化学习应用于需求响应业务的可行性与方法进行了探讨。提出了基于深度强化学习的需求响应业务开展架构,并对深度强化学习的实现流程进行了较为深入的分析,为需求响应技术的发展提供了参考。     

知识与深度强化学习融合的家庭需求响应优化

家庭能源系统需求响应(demand response,DR)能够有效促进节能减排。家庭能源系统具有强不确定性,要求DR优化策略具备自动、快速调适能力。该文研究知识与强化学习融合的DR优化方法。首先,建立两者融合的优化框架,形成知识与强化学习互补机制;然后,对家庭设备建模并建立其DR优化知识规则集;进而,以知识转化为学习样本为核心,设计了知识融入强化学习的模型,重点研究知识样本作用概率动态调节、多样化知识、随机探索概率动态调节等问题,并设计知识与DQN融合的算法和网络。算例表明:该文方法能够自动适应家庭的不确定性,用能成本比知识规则法降低11.1%;与标准DQN相比,在同等的收敛标准下,该文方法能源成本低3.3%,且收敛时间仅需标准DQN的1/6。     

基于深度强化学习的家庭综合需求响应在线优化

家庭综合需求响应(home integrated demand response, HIDR)是重要的节能减排技术,家庭能源系统的不确定性和设备动态投退,要求HIDR优化策略具有在线自适应调整能 力.该文以深度强化学习为核心,研究HIDR在线优化方法.首先,鉴于气电两用设备对HIDR的重要价值,将其作为优化对象.然后,...     

基于深度强化学习的微电网在线优化

针对微电网的随机优化调度问题,提出了一种基于深度强化学习的微电网在线优化算法。利用深度神经网络近似状态-动作值函数,把蓄电池的动作离散化作为神经网络输出,然后利用非线性规划求解剩余决策变量并计算立即回报,通过Q学习算法,获取最优策略。为使得神经网络适应风光负荷的随机性,根据风电、光伏和负荷功率预测曲线及其预测误差,利用蒙特卡洛抽样生成多组训练曲线来训练神经网络;训练完成后,保存权重,根据微电网实时输入状态,神经网络能实时输出蓄电池的动作,实现微电网的在线优化调度。在风电、光伏和负荷功率发生波动的情况下与日前优化结果进行对比,验证了该算法相比于日前优化在微电网在线优化中的有效性和优越性。     

基于深度强化学习的主动配电网高恢复力决策方法

随着全球极端天气事件频发,电力系统在极端自然灾害下恢复力的研究日益受到关注。本文提出基于深度强化学习的高恢复力决策方法,将极端灾害下配电网运行状态和线路故障状态作为观测状态集合,自学习智能体Agent在当前环境观测状态下寻求可行的决策策略进行动作,定义自学习Agent的回报函数以进行动作评价;采用观测状态数据,开展基于竞争深度Q网络(dueling deep Q network,DDQN)的深度强化学习(deep reinforcement learning,DRL)训练,智能体Agent通过试错学习方式选择动作,试错经验在估值函数Q矩阵中存储,实现状态到主动配电网实时故障恢复策略的非线性映射;最后结合改进的IEEE 33节点算例,基于蒙特卡罗法仿真随机故障场景,对所提出方法生成的故障恢复随机优化决策进行分析。结果表明:通过主动配电网的分布式电源、联络开关和可中断负荷的协调优化控制,可以有效提升极端灾害下供电能力。     

基于知识融合和深度强化学习的智能紧急切机决策

紧急控制是在严重故障后维持电力系统暂态安全稳定的重要手段。目前常用的“人在环路”离线紧急控制决策制定方式存在效率不高、严重依赖专家经验等问题,该文提出一种基于知识融合和深度强化学习(deep reinforcement learning,DRL)的智能紧急切机决策制定方法。首先,构建基于DRL的紧急切机决策制定框架。然后,在智能体处理多个发电机决策时,由于产生的高维决策空间使得智能体训练困难,提出决策空间压缩和应用分支竞争Q(branching dueling Q,BDQ)网络的两种解决方法。接着,为了进一步提高智能体的探索效率和决策质量,在智能体训练中融合紧急切机控制相关知识经验。最后,在10机39节点系统中的仿真结果表明,所提方法可以在多发电机决策时快速给出有效的紧急切机决策,应用BDQ网络比决策空间压缩的决策性能更好,知识融合策略可引导智能体减少无效决策探索从而提升决策性能。     

基于深度神经网络实现电力削峰填谷的需求响应模型研究

随着环境问题日益突出和“双碳”目标的推进,需求侧响应资源参与负荷调峰和填谷对电力行业发展具有重要意义。针对我国需求侧响应快速发展的情况,首先考虑了发电机(PG)、电网公司和服务厂商(SPs)之间的相互作用;然后利用深度神经网络(DNNs)收集数据,并通过开发精确的需求价格弹性矩阵(PEMD)来模拟客户行为;最后基于该模型预测了未来每小时短期负荷预测以及前一天每小时的电力需求。结果表明,此模型可以减小电网负荷峰谷差,使发电、用电趋于平衡。     

基于深度强化学习的暂态稳定紧急控制决策方法

随着广域测量系统在暂态稳定控制中的应用,广域信息的随机性时滞造成了系统受控时状态的不确定性,并且切机和切负荷控制的离散决策变量维度极高,电网在线紧急控制决策面临着挑战。为此,将暂态稳定紧急控制问题建模为马尔可夫决策问题,提出一种深度Q网络(DQN)强化学习与暂态能量函数相结合的紧急控制决策方法,多步序贯决策过程中可应对紧急控制的时滞不确定性影响。奖励函数以考虑控制目标和约束条件的短期奖励函数和考虑稳定性的长期奖励函数构成,并在奖励函数中引入暂态能量函数的势能指数来提高学习效率。以最大化累计奖励为目标,通过DQN算法在离散化动作空间中学习得到最优紧急控制策略,解决暂态稳定紧急控制问题。所提方法通过IEEE 39节点系统验证了模型在紧急控制决策中的有效性。     

基于深度强化学习的家庭能量管理分层优化策略

为实现需求侧最大效益,提出一种能够应对复杂环境的基于深度强化学习(DRL)的分层能量调度方法.首先,构建家庭能量管理系统(HEMS)双层框架,通过改变第2层储能系统的充放电功率解决第1层因满足用户用电需求和减少电费所造成负荷集中至低电价时段导致的功率越限,而后根据各用电设备的负荷特性对其进行分类和建模.其次,采用马尔可夫决策过程(MDP)对能量管理问题进行建模,利用奖励函数代替目标函数和约束条件.然后,引入Rainbow算法优化策略以最大化长期收益,实现经济且高效的在线调度.最后,对一个包括光伏板、储能系统、各种用电设备以及电动汽车的家庭进行仿真,验证了所提方法在应对不确定性问题上的有效性和优越性.     

基于深度强化学习的输电网网架规划方法

为解决现有输电网规划方法在多场景情况下存在的灵活性不足的问题,同时进一步提高规划方法的运算效率,文章提出一种基于深度强化学习的输电网规划方法.首先,通过聚类方法,以系统信息熵最小为目标,生成用于规划的电网典型场景,并建立适用于多场景的输电网灵活规划模型.其次,综合运用深度强化学习方法及Actor-Critic方法,提出...     

基于深度强化学习的微电网源-荷低碳调度优化研究

提升可再生能源在能源供给中的比例成为实现低碳经济的重要举措之一。为减少碳排放量并降低用电成本,提出了一种基于深度强化学习的微电网低碳经济优化调度模型。首先,介绍了碳排放流理论并基于此构建了碳计量模型以及阶梯碳价模型;其次,将低碳经济优化问题转换为一个马尔科夫决策;最后,利用深度强化学习对该多目标优化问题求解。实验结果表明,所提方法通过控制发电机组的出力以及负荷的转移,有效地提升了系统经济性并降低了碳排放量。     

基于深度强化学习的配电网多时间尺度在线无功优化

含分布式电源的配电网存在潮流建模不精确、通信条件差、各无功补偿设备难以协调等问题,给配电网在线无功优化带来了挑战.文中采用深度强化学习方法,提出了一种多时间尺度配电网在线无功优化运行方案.该方案将配电网在线无功优化问题转化为马尔可夫决策过程.鉴于不同无功补偿设备的调节速度不同,设计2个时间尺度分别对离散调节设备和连续调...     

计及激励型需求响应的微电网可靠性分析

鉴于激励型需求响应能够引导用户调整用电行为、主动参与负荷削减,而微电网中的分布式电源及储能能为实施激励型需求响应提供响应时间,文中对计及激励型需求响应的微电网可靠性进行了重点研究。首先分析了激励型需求响应的机理及其对供电可靠性的影响,接着对激励型需求响应用户进行综合评估,建立了需求响应的调度模型。然后以用户收益最大为目标建立用户侧的响应模型,并提出了计及激励型需求响应的微电网负荷削减策略。最后基于蒙特卡洛模拟方法对改进的RBTS Bus6测试系统进行可靠性评估和经济性分析。算例结果验证了所建模型的有效性,证明了激励型需求响应能有效提高微电网的可靠性和经济性。     

基于改进深度强化学习的智能微电网群控制优化方法

针对微电网群控制的经济效益、负荷波动以及碳排放问题,提出一种基于改进深度强化学习的智能微电网群运行优化方法。首先,计及分布式电源、电动汽车及负荷特性,提出微电网的系统模型。然后,针对微电网群的运行特点,提出4个系统优化目标和5个约束条件,并且引入分时电价机制调控负荷运行。最后,利用改进深度强化学习算法对微电网群进行优化,合理调控多种能源协同出力,调整负荷状态,实现电网经济运行。仿真结果表明了所提方法的有效性,与其他方法相比,其收益较高且碳排放量较小,可实现系统的经济环保运行。     

Deep Reinforcement Learning Solves Job-shop Scheduling Problems

To solve the sparse reward problem of job-shop scheduling by deep reinforcement learning, a deep reinforcement learning framework considering sparse reward problem is proposed. The job shop scheduling problem is transformed into Markov decision process, and six state features are designed to improve the state feature representation by using two-way scheduling method, including four state features that distinguish the optimal action and two state features that are related to the learning goal. An extended variant of graph isomorphic network GIN++ is used to encode disjunction graphs to improve the performance and generalization ability of the model. Through iterative greedy algorithm, random strategy is generated as the initial strategy, and the action with the maximum information gain is selected to expand it to optimize the exploration ability of Actor-Critic algorithm. Through validation of the trained policy model on multiple public test data sets and comparison with other advanced DRL methods and scheduling rules, the proposed method reduces the minimum average gap by 3.49%, 5.31% and 4.16%, respectively, compared with the priority rule-based method, and 5.34% compared with the learning-based method. 11.97% and 5.02%, effectively improving the accuracy of DRL to solve the approximate solution of JSSP minimum completion time.     

基于深度强化学习的自适应不确定性经济调度

当风电、光伏等间歇性电源大规模接入电力系统时,为应对其出力的不确定性,电力系统经济调度模型需建立在对不确定性建模的基础上,建模精确度将直接影响调度结果的精确度。但当系统同时包含风电、光伏和负荷复杂的不确定性时,对系统整体不确定性进行精确建模显得尤为困难。针对这一问题,引入深度强化学习中深度确定性策略梯度算法,避免对复杂的不确定性进行建模,利用其与环境交互、根据反馈学习改进策略的机制,自适应不确定性的变化。为确保算法适用性,进行了模型泛化方法的设计,针对算法稳定性问题进行了感知-学习比例调整和改进经验回放的机制设计。算例结果表明,所提方法能在自适应系统不确定性的基础上,实现任意场景下的电力系统动态经济调度。