基于分布式深度强化学习的微电网实时优化调度

随着海量新能源接入到微电网中, 微电网系统模型的参数空间成倍增长, 其能量优化调度的计算难度不断上升. 同时, 新能源电源出力的不确定性也给微电网的优化调度带来巨大挑战. 针对上述问题, 本文提出了一种基于分布式深度强化学习的微电网实时优化调度策略. 首先, 在分布式的架构下, 将主电网和每个分布式电源看作独立智能体. 其次, 各智能体拥有一个本地学习模型, 并根据本地数据分别建立状态和动作空间, 设计一个包含发电成本、交易电价、电源使用寿命等多目标优化的奖励函数及其约束条件. 最后, 各智能体通过与环境交互来寻求本地最优策略, 同时智能体之间相互学习价值网络参数, 优化本地动作选择, 最终实现最小化微电网系统运行成本的目标. 仿真结果表明, 与深度确定性策略梯度算法(Deep Deterministic Policy Gradient, DDPG)相比, 本方法在保证系统稳定以及求解精度的前提下, 训练速度提高了17.6%, 成本函数值降低了67%, 实现了微电网实时优化调度.     

含随机负荷的微电网储能优化运行策略

供需两侧的随机性会对微电网的稳定运行产生影响,因此提出了一种调度策略以提高微电网的稳定性,降低运行成本。首先,利用蒙特卡罗方法建立电动汽车无序充电负荷模型,通过电量电价弹性矩阵确定电价与电动汽车充电负荷之间的函数关系。然后,建立微电网的运行成本、维护成本和污染治理成本最低的优化目标函数,结合可再生能源和负荷情况,分别使用双Q学习算法和Q学习算法设计调度策略,得到优化后的实时电价和调度方案。仿真结果表明,相比于Q学习算法,双Q学习算法在工作日和节假日情景下都得到了更加经济稳定的调度策略,且降低了微电网的经济成本。     

基于宽度学习预测的可重构多微电网随机优化框架

针对多微电网稳定性差、能量管理复杂等问题，提出一种智能随机优化框架，对可再生能源普及率较高的微电网系统进行优化运行和管理。该模型考虑了电动汽车的高移动充电需求以及可再生能源的随机性。为了减轻车辆对单个微电网的负面影响，采用V2G方案，并与微电网成本函数兼容。作为可再生能源的支持策略，提出一种基于UT框架和宽度学习的深度学习的概率方法，该方法考虑到可再生能源的随机性，将系统运行在安全区域。在此基础上，设计一种基于改进SCE(Shuffled Complex Evolution)的智能优化算法，在全局空间寻找最优解。通过IEEE测试系统检验了该模型的适用性。     

基于深度强化学习的孤岛微电网故障区域判定

孤岛微电网作为新型网络形态,其调度、运行和继电保护工作存在故障区域,对故障区域的判定结果,总是在故障区域之外,提出一种基于深度强化学习的孤岛微电网故障区域判定方法.方法 根据约束条件,预先提取孤岛微电网的故障特征;基于深度强化学习方法,深度跟踪电网故障信息;通过三端行波测距法,判定孤岛微电网故障区域.实验测试结果表明,故障区域判定效果更好,其判定结果均在电网故障区域之内.可见基于深度强化学习的判定方法性能更优越.     

深度强化学习算法求解作业车间调度问题

由于传统车间调度方法实时响应能力有限,难以在复杂调度环境中取得良好效果,提出一种基于深度Q网络的深度强化学习算法。该方法结合了深度神经网络的学习能力与强化学习的决策能力,将车间调度问题视作序列决策问题,用深度神经网络拟合价值函数,将调度状态表示为矩阵形式进行输入,使用多个调度规则作为动作空间,并设置基于机器利用率的奖励函数,不断与环境交互,获得每个决策点的最佳调度规则。通过与智能优化算法、调度规则在标准问题集上的测试对比证明了算法有效性。     

微电网系统的分布式优化下垂控制

针对微电网系统运行成本最优化问题,提出一种分布式优化下垂控制策略.首先,基于一致性理论,给出了一种分布式经济调度算法.采用矩阵摄动理论,分析了经济调度算法的收敛特性.其次,基于分布式优化调度解,设计一种新的分布式优化下垂控制器.在满足供需平衡以及各个发电单元运行约束的条件下,控制策略使得微电网系统运行成本最低.同时,提出的控制策略能够保证孤岛微电网的频率稳定在额定值.最后,通过仿真实例,验证了分布式优化下垂控制策略的有效性.     

计及混合潮流约束的热-电互联综合能源系统 多目标优化调度

为满足多样化能源需求并提高能源网络的可靠性,研究多能源系统优化管理和混合潮流问题.针对多能源的网络约束及其耦合特性,构建整合分布式发电、热电联产、电力网络和区域供热网络的热-电互联综合能源系统模型.基于梯形模糊隶属函数构建模糊化软约束,量化电力网络节点电压和区域供热网络节点供给温度的技术不满意度.考虑系统的经济运行和网络节点的能源供给质量,提出一种计及混合潮流约束的热-电互联综合能源系统多目标优化调度策略,以最小化运行成本和网络节点状态变量的技术不满意度.采用epsilon约束算法精确求解该多目标优化问题的Pareto前沿.算例分析结果表明,所构建的模型和提出的算法可以有效提高系统能源供给质量和优化决策的准确性.研究成果进一步体现了所提出的多目标优化方案在兼顾经济性、能源供给质量以及复杂的运行约束,保证系统经济稳定运行等方面的效益.     

一种基于强化学习的微电网能量管理算法

文中建立了一个包括可再生能源发电机和公用电网双边能量流动的微电网模型,能源交易利润和电网运营成本之间的权衡制定为联合优化问题,并进一步将其转化为马尔可夫决策问题.该文提出了一种在线微电网能源调度算法,旨在最大限度提高系统在能源交易中的运营利润,并保证电力系统的运行安全;为解决电价和需求的不确定性,该算法使用基于强化学习...     

冷热电联供型微电网系统多目标日前优化调度

冷热电联供(CCHP)型微电网系统结合了冷热电三联供系统和微电网系统两者的优点,可对微电网中微型燃气轮机发电时产生的余热进行回收利用,并采用吸收式制冷机进行制冷,实现了冷热电三联供。针对某大型住宅小区并网模式运行下的冷热电联供型微电网系统,以系统运行成本和污染物治理成本最低为优化调度目标,将微型燃气轮机、蓄电池、蓄热/冷槽三类可控单元中每时段的出力作为优化变量,在满足设备物理约束和系统运行约束的条件下,建立了该冷热电联供型微电网系统的多目标日前优化调度的数学模型。为提高计算速度和Pareto解的多样性,利用改进的多目标粒子群优化算法对其进行求解,并与"以热定电"和"以电定热"的运行方式调度结果进行了对比分析。分析结果表明:冷热电联供型微电网系统可以实现热电负荷的协调统一调度;多目标优化调度策略不仅能降低微电网优化运行和环境治理的成本,而且可以提供更多的优化调度方案。     

神经网络结构自适应研究综述

网络结构自适应旨在根据特定学习任务和数据对神经网络结构进行自动设计和模型优化,以适应开放环境智能感知学习任务的综合需求.文中旨在全面综述网络结构自适应方法.首先,阐述并分析神经架构搜索的主要方法.然后,分别从轻量化神经架构搜索、智能感知任务、连续学习三个方面呈现网络结构自适应的研究进展.在此基础上,建立一套面向开放环境应用的深度神经网络组件与结构的自适应评价指标体系,提出一种网络结构自适应方法,通过注意力引导的微观架构自适应机制和渐进式离散策略,在优化过程中实现网络结构的自适应调整优化和逐步离散化,并与现有方法进行对比分析.最后,探讨当前方法存在的问题与挑战,展望未来的研究方向.     

Optimal scheduling of distributed energy resources in a distribution system based on imperialist competitive algorithm considering reliability worth

A model for energy trading in microgrids (MGs) is proposed in this paper. Imperialist competitive algorithm is used as a powerful method to determine the optimal schedule of all generation units in MG. The optimal scheduling is determined over a planning horizon considering all the constraints of the MG elements and the load demands. Scheduling of distributed generations (DGs) in the MG affects the risk of blackout in the power system. Therefore, a new objective function is presented to investigate the effect of DGs scheduling on the risk of partial or total blackout. DGs generate the great portion of energy in a MG. Generated power by some of DGs is strongly dependent on the weather and ambient conditions. Therefore, the power generation forecast is the major concern for constructing the model for MG energy trading. In this paper, artificial neural network (ANN) is used to predict hourly power outputs of DGs in the MG. Based on the ANN-based forecast module, the imperialist competitive algorithm is developed to determine the MG scheduling, by which the sources can be managed and an optimal operation can be achieved.     

基于DQN的超密集网络能效资源管理

小基站的密集随机部署会产生严重干扰和较高能耗问题,为降低网络干扰、保证用户网络服务质量（QoS）并提高网络能效,构建一种基于深度强化学习（DRL）的资源分配和功率控制联合优化框架。综合考虑超密集异构网络中的同层干扰和跨层干扰,提出对频谱与功率资源联合控制能效以及用户QoS的联合优化问题。针对该联合优化问题的NP-Hard特性,提出基于DRL框架的资源分配和功率控制联合优化算法,并定义联合频谱和功率分配的状态、动作以及回报函数。利用强化学习、在线学习和深度神经网络线下训练对网络资源进行控制,从而找到最佳资源和功率控制策略。仿真结果表明,与枚举算法、Q-学习算法和两阶段算法相比,该算法可在保证用户QoS的同时有效提升网络能效。     

微电网耦合碳捕集封存与需求响应的多时间尺度鲁棒优化调度

随着可再生能源的普及,微电网成为了一个可持续能源供应的重要工具。然而,由于其源荷多不确定性和碳排放挑战,优化调度成为了一个难题。本文提出了一种基于储液式碳捕集封存和需求响应的多时间尺度鲁棒优化调度方法,旨在降低微电网的碳排放和提高其运行性能。该方法在日前阶段以1小时时间间隔进行调度,采用鲁棒优化处理不确定性中的低频分量,同时结合碳捕集技术和需求响应以促进调度计划的低碳经济性。日内阶段以15分钟时间间隔进行调度,采用模型预测控制跟踪并滚动修正日前鲁棒经济调度计划,以应对源荷预测误差和不确定性中的高频分量,确保微电网实际功率平衡。仿真分析表明,这种方法可以显著降低微电网的总成本和碳排放量,提高了微电网的运行性能和可持续性。     

A hybrid method for hydroelectric generation scheduling using an artificial neural network

This paper presents a decomposition method for finding an optimal operating policy of interconnected hydroelectric power plants using an artificial neural network. The coupling constraints on reservoir storage at the end of the planning horizon are relaxed using coordinating multipliers that result in interval wise decomposition of the overall problem. Resulting subproblems are solved sequentially, which reduces the complexity of the problem. Each subproblem is solved using a two-phase neural network approach. An efficient heuristic algorithm is developed to find the feasible solution. A case study considering scheduling of the Bhakra-Beas reservoir system is also presented in this paper. The new method demonstrates the potential of achieving an improved performance.     

基于DRL的综合能源系统优化运行研究

发展以电网为核心,电、热、气多能互补、协同供能的综合能源系统是落实“双碳”的重要手段,但是电-热-气联合运行的综合能源系统存在的经济性问题和稳定性问题有待解决。本文致力于采用机器学习算法在兼顾运行稳定性的情况下解决电-热-气联合运行系统的经济性问题。首先,本文对包含储能和电转气装置的综合能源系统进行建模,结合优化运行问题优化目标-约束条件的一般框架,在约束条件中考虑功率平衡、各机组出力限制、爬坡率限制和容量限制因素;然后,本文设计了基于DRL的电-热-气联合系统优化运行问题求解策略,算法结合了强化学习策略选择的优势和深度学习环境模拟的优势,在算法设计中详细考虑动作空间、回报函数、状态空间、DRL算法、DRL网络五大模块;最后,本文设计了4个算例,结合电-热-气联合系统典型日运行条件,验证了采用电-热-气联合运行供能模式可以有效实现多能互补降低用能成本,并且本文设计的DRL方法可以有效求解电-热-气联合系统的优化运行问题。     

Interior point methods for power flow optimization with security constraints

This paper deals with power flow optimization with security constraints, focusing on the problem of short‐term hydroelectric scheduling, called predispatch. Since the energy demand varies throughout the day, the generation must satisfy daily targets, established by long‐term scheduling models. This study considers that the hydroelectric plants and transmission systems must provide an optimal flow of energy under security constraints that allow meeting energy demands for normal operating conditions and when disturbances happen. Algebraic techniques are used to exploit the sparse structure of the problem, targeting the design of an interior point algorithm, efficient in terms of robustness and computational time. Case studies compare the proposed approach with a general purpose optimization solver for quadratic problems and an algorithm for the predispatch problem that does not consider security constraints. The results show the benefits of using the method proposed in the paper, obtaining optimal power flow that is suitable to consider contingencies, with numerical stability and appropriate computational time.     

Joint routing, scheduling, and power control for multichannel wireless sensor networks with physical interference

Reliability and real-time requirements bring new challenges to the energy-constrained wireless sensor networks, especially to the industrial wireless sensor networks. Meanwhile, the capacity of wireless sensor networks can be substantially increased by operating on multiple nonoverlapping channels. In this context, new routing, scheduling, and power control algorithms are required to achieve reliable and real-time communications and to fully utilize the increased bandwidth in multichannel wireless sensor networks. In this paper, we develop a distributed and online algorithm that jointly solves multipath routing, link scheduling, and power control problem, which can adapt automatically to the changes in the network topology and offered load. We particularly focus on finding the resource allocation that realizes trade-off among energy consumption, end-to-end delay, and network throughput for multichannel networks with physical interference model. Our algorithm jointly considers 1) delay and energy-aware power control for optimal transmission radius and rate with physical interference model, 2) throughput efficient multipath routing based on the given optimal transmission rate between the given source-destination pairs, and 3) reliable-aware and throughput efficient multichannel maximal link scheduling for time slots and channels based on the designated paths, and the new physical interference model that is updated by the optimal transmission radius. By proving and simulation, we show that our algorithm is provably efficient compared with the optimal centralized and offline algorithm and other comparable algorithms.