基于多智能体深度强化学习的配电网无功优化策略

配电网中光伏、风机设备出力随机波动以及负荷波动带来的电压波动、网损增加等问题,给配电网在线无功优化带来了挑战.本文采用一种无模型的深度确定性策略梯度(MADDP G)算法多智能体强化学习框架,采用集中训练、分散执行的方式解决无功优化问题.MADDP G算法将每一个智能体当作一个行动者(Actor),在离线训练过程中每个...     

基于多智能体深度强化学习的分布式电源优化调度策略

针对分布式电源集中优化调度难以解决隐私保护的问题,提出一种基于多智能体深度强化学习的分布式优化调度方法。该方法可自适应源荷不确定性,在源荷随机波动的情况下实时给出优化调度策略。首先,阐述了基于通信神经网络架构的多智能体深度强化学习方法原理。然后,提出基于多智能体深度强化学习的分区分布式优化调度框架,以日运行成本最低为目标构建日前优化调度模型,并考虑各种运行约束。继而,采用近端策略优化算法对该模型进行离线训练,利用训练好的模型进行在线优化调度决策。最后通过改进IEEE33节点算例进行仿真验证,结果表明,各自治区域在仅利用局部通信的情况下即可计算出各自的近似全局最优解。     

基于多智能体强化学习值分解的优化算法

当前多智能体强化学习在值分解的算法中无法充分考虑到多智能体间的协作关系,并且使用的随机策略在探索过程中容易出现越过最优点,陷入局部最优解的情况。针对以上问题,本文提出了一种深度交流多智能体强化学习算法。本文通过使用卷积和全连接结构在值分解网络中设计了一种通信机制以此来增强多智能体之间的协作。接着,本文提出了一种新的自适应探索策略,为了平衡数据探索与利用之间的矛盾,加入了周期性的衰减策略。最后,通过仿真结果验证了本文提出方法在部分场景中达到25.8%的性能提升,提高了多智能体的合作能力。     

基于多智能体深度强化学习的电热联合系统优化运行

电热联合系统优化调度问题对于实现系统的能源互补、经济运行具有重要意义.电热联合系统优化运行涉及非线性、非凸、多目标问题求解,传统方法在计算实时性与迭代收敛性等方面存在困难.文章首先构建电热联合系统优化数学模型,将电热联合系统按照不同利益主体划分为多智能体,基于多智能体深度确定性策略梯度强化学习算法,建立了适用于电热联合...     

基于多智能体强化学习的电-碳-绿证多市场均衡研究

面向“双碳”目标及新型电力系统建设要求,电力市场机制设计对于减少碳排放、促进绿色低碳发展具有重要意义。碳市场与绿证市场建设是促进电力系统节能减排的有效手段,研究电力市场、碳市场、绿证市场之间的耦合关系,对于设计3个市场间的衔接机制、促进电力系统碳减排与清洁能源发展具有重要的指导意义。为此,针对碳市场与绿证市场对电力市场均衡的耦合影响展开研究。首先,根据碳市场与绿证市场的交易规则分别建立了电-碳市场、电-绿证市场和电-碳-绿证市场的双层优化模型;然后,利用多智能体深度强化学习算法对上述均衡模型进行求解;最后,在修改后的IEEE 30节点系统上进行算例仿真,分析了碳市场和绿证市场对发电商报价策略、电力市场出清电价等的影响以及碳市场和绿证市场之间的耦合关系。     

基于深度强化学习的无人机辅助物联网多目标优化

无人机辅助无线供电物联网是一种创新的网络架构,利用无人机作为能量传输中介,能够解决物联网设备电力供应 的限制和局限性。针对无人机辅助无线供电物联网网络中多目标控制策略学习的问题,提出了一种基于深度强化学习的多 目标双延迟深度确定性策略梯度(MOTD3) 算法,旨在满足偏航角、飞行速度以及发射功率约束条件下,实现总数据速率、总 收获能量最大化以及能耗和悬停时间最小化的多目标联合优化,同时因需求动态变化无人机进行在线路径规划。仿真结果 表明,该算法在保证良好的收敛情况和稳定性前提下,较其他算法在总数据速率、总收获能量、能耗与悬停时间方面分别提高 14.7%、10.6%、6.1%和10.3%,且具有较强泛化能力,可适用于实际中不同通信场景。     

基于单/多智能体简化强化学习的电力系统无功电压控制

为了快速平抑分布式能源接入系统产生的无功电压波动,以强化学习、模仿学习为代表的机器学习方法逐渐被应用于无功电压控制。虽然现有方法能实现在线极速求解,但仍然存在离线训练速度慢、普适性不够等阻碍其应用于实际的缺陷。该文首先提出一种适用于输电网集中式控制的单智能体简化强化学习方法,该方法基于“Actor-Critic”架构对强化学习进行简化与改进,保留了强化学习无需标签数据与强普适性的优点,同时消除了训练初期因智能体随机搜索造成的计算浪费,大幅提升了强化学习的训练速度;然后,提出一种适用于配电网分布式零通信控制的多智能体简化强化学习方法,该方法将简化强化学习思想推广形成多智能体版本,同时采用模仿学习进行初始化,将全局优化思想提前注入各智能体,提升各无功设备之间的就地协同控制效果;最后,基于改进IEEE 118节点算例的仿真结果验证了所提方法的正确性与快速性。     

基于区间估计与深度强化学习的有源配电网多智能体电压滚动控制

光伏高渗透下的配电网电压滚动控制是时序非线性随机优化问题,传统物理建模方法难以满足时效性。为此,提出一种基于区间状态估计的多智能体强化学习有源配电网电压滚动控制方法。首先,考虑光伏与负荷预测不确定性,提出节点电压随机分布的区间状态深度学习方法,并基于电压数值空间特征构建实时安全约束,避免随机采样引入的高维约束集;进而,在电压估计的置信区间满足安全约束条件下以光伏消纳最大为目标,构建不同分区下以变压器、电容和光伏逆变器为控制对象的多智能体边缘协同滚动控制策略。算例验证表明,相比于传统模型的优化控制方法,所提方法能有效减少变压器和电容动作、降低电压越限风险,且决策效率满足时效性。     

基于深度强化学习的多目标边缘任务调度研究

针对深度强化学习在边缘计算环境下的多目标任务调度时存在优化效果差等问题,提出了一种新的基于改进的竞争深度双Q网络的多目标任务调度算法(IMTS-D3QN)。首先将深度双Q网络对目标中的最大操作分解为动作选择和动作评估,以消除过高估计;采用立即奖励经验样本分类方法,对经验样本按照重要性程度分类存储,训练时选取更多重要性程度高的经验样本,提高了实际样本的利用率,加快了神经网络的训练速度。然后,通过引入竞争网络结构对神经网络进行优化。最后,采用软更新方法提高算法的稳定性,并采用动态ε贪婪指数递减法寻找最优策略。通过不同线性加权组合得出帕累托最优解,达到响应时间和能耗最小化。实验结果表明,IMTS-D3QN算法与其他算法相比,在不同任务数下响应时间与能耗上具有明显的优化效果。     

进化多智能体技术在多目标优化中的应用

针对多目标优化研究中传统遗传算法存在的一些问题，引入人工智能领域新兴发展起来的多智能体技术，结合遗传算法形成进化多智能体系统来求解多目标优化问题，主要对进化多智能体系统框架、进化遗传算法进行了论述。     

基于深度强化学习的微电网优化运行策略

风电、光伏、负荷的不确定性给含有高比例可再生能源的微电网制定运行策略带来了挑战,人工智能技术的发展为解决微电网运行优化问题提供了新思路。基于强化学习框架,将微电网运行问题转化为马尔可夫决策过程,以最大化微电网经济利益和居民满意度为目标,提出一种基于深度强化学习的微电网在线调度方法。为了在深度强化学习训练的过程中高效利用经验,设计一种优先经验存储的深度确定性策略梯度(PES-DDPG)算法,学习各类环境下不同时段的微电网最优调度策略。算例结果表明,PES-DDPG算法能够为微电网提供有效的调度策略,并实现微电网的实时优化。     

5G 异构网络中基于多目标 Actor-Critic的资源分配

在 5G 异构网络(heterogeneous network,HetNet)中广泛部署小基站可以提高网络容量和用户速率,但密集部署也会 产生严重干扰和更高能耗问题。为了最大化网络能量效率(energy efficiency,EE)并保证用户服务质量(quality of service, QoS),提出了一种在小蜂窝基站中嵌入能量收集器供电的资源分配方案。首先,针对网络系统的下行链路,将频谱和小基站 发射功率分配问题建模为联合优化系统能效和用户满意度的多目标优化问题。其次,提出了基于深度强化学习的多目标演 员-评论家(multi-objective actor-critic,MAC)资源分配算法求解所建立的优化模型。最后,仿真结果表明,相比于其他传统学 习算法,能量效率提高了11.96%～12.37%,用户满意度提高了11.45%～27.37%。     

基于网络状态评估的配电网络多目标优化重构方法

提出了一种基于网络状态评估的优化重构思想,建立了网络重构的数学优化模型。并利用典型3馈线16节点系统进行了算例分析。算例表明,该方法可以减少一部分不必要的重构分析;并且,当网络需要进行重构计算时,在计算中该方法取得了良好的优化效果。该优化方法能够在经济性、安全性等方面对配电网络进行改善。操作人员能够根据配电网络实际情况进行目标权重值的设置,使重构方案更加灵活、更加具有现实意义。     

基于深度强化学习的微电网在线优化

针对微电网的随机优化调度问题,提出了一种基于深度强化学习的微电网在线优化算法。利用深度神经网络近似状态-动作值函数,把蓄电池的动作离散化作为神经网络输出,然后利用非线性规划求解剩余决策变量并计算立即回报,通过Q学习算法,获取最优策略。为使得神经网络适应风光负荷的随机性,根据风电、光伏和负荷功率预测曲线及其预测误差,利用蒙特卡洛抽样生成多组训练曲线来训练神经网络;训练完成后,保存权重,根据微电网实时输入状态,神经网络能实时输出蓄电池的动作,实现微电网的在线优化调度。在风电、光伏和负荷功率发生波动的情况下与日前优化结果进行对比,验证了该算法相比于日前优化在微电网在线优化中的有效性和优越性。     

基于强化学习算法的自适应直流附加阻尼控制器

提出了基于强化学习算法的直流附加阻尼控制器。控制器主体采用模糊神经网络,利用由系统性能指标生成的强化信号在线训练控制器参数。与传统的模糊控制器相比,由于该控制器采用自适应启发式评价算法,将系统输出性能指标转化为强化信号反馈给控制器,使其能够在线修改控制器参数,因此有效地克服了传统阻尼控制器的设计对系统精确数学模型的依赖。仿真结果表明,与传统的阻尼控制器相比,基于强化学习算法的直流附加阻尼控制器能够有效地抑制区域间的功率振荡,提高交直流系统的动态稳定性,并且对多种运行方式具有一定的鲁棒性。     

基于深度Q学习的强鲁棒性智能发电控制器设计

在现代互联大电网背景下,研究了多区域强鲁棒性的智能发电控制策略。在Q学习的架构下,将深度神经网络的预测机制作为强化学习的动作选择机制,提出了一种具有强鲁棒性的深度Q学习算法,设计了基于该算法的智能发电控制器。针对智能电网下的智能发电控制问题,在多智能体系统的框架下采用所提深度Q学习算法进行控制,并与传统的PID、Q学习和Q(λ)算法进行对比。在IEEE标准2区域和以南方电网4区域为背景的仿真模型(采用了23 328种不同模型参数)中进行数值仿真,仿真结果验证了所提深度Q学习算法的可行性和有效性,也验证了所设计控制器的强鲁棒性。     

基于深度强化学习的配电网负荷转供控制方法

随着城市规模的快速扩张以及电能替代的不断推进,配电网节点数大量增加,结构愈加复杂,发生故障后拓扑变化不确定性较大,传统负荷转供方法难以在短时间内给出高质量的解决方案。为此,提出基于深度强化学习的配电网负荷转供控制方法。将负荷转供过程视为一个马尔可夫决策过程,与配电网实时电气、拓扑数据进行交互,对联络开关与分段开关进行控制。为了提高算法的精度与泛化能力,针对算法动作策略加入了预模拟机制,调整了动作与学习的比例并采用自适应优化算法进行求解。算例分析表明,所提方法能够应对不同故障下配电网的拓扑变化,即时给出负荷恢复量、电网损耗、开关动作次数多方面最优的转供控制方案,这对于减小故障后的停电损失与提高用户满意度有着重要意义。     

基于价值分解深度强化学习的分布式光伏主动电压控制方法

针对主动电压控制问题,深度强化学习能够有效地解决数学优化方法在精确性和实时性方面的不足。但传统多智能体深度强化学习方法存在信用分配、过度泛化等问题,难以学习到全局最优的协调策略,控制效果较差。为此,提出了一种基于价值分解深度强化学习的分布式光伏主动电压控制方法。将主动电压控制问题建模为分布式部分可观测马尔可夫决策过程,然后基于中心化训练和去中心化执行框架,提出分解式价值网络、集中式策略梯度2项改进措施：将全局价值网络分解为个体价值网络和混合网络,并采用所有智能体的当前策略进行集中参数更新。改进的IEEE 33节点配电网系统的算例结果表明,所提方法表现出了优越的稳压减损控制性能,且在训练速度、场景鲁棒性等方面具备一定的优势。     

基于强化学习的异常用电判决方法

目前异常用电检测问题有许多基于分类的方法,但大多都是基于短期用电行为的判决来判断长期用电行为,判决阈值与比例难以确定,且在实际应用中,不同区域、时段的用户用电数据分布差异较大,比例与阈值也会有较大的不同,难以以固定的比例通用于所有的用户数据。针对此问题,文中提出一种基于强化学习的异常用电判决方法,创新地利用强化学习模型来动态生成阈值,以适应差异较大的不同数据集。首先获取分类器输出的数个用户短期行为的异常概率,然后输入到强化学习模型深度递归Q网络（DRQN）中,学习得到动态阈值即判决阈值与判决比例。试验结果表明,相比于人工调参的传统投票法,文中方法在评估指标上有明显提升,面对数据分布差异较大的数据集时也有较好的表现,说明文中方法具有较强的泛化能力,在数据类型复杂的现实环境中也有较好的应用场景。     

基于深度强化学习的城市配电网多级动态重构优化运行方法

随着配电网分布式电源的大量接入以及城市区域负荷的快速发展,使得配电网运行环境愈发复杂。同时由于配电网重构涉及大量的开关状态二进制零散变量,现有优化方法很难求解大规模城市配电网重构问题。基于此,提出一种基于深度强化学习的城市配电网多级动态重构方法。首先,建立基于深度学习的配电网多级重构快速判断模型,通过该模型实现对重构级别在线决策,并对智能体动作空间进行降维。其次,使用含参数冻结和经验回放机制的深度Q网络对预测负荷、光伏能源输出功率等环境信息进行学习。以运行成本、电压偏移度以及负荷均衡度最优为目标,通过习得的策略集对配电网进行动态重构与运行优化。建立多智能体强化学习模型,对各个时段的不同重构主体进行联合优化。最后,通过算例分析验证了所提方法的有效性。