基于多智能体深度强化学习的分布式电源优化调度策略

针对分布式电源集中优化调度难以解决隐私保护的问题,提出一种基于多智能体深度强化学习的分布式优化调度方法。该方法可自适应源荷不确定性,在源荷随机波动的情况下实时给出优化调度策略。首先,阐述了基于通信神经网络架构的多智能体深度强化学习方法原理。然后,提出基于多智能体深度强化学习的分区分布式优化调度框架,以日运行成本最低为目标构建日前优化调度模型,并考虑各种运行约束。继而,采用近端策略优化算法对该模型进行离线训练,利用训练好的模型进行在线优化调度决策。最后通过改进IEEE33节点算例进行仿真验证,结果表明,各自治区域在仅利用局部通信的情况下即可计算出各自的近似全局最优解。     

基于多时间尺度和多源储能的综合能源系统能量协调优化调度

考虑源荷不确定性及储能设备配置对综合能源系统IES(integrated energy system)优化调度的影响,提出基于多时间尺度和多源储能的IES能量协调优化调度策略。该策略以系统运行经济最优、滚动控制时域内购能成本与储能惩罚成本之和最低以及设备输出功率调整量最小为目标,分别建立了日前、日内滚动和实时反馈3个时间尺度的优化调度模型。在日前考虑多种储能模式对IES经济性的影响;日内利用场景分析法描述滚动预测的不确定性来提高系统经济运行稳定性;再基于模型预测控制方法,构建日内与实时的反馈闭环优化,平抑由预测误差导致的系统功率波动。仿真结果表明:多源储能模式有助于提高IES的经济性;多时间尺度调度既可以保证IES运行的经济性,又能有效降低不确定性对系统实际运行的影响,减轻电网平抑功率波动负担。     

基于变工况模型的综合能源系统源–荷互动多目标优化调度

随着综合能源系统中清洁能源占比的不断增加,供能不确定性与时空分散性愈发凸显,系统建模与优化调度面临较大挑战。针对上述问题,首先,以能量流动模型为基础,建立能够反映设备效率与负荷率之间非线性关系的变工况模型;然后,考虑柔性负荷特性,引入需求侧管理,优化能源定价和时段策略,激励用户参与调度;最后,建立多目标优化模型和双层递阶优化策略,采用智能优化算法进行源–荷互动多目标优化调度。基于某园区典型日负荷和气象数据进行仿真实验,结果显示该方法能够促进良性源–荷互动,充分调动供需两侧的调峰潜力,在保证用户用能舒适度的同时,提高系统运行的经济性、环保性和稳定性。     

面向多用户的多时间尺度电力套餐与家庭能量优化策略

在智能互联网环境下,居民用户参与需求响应时的不确定因素对家庭能量管理调度策略的实施效果存在较大影响。为此,提出了一种计及用户响应不确定性的多时间尺度可变电价套餐和用电策略。首先,明确多时段可变电力套餐的定义,基于价格型和激励型响应不确定性机理构建电力套餐的模型,并建立完成聚类后的多用户与电网的模型。其次,通过求解基于多用户和电网的非合作和合作博弈模型,获得最优的电价方案和日前优化计划。然后,根据需求响应信息和用户用电安排建立日内滚动优化模型,获得局部动态分时电价和日内调度计划。最后,根据用户实际响应偏差建立实时调整模型,获得动态激励和实时用电计划。以多家庭用户调度组为例进行仿真分析,通过比较不同模型优化结果,验证了考虑用户响应不确定性的电力套餐及多时间尺度协调优化的有效性。     

基于双层模仿学习的多园区综合能源系统分布式协同优化调度

针对多园区综合能源系统协同调度存在的源荷及电价等多重不确定性因素和隐私保护问题,提出一种分布式协同双层优化模型。模型上层采用通信神经网络依据即时信息决策各园区储能动作,通过模仿学习进行监督式训练,使智能体获得预测决策一体化功能;下层由各园区采用交替方向乘子法进行分布式优化,得到其他设备动作及园区间电力交互量,形成当前时段完整的多园区分布式协同优化运行方案,并提出了考虑上级电网实时电价和多园区系统供求关系的园区间交易机制以保障各园区利益。算例证明所提方法不依赖于对源荷及电价等不确定性因素的准确预测,能够在保护各园区数据隐私的前提下达到与理论最优策略接近的性能。     

基于马尔科夫决策过程的家庭能量管理智能优化策略

在迅速发展的通信技术和泛在电力物联网建设的背景下,结合多种信息交互方式和人工智能技术可为提高家庭能量管理的智能化程度提供新的思路。提出一种结合实时信息交互的家庭能量管理智能优化策略。首先,给出了以用户用能费用为基础的马尔科夫决策过程模型,采用动态规划方法求解模型,重点在家庭用电设备调度过程中考虑实时电价信息和用户的随机行为等不确定因素的影响;在此基础上,结合事件触发机制有效提高家庭能量管理系统的运行效率,进而给出从家庭能量管理控制中心到用电设备的智能优化调度方法;最后,通过仿真算例证实了所提方法的有效性,结果表明其能在减少用户用电费用的同时给出满足用户用电需求的优化用电策略。     

非预测机制下计及碳交易的家庭能量低碳优化实时管理

传统家庭能量管理系统模型多基于预测或场景生成，并通过优化算法进行日前离线优化，但难以解决光伏、负荷等不确定性等问题。基于此，提出了一种非预测机制下计及碳交易的家庭能量低碳优化实时管理模型。首先，利用深度Q网络算法对不同类型负荷的动作状态空间进行定义，通过建立智能体避免使用历史数据及概率分布模型等预测机制。其次，在考虑系统碳排放等基础上，以用户电费–碳交易成本及满意度惩罚为目标，构建能量管理模型，并利用智能体与实时环境进行交互，在不确定性环境中进行实时求解。最后，在算例分析中通过与传统粒子群优化算法对比及不同模型参数分析，证明了所提模型具有较好的实时优化性能及鲁棒性。     

基于马尔可夫决策过程的电动汽车充电站能量管理策略

电动汽车充电站作为并网分布式储能装置,是实现电动汽车与未来能源互联网深度融合的重要组成部分。考虑分时电价和电动汽车用户行为的不确定性,提出了以电动汽车充电站日运营成本最小化为目标的能量管理策略。为了减少对先验信息的依赖和约束,将优化问题建模为一个新的有限回合马尔可夫决策过程模型;基于传统成本模型提出奖惩回报函数,通过主动学习调度决策,得到每辆电动汽车的实时充放电行为;针对模型的高维状态空间问题,设计相应的状态空间和动作空间,采用一种卷积神经网络结构结合强化学习的方法,通过从原始数据观测中提取高质量的经验,获取最优调度策略以达到优化目标。仿真结果表明,与传统的充电策略相比,所提策略可以有效地降低充电站的日运营成本,保护电动汽车的电池,同时能满足电动汽车用户的充电需求。     

计及源荷不确定性与设备变工况特性的园区综合能源系统协同优化运行方法

园区综合能源系统可通过协调各类能源设备为用户提供可靠、优质、经济的能量供应,但源荷的不确定性和设备的变工况运行特性易导致较大的供/用能偏差。针对此问题,该文提出一种计及源荷不确定性与设备变工况特性的园区综合能源系统协同优化运行方法。首先,建立考虑多类型能量转换设备变工况运行特性的园区综合能源系统协同优化一体化模型,并利用非线性区间数表征源荷的不确定性;然后,利用区间可能度对非线性区间数进行确定性转换,并采用自适应分段线性化处理能量转换设备的变工况运行特性曲线;最后,以某园区综合能源系统为例进行仿真验证。仿真结果表明,所提方法能够有效地减小源荷不确定性与设备变工况特性带来的不利影响。     

基于PCC-ML深度学习的微电网多目标协调优化运行

为提高微电网可再生能源优化配置,降低微电网源荷不确定性,提出基于Pearson相关系数元学习（PCC-ML）源荷预测的微电网多目标协调调度优化方法。首先,运用Pearson相关性分析（PCC）分析原始多维输入变量组成的时间序列,通过元学习（ML）对微电网源荷数据进行特征提取、候选模型准备、标记、离线训练和在线预测结果评估5个过程管理;然后,基于预测结果建立微电网两阶段滚动调度优化模型,阶段一为日前预调度阶段,以实现微电网区域全局运行经济性最优为优化目标;阶段二为实时运行调控阶段,考虑微电网新能源实时出力不确定性,对预测偏差实时调控,实现微电网各设备运行成本最优。接着,利用列约束生成算法（C&CG）分解为主、子问题进行交互迭代求解两阶段优化模型。最后,算例分析表明所提方法能满足可见和不可见预测任务的性能需求,提高微电网经济收益。     

基于非合作博弈的居民负荷分层调度模型

为促进居民用户柔性负荷资源有效参与需求响应,可以利用负荷聚合商来聚合用户负荷资源参与电网调度。通过将居民用户的柔性负荷进行分类,建立电网公司、负荷聚合商和居民用户的分层调度模型。在日前投标环节,构建了以聚合商利润最大化为目标的日前投标博弈模型,利用非合作博弈思想对聚合商在日前投标市场进行分析,并给出了博弈纳什均衡解的存在性证明;在实时调度环节,聚合商以分类柔性负荷各自用电物理特性作为约束条件,以实时调度和日前投标量之间的偏差最小作为目标函数对用户分类柔性负荷进行实时调度,使得在不影响用户舒适度情况下提高聚合商的利润。算例仿真分析结果表明,所建立的分层调度模型可有效实现居民负荷的需求响应,并使得电网公司、负荷聚合商和用户三方均受益。     

微电网小区间的能量协作调度策略研究

针对配备能量收集设备的多个微电网小区构成的能量管理系统。为充分利用多个微电网小区分布式能源,研究微电网小区之间的能量调度与能量协作问题,以最小化系统从传统电网购买的能量。本研究首先建立能量协作调度优化模型,允许微电网小区之间共享各自收集的能量,处理用户的弹性用电请求。在满足用户服务质量要求的前提下,最大化系统能效。基于此模型和目标,采用Lyapunov优化,提出了微电网小区实时能量协作调度算法。仿真结果表明,在该协作模型下所提算法能够以较低复杂度取得接近最优的性能和时延。     

基于非侵入式负荷监测的居民侧灵活性资源评估方法

居民用户具备巨大的灵活性潜力,充分挖掘并合理利用居民侧灵活性资源有助于提升电网的灵活性。本文利用低频功率数据和深度学习模型,提出了一种基于非侵入式负荷监测的居民侧灵活性资源评估方法。首先,采用功率波动-跳变事件检测算法,实现对电器用电事件的定位和功率数据获取。其次,将时域卷积网络(Time Convolutional Networks,TCN)和门控循环单元(Gated Recurrent Unit,GRU)相结合,借助TCN的数据特征提取能力和GRU的非线性拟合能力,构建TCN-BiGRU负荷识别算法,以有效区分不同电器的用电负荷。然后,利用负荷识别结果对用户总功率信号进行分解,建立设备状态矩阵、设备概率矩阵和设备习惯使用区间矩阵,获取各个电器的用电信息,分析用户用能行为,得到居民侧灵活性资源评估详细结果。最后,通过实际居民用户数据验证了所提出方法的实际有效性。基于本方法所得的灵活性资源评估结果可为居民需求侧响应提供辅助决策。     

需求响应参与系统调峰研究综述

由于我国电力供需矛盾和系统负荷峰谷差逐渐加大,需求响应措施在需求侧管理中得到广泛地应用。通过采用价格和激励措施,电力部门引导用户改善用电负荷,达到调峰的效果。以需求响应调峰可行性、优化模型以及评估方法为立足点,对需求响应参与系统调峰研究进行综述。首先,分析了用户的调峰特性。接着讨论了电价制定方法以及电价参与调峰的优化模型建立。然后概述了激励和电价联合参与调峰及需求侧资源参与系统长期调峰,并介绍了需求响应调峰效果的评估方法。最后,结合需求侧管理和智能电网的发展要求,对需求响应参与系统调峰的研究方向进行展望。     

基于改进旗鱼算法的综合能源系统能量管理

综合能源系统在实现可再生能源利用中具有重要价值。为使系统中各设备出力得到进一步优化,将生物质能与综合能源系统相结合,并且将各个时刻的柔性负荷纳入能量调度,构建了一种沼气发电系统、光伏发电系统与微型燃气轮机驱动下的源-储-荷协同多目标能量管理模型。以系统与主电网的交互及燃料费用、惩罚费用和设备投资及运行费用为优化目标,以用户综合用能满意度、新能源利用率和电能自治程度为评价指标,求解模型最优配置。利用非线性攻击方式、差分变异策略、哈里斯鹰算法中的软包围策略及防止算法停滞策略来改善旗鱼算法的全局搜索能力。通过算例对比分析表明,所提出的改进算法和能量管理模型在不同场景下均有效地提高了经济效益和环保效益,并且改进旗鱼算法在全局寻优和搜索精度等方面具有优势。     

基于需量管理的两阶段大用户储能优化模型

为推进用户侧储能商业化应用,对用户侧储能从规划和运行两方面综合考虑,提出了一种需量管理捆绑峰谷套利的工业大用户储能评估及优化调度方法。首先,在储能评估阶段,以用户的综合成本最小搭建储能评估模型,评估用户加装储能的经济性并优化储能配置;然后,在调度优化方法方面,构建了储能月前和日内两阶段优化模型。在月前优化中,确定用户上报的最大需量;在日内优化中,基于最大需量约束,优化每日的储能充放电功率。最后,在MATLAB平台基于CPLEX求解器分别对4家典型工业大用户进行算例仿真,验证了模型的经济有效性,并为用户侧储能电池的商业化推广提供了可行性方案。     

机器人轮椅用户行为与自主导航动态共享控制方法

机器人轮椅人机交互研究表明长时间采用单一模式交互容易导致用户操作意图误判且稳定性会变差,完全自主模式亦会因用户缺乏控制体验而产生沮丧情绪。针对当前基于人机协作的机器人轮椅交互存在模式间硬切换与缺乏对环境变化的动态调整能力的问题,本文以手势交互控制轮椅为基础,提出一种基于用户行为与自主导航相结合的机器人轮椅动态共享控制方法。首先基于Leap Motion传感器追踪用户掌心坐标,生成用户手势速度指令;其次,基于RPLIDAR A1激光雷达传感器并结合自主导航算法,生成自主导航控制指令;最后基于距离、疲劳及误差等多种约束条件实时更新人-机控制指令权重,实现对机器人轮椅的动态共享控制。实验结果表明,本文所提动态共享控制方法能根据轮椅运行环境与用户操作性能动态调整不同模式间的角色分配,避免了不同模式间的直接硬切换,具有较好的用户体验。     

多微电网互联系统能量管理方法研究

随着微电网技术的快速发展,一定区域范围内的多个微电网能够互联互供满足区域供电需求,催生了多微电网系统的发展。多微电网系统是微电网的延伸和深化,对多微电网系统进行合理有效的管理成为解决微电网规模化运行的关键问题。多微电网存在着较多的分布式电源,风、光出力的不确定性也将影响到多微电网的运行。建立了多时间尺度能量管理,基于预测数据确定日前计划,在此之上,实时调度中对可再生能源最恶劣的运行条件进行优化。引入了考虑风、光不确定性的微电网能量管理系统鲁棒优化模型。通过列约束生成算法(CCG)对双层鲁棒优化问题进行求解。通过算例仿真,验证了所提微电网互联系统能量管理方法的有效性。     

考虑综合需求响应的楼宇综合能源系统能量管理优化

针对楼宇综合能源系统（RIES）能量管理时未充分考虑影响室温因素及其对负荷建模的影响和刚性捆绑RIES、用户从而未全面考虑用户舒适度和用能支出的问题,文中提出了冷、热负荷参与阶梯型补贴和电负荷参与电价型综合需求响应的RIES能量管理优化模型及其求解方法。首先,综合考虑影响室温因素,得到离散化的楼宇热平衡方程,建立楼宇的柔性而非固定的冷、热、电负荷数学模型。其次,建立冷、热负荷参与的阶梯型补贴和电负荷参与的电价型综合需求响应机制。然后,考虑RIES向用户售能的收益、从外部购能的成本和支付用户的补贴费用,构建了以最大化RIES运行利润为目标、计及设备和系统运行约束的能量管理优化数学模型,并采用CPLEX对线性化后的模型进行求解。最后,通过算例仿真表明：计及综合需求响应的楼宇综合能源系统能量管理优化能统筹协调供需两侧资源,提升系统与用户的经济效益。     

电动汽车两阶段多目标有序充电策略研究

大量随机性电动汽车充电负荷的接入会对电网安全经济运行等方面产生不利的影响。在统计电动汽车用户出行规律、起始充电时刻等行为基础上,分析了充电站的充电负荷特性。在考虑配电设备运行安全和用户充电需求的前提下,综合充电负荷和原有负荷的特点,建立了以分时电价为基础、以减小负荷波动率和提高运营商效益为目标的两阶段多目标充电模型。提出了基于多种群遗传算法的两阶段多目标优化模型求解方法和有序充电控制策略。以小区充电站为例,验证了两阶段多目标有序充电控制策略在减小负荷波动率、削峰填谷、降低经济成本提高运营商效益等方面的作用。