离散四水库问题基准下基于n步Q-learning的水库群优化调度

水库优化调度问题是一个具有马尔可夫性的优化问题。强化学习是目前解决马尔可夫决策过程问题的研究热点,其在解决单个水库优化调度问题上表现优异,但水库群系统的复杂性为强化学习的应用带来困难。针对复杂的水库群优化调度问题,提出一种离散四水库问题基准下基于n步Q-learning的水库群优化调度方法。该算法基于n步Q-learning算法,对离散四水库问题基准构建一种水库群优化调度的强化学习模型,通过探索经验优化,最终生成水库群最优调度方案。试验分析结果表明,当有足够的探索经验进行学习时,结合惩罚函数的一步Q-learning算法能够达到理论上的最优解。用可行方向法取代惩罚函数实现约束,依据离散四水库问题基准约束建立时刻可行状态表和时刻状态可选动作哈希表,有效的对状态动作空间进行降维,使算法大幅度缩短优化时间。不同的探索策略决定探索经验的有效性,从而决定优化效率,尤其对于复杂的水库群优化调度问题,提出了一种改进的ε-greedy策略,并与传统的ε-greedy、置信区间上限UCB、Boltzmann探索三种策略进行对比,验证了其有效性,在其基础上引入n步回报改进为n步Q-learning,确定合适的n步和学习率等超参数,进一步改进算法优化效率。     

基于决策因子选择的梯级水库多目标优化调度规则研究

运用极端随机森林挖掘水库调度信息,考虑各水库相关因子与决策目标的相互关系,提出了梯级水库输入数据选择(Cascade-reservoir Input-variables Selection,CIS)方法,引入Gaussian径向基函数建立水库调度规则,并采用PA-DDS多目标算法对水库调度规则参数进行优化,得到了同时考虑供水和发电的多目标优化调度规则集。汉江上游梯级水库的应用结果表明:CIS方法能优选得到较为稳定的决策因子,且能在充分利用已有优选信息的同时避免决策因子选取上的重复和冗余;经梯级多目标优化调度,优选的决策因子能得到比传统决策因子结果分布更优的非劣解集,在以发电为主要目标进行优化调度时,能有效调整汛期和非汛期的水量利用方式,梯级水库年均发电量和供水量分别提高了0.33%和7.84%。     

多目标梯级水库优化调度问题的免疫遗传算法

在研究现有多目标遗传算法的优越性与存在不足的基础上,受生物免疫原理的启发,提出了一种新的优化调度算法--多目标免疫遗传算法,有效克服遗传算法的早熟、群体多样性不足及搜索速度慢等问题.同时,以梯级水库优化调度发电量和保证出力为目标,建立了三峡梯级水库多目标优化调度模型.通过实例研究计算,论证了该方法的有效性和实用性.     

基于多目标差分进化算法的水库多目标防洪调度研究

为求解水库多目标防洪优化调度问题，提出一种基于自适应柯西变异的多目标差分进化算法。算法采用一种自适应柯西变异策略克服早熟收敛问题，提高了收敛精度；根据多目标优化的特点对差分算子进行修正，并引入外部档案技术，提高了算法的收敛速度。通过对典型历史洪水的多目标调度研究，结果表明基于自适应柯西变异的多目标差分进化算法在可接受的时间内，可生成大量在各目标分布均匀、分布范围广的非劣调度方案供决策者评价优选，为水库多目标防洪调度决策提供了一种新的调度方案生成方法。     

基于分段粒子群算法的梯级水库多目标优化调度模型研究

提出了约束破坏向量、分段粒子群算法以及多目标分段粒子群算法,有效解决了在时间步长较小、计算时段数目较多时,传统智能优化算法解水库优化调度问题的寻优效率低下甚至无可行解的问题。该方法基于粒子群算法框架,引入约束破坏向量、分段操作和特殊变异操作来增强进化过程中的种群质量,从而提高算法的计算效率。闽江流域金溪梯级水库多目标优化调度的实例分析表明,在解时间步长较小、计算时段数目较多的水库优化调度问题时,分段粒子群算法、多目标分段粒子群算法相对其他算法具有明显优势。     

基于DPSA 的梯级水库群优化调度

动态规划法是一种求解多阶段决策优化问题的常用方法,在水库优化调度计算中应用广泛。该方法最大的缺陷就是用于水库群优化调度时易出现"维数灾"问题。逐次逼近动态规划法(DPSA)可以有效克服这一问题,它采用逐次迭代逼近的思想,将一个多维问题分解为多个一维问题求解。本文以水库运行模拟模型为基础,建立了基于DPSA的梯级水库群中长期优化调度模型,以汉江上游梯级水库群为研究对象,选取发电量最大为目标,对各水库库容进行离散,从而求解水库优化运行过程,其结果对于水库优化调度运行具有指导意义。     

基于多目标差分进化算法的水库多目标防洪调度研究

为求解水库多目标防洪优化调度问题,提出一种基于自适应柯西变异的多目标差分进化算法,克服了早熟收敛问题,提高了收敛精度;同时,根据多目标优化的特点对差分算子进行修正,并引入外部档案技术,提高了算法的收敛速度。本文以坝前最高水位最低、最大下泄流量最小和汛末水位最接近汛限水位为目标,对三峡水库展开多目标防洪调度研究,结果表明,该算法可在较短时间内生成大量在各目标分布均匀、分布范围广的非劣调度方案供决策者评价优选,为水库多目标防洪调度决策提供了一种新的调度方案生成方法。     

考虑分级防洪目标的梯级水库汛控水位调度模型及应用

围绕中小洪水减压、大洪水保安和特大洪水降损等防洪目标，构建了面向分级防洪目标的梯级水库汛控水位优化调度模型，针对不同频率设计洪水，基于“模拟-优化”框架，采用仿生进化算法对调度模型进行了高效求解，并利用熵权法对调度方案进行了多目标评价，比选了梯级水库汛控水位方案。以金沙江中下游6个梯级水库和三峡水库组成的梯级水库为研究对象，研究结果表明：相比原汛限水位方案，在不降低原防洪标准的前提下，选定的方案可使梯级水库水位抬高0.36～6.22 m,发电量增加6.28亿～19.26亿kW·h,增幅为1.18%～4.27%,经济效益显著，可为梯级水库汛控水位的规划设计提供技术支撑。     

金沙江下游梯级水库汛期运行水位协同浮动调度研究

为验证梯级水库汛期运行水位协同浮动调度模型方法的合理性与普适性,在金沙江流域开展实例分析。首先考虑洪水预见期变化,应用动态多目标算法高效求解调度模型;然后评价汛期运行水位协同浮动调度的风险与效益;最后推求乌东德、白鹤滩、溪洛渡、向家坝水库的汛期运行水位协同浮动关系。研究结果表明：相比年汛限水位静态控制调度方案,梯级水库汛期运行水位协同浮动调度方案在不增加防洪风险前提下,各水库汛期运行水位均可适当抬升,汛期多年平均发电量和电站弃水减少量的最高值(改善率)可达1071亿kWh(11.1%)和649亿m³(14.3%),有效提高了洪水资源利用水平,综合效益巨大。     

基于ELQG算法的水库群优化调度研究

针对目前复杂水库群优化调度算法存在早熟收敛和运行时间长等问题,本文深入研究基于ELQG算法的水库群优化调度的原理、方法与步骤,利用ELQG算法求解新安江-富春江水库优化调度模型,并将不同典型年优化下调度结果与DP算法进行对比。结果表明:ELQG算法中梯级水库联合年发电量减少0.1亿~0.3亿k W·h,平均水位降低1.0~1.3 m,但计算速度平均提高20倍。ELQG算法具有较强的实用性和可操作性,为多目标、高维水库群的优化调度提供了一种新的途径。     

湖北汉江梯级水库群联合优化调度研究

湖北汉江流域已形成大规模梯级水库群,为了充分发挥梯级水库群联合补偿调节的优势,实现水电站最优经济运行,本文对湖北汉江流域水电站群运行特性进行分析研究。考虑各电站之间的水力和电力联系,在常规调度图模拟及传统优化调度的基础上,采用基于GAMS平台的非线性规划法以及基于可行空间搜索遗传算法,制定复杂混联水库群的发电优化调度规则。优化效果显著,充分体现水库群优化调度作用,为湖北汉江梯级水电站水库群的实际调度提供最佳的指导和方案。     

基于库容风险频率曲线的水库群联合防洪调度研究

水库实时防洪调度决策是一类多目标、多阶段、多约束的复杂决策问题,风险分析是实时防洪决策的重要环节和依据,本文提出一种基于防洪库容风险频率曲线的梯级水库群防洪风险共担理论及水库风险-调度-决策理论体系,并结合溪洛渡、向家坝、三峡水库实际情况,运用自主研发的梯级水库群联合防洪调度风险分析模型,分析梯级水库群在汛期不同时段的防洪风险,并将风险率引入实时防洪调度决策,以期为水库群防洪调度提供决策依据,提高联合防洪调度系统综合利用效益。研究表明,实时调度过程中考虑风险率因素能够在保证防洪安全的同时有效提高水库群综合效益,风险-调度-决策理论能够为水库群调度方案优选提供依据。     

Multi-objective Decision-Making for the Ecological Operation of Built Reservoirs Based on the Improved Comprehensive Fuzzy Evaluation Method

With the social progress and economic development, people have put forward requirements for the ecological operation of built reservoirs. However, there are conflicts between the ecological landscape and the existing benefits such as irrigation and flood control, so it is necessary to build a decision-making model for the comprehensive value of the ecological operation of reservoirs. Taking a reservoir project which needs to satisfy multi-objective requirements as an example, this paper proposes a set of decision-making methods for ecological operation of built reservoirs based on improved comprehensive fuzzy comprehensive evaluation method and constructs a multi-objective decision-making model and optimization strategy combination. Through case analysis in this paper, the improved comprehensive fuzzy evaluation method has a good effect on multi-objective decision-making of ecological dispatching of built reservoirs. The research shows that the combination strategy of improving the reservoir’s water storage capacity and the water-saving supporting transformation measures has a good effect, which can reduce the waste of the reservoir diversion project and large-scale high-efficiency water-saving transformation project construction. It embodies the idea of water-saving priorities and space balance and has broad application prospects in the optimization of reservoir ecological dispatch.

     

鲸鱼优化算法在水库优化调度中的应用

为验证鲸鱼优化算法在水库优化调度求解中的可行性和有效性,采用4个典型测试函数对鲸鱼优化算法进行仿真验证,并与布谷鸟搜索算法、差分进化算法、混合蛙跳算法、粒子群优化算法、萤火虫算法和SCE-UA算法共6种算法的仿真结果进行对比分析;将鲸鱼优化算法与6种对比算法应用于某单一水库和某梯级水库中长期优化调度求解。结果表明:鲸鱼优化算法寻优精度高于其他6种算法8个数量级以上,具有收敛速度快、收敛精度高和极值寻优能力强等特点;鲸鱼优化算法单一水库和梯级水库优化调度结果均优于其他6种算法;鲸鱼优化算法应用于水库优化调度求解是可行和有效的。     

粗粒度并行自适应混合粒子群算法及其在梯级水库群优化调度中的应用

为了充分利用现今普及的多核配置计算机,提高大规模梯级水库群优化调度问题的求解效率,提出了梯级水库群优化调度的粗粒度并行自适应混合粒子群算法。该方法以自适应混合粒子群算法为求解基础,采用粗粒度并行设计模式,利用Fork/Join多核并行框架的分治策略,将其初始种群递归划分为多个子种群,平均分配到不同的内核逻辑线程中实现并行计算,并在各子种群优化结束后,合并优化结果集从而输出全局最优解。以澜沧江下游梯级水库群发电优化调度为例,利用该方法进行计算。结果表明,该方法能充分发挥多核配置的计算性能,在4核环境下最大加速比达到3.97,缩短计算耗时1 787.2 s,计算效率显著提高,为我国不断扩张的大规模梯级水库群优化调度提供了一种切实可行的高效求解途径。     

A Multi-Objective Optimization Model for Coordinated Regulation of Flow and Sediment in Cascade Reservoirs

This paper presents a multi-objective optimization model for the coordinated regulation of flow and sediment in cascade reservoirs. The model was developed to address two contradicting issues: sediment trapping and flow regulation. The benefits of flood control, hydropower generation and navigation, and sedimentation in cascade reservoirs were considered as the target functions; then the corresponding submodels for reservoir operation and sediment computation were established. The model was implemented by reducing it to a single objective nonlinear model using the constraint method. Non-inferior solutions were obtained by solving the model with catfish effect particle swarm optimization algorithm. The model was applied to the cascade system of Xiluodu and Xiangjiaba reservoirs in the lower Jinsha River in the flood recession period. Under the safety of flood control and navigation, a non-inferior set for impounding time, power generation, and siltation-loss rate of capacity was obtained and optimal solutions with different weights were derived. The results demonstrate that the model is a useful tool in coordinated operations of cascade reservoirs.     

区域水资源调度-分配迭代优化模型

在对水资源系统组成和结构分析的基础上,运用大系统优化理论建立了区域水资源系统多目标优化配置数学模型,包括水源优化调度、水量优化分配和调度分配迭代3个子模型。水源优化调度模型的求解采用轮库迭代方法和动态规划方法,水量优化分配模型的求解采用大系统分解协调中的D-W分解原理。对江苏省连云港市区水资源优化配置问题进行了研究,建立并求解了优化配置模型,结果表明,该市各区在2020规划水平年工业、农业、生活和环境部门都将出现不同程度的缺水情况。     

梯级水库群多目标协同均衡调控研究

梯级水库群调度下多目标矛盾突出,为实现利益的协同与均衡保障,首先识别多目标关键利益与非关键利益,并基于协同学构建了梯级水库群多目标协同优化调度模型;其次提出了基于满意边界的时段内多目标利益均衡调控方法,并引入以混沌时间序列分析的关联维数及Kolmogorov熵对水库群多目标调度系统进行混沌特征识别与引导。在黄河上游梯级水库群多目标调度中的应用结果表明：在不降低多目标利益保障水平的情况下,所提理论与方法实现了梯级水库群调度下多目标利益在时段间形成协同有序、在时段内达到利益均衡;最终方案中黄河上游梯级水库群多目标调度系统的总协同度为0.64,各目标的关键利益保障程度明显高于非关键利益。研究成果为存在多目标竞争关系的流域水资源高效利用提供了新的理论与方法,拓展了水库群多目标优化调度的研究范畴,促进了水资源系统工程学与协同学、混沌学的交叉与融合。     

基于多重迭代算法的梯级水库群调度图优化方法

基于梯级水库群中各水库的常规调度图,建立了以梯级水库群多年平均发电量最大为目标的梯级水库群调度图优化数学模型,提出了基于多重迭代实现高维模型降维的求解算法,即以轮库迭代法实现空间多水库降维,以轮线迭代法实现单一水库多调度线降维,以逐次优化算法实现调度线状态降维。万安溪-白沙梯级水库群的算例计算结果表明,该优化方法能获得形态合理的优化调度图,并能有效提高水库群发电量。