具线性脉冲收获的Gilpin-Ayala模型的最大存储量问题

主要研究在有限时间周期内,由Gilpin-Ayala模型描述的脉冲收获系统的优化控制问题。收获函数包括比例收获和常量收获,在收获量一定的条件下,以种群在周期末的存储量最大为目标函数,对于不同的初值条件,研究不同的收获时刻对种群的影响,并获得最优的收获策略。首先通过脉冲微分方程的极值原理和一些分析技巧,得到了最优收获时刻应满足的必要条件,讨论了在时间周期足够长的条件下具有多次脉冲收获的最优收获策略;进一步考虑了在给定时间范围内的最大收获次数及相应的最优收获策略问题;最后通过实例及数值模拟验证了所得到的主要结果。     

年龄相关的种群空间扩散系统的广义解与收获控制

研究了由积分偏微分方程描述的年龄相关的种群空间扩散系统的收获控制问题.首先利用不动点方法证明了对于有界死亡率μ的系统广义解的存在性,但这是预备的结果.进一步,运用上述结果、先验估计和紧性定理,证明了对于在r=A附近无界的μ的系统解的存在惟一性.其次,利用类似方法得到系统最优收获控制的存在性.最后,利用G^ateax微分和Lions的变分不等式理论,推得了控制为最优的必要条件;从而得到了由积分偏微分方程和变分不等式构成的最优性组.最优性组能够确定最优控制.还建立了表征最优控制的Euler_Lagrange组.这些结果可为种群系统控制问题的实际研究作为理论参考.     

基于近端策略优化和广义状态相关探索算法的双连续搅拌反应釜系统跟踪控制

连续搅拌反应釜(continuous stirring tank reactor, CSTR)是经典的化工设备,被广泛应用于化工过程。由于其具有较强的非线性和时滞性,传统的控制方法无法满足其跟踪控制的精度要求。针对连续搅拌反应釜提出一种基于广义状态相关探索(generalized state-dependent exploration, gSDE)的近端策略优化(proximal policy optimization, PPO)算法的跟踪控制方法。首先使用机理模型模拟真实环境与PPO智能体进行交互;其次利用gSDE使每个回合的探索更稳定且方差更小,同时保证了探索的效果;最后通过增加反馈奖励的方式,解决环境稀疏奖励的问题,使得智能体学会如何对CSTR进行跟踪控制。将该算法应用于双CSTR系统进行测试。仿真结果表明,该算法对复杂非线性系统的跟踪控制具有训练过程平稳、控制误差小、对干扰的反应迅速等优势。     

基于近端策略优化算法含碳捕集的综合能源系统低碳经济调度

为了实现园区综合能源系统（PIES）的低碳化经济运行和多能源互补,解决碳捕集装置耗电与捕碳需求之间的矛盾,以及不确定性源荷实时响应的问题,提出了基于近端策略优化算法含碳捕集的综合能源系统低碳经济调度方法。该方法通过在PIES中添加碳捕集装置,解决了碳捕集装置耗电和捕碳需求之间的矛盾,进而实现了PIES的低碳化运行;通过采用近端策略优化算法对PIES进行动态调度,解决了源荷的不确定性,平衡了各种能源的供给需求,进而降低了系统的运行成本。实验结果表明：该方法实现了不确定性源荷的实时响应,并相比于DDPG（deep deterministic policy gradient）和DQN（deep Q network）方法在低碳化经济运行方面具有有效性及先进性。     

一类双向确定性系统最优控制问题的最大值原理

本文讨论了一类双向确定性系统的最优控制问题，我们利用Ｅｋｅｌａｎｄ变分原理，推得了最优控制所满足的最大原理。同时，对线性系统的情况，我们还证明了最大值条件的充分性。     

非线性广义系统最优控制的最大值原理--有限维情形

本文利用Ekeland变分原理和Fattorini引理处理非线性广义系统最优控制问题,给出该问题解适合最大值原理的证明.     

在线报价系统中基于商品销售期有限的定价策略

在线报价销售模式是近年来出现的一种不同于传统定价模式下的销售模式。针对在这一销售模式下当商品的销售期限和库存有限时销售商如何制定最优限制价格的问题,利用优化的方法建立了销售商的最大期望收益模型,并对该模型进行数值分析,得出了销售商的最优限制价格与商品销售期限和初始库存水平之间的关系。结果表明销售商应根据商品的销售期限和初始库存水平制定其限制价格。     

Lipschitzian Regularity of the Minimizing Trajectories for Nonlinear Optimal Control Problems

We consider the Lagrange problem of optimal control with unrestricted controls and address the question: under what conditions can we assure optimal controls are bounded? This question is related to one of Lipschitzian regularity of optimal trajectories, and the answer to it is crucial in closing the gap between the conditions arising in existence theory and necessary optimality conditions. Rewriting the Lagrange problem in a parametric form, we obtain a relation between the applicability conditions of the Pontryagin maximum principle to the latter problem and the Lipschitzian regularity conditions for the original problem. Under the standard hypotheses of coercivity of the existence theory, the conditions imply that the optimal controls are essentially bounded, assuring the applicability of the classical necessary optimality conditions like the Pontryagin maximum principle. The result extends previous Lipschitzian regularity results to cover optimal control problems with general nonlinear dynamics.     

演化算法的最优轨道分析

基于最优控制理论,提出了演化算法的一种最优轨道分析方法.将演化算法描述成一个动力系统,定义了它的时间最优控制模型.运用著名的Pontryagain极大值原理,分析了演化算法的最优轨道,并利用矩阵范数理论对最优轨道进行了一些理论估计.同时将理论分析结果应用于演化算法的设计之中,导出了一种新的选择策略和终止条件.     

Optimal dynamic pricing and replenishment policy for perishable items with inventory-level-dependent demand

An inventory system for perishable items with limited replenishment capacity is introduced in this paper. The demand rate depends on the stock quantity displayed in the store as well as the sales price. With the goal to realise profit maximisation, an optimisation problem is addressed to seek for the optimal joint dynamic pricing and replenishment policy which is obtained by solving the optimisation problem with Pontryagin’s maximum principle. A joint mixed policy, in which the sales price is a static decision variable and the replenishment rate remains to be a dynamic decision variable, is presented to compare with the joint dynamic policy. Numerical results demonstrate the advantages of the joint dynamic one, and further show the effects of different system parameters on the optimal joint dynamic policy and the maximal total profit.     

用于连续时间中策略梯度算法的动作稳定更新算法

在强化学习中,策略梯度法经常需要通过采样将连续时间问题建模为离散时间问题。为了建模更加精确,需要提高采样频率,然而过高的采样频率可能会使动作改变频率过高,从而降低训练效率。针对这个问题,提出了动作稳定更新算法。该方法使用策略函数输出的改变量计算动作重复的概率,并根据该概率随机地重复或改变动作。在理论上分析了算法性能。之后在九个不同的环境中评估算法的性能,并且将它和已有方法进行了比较。该方法在其中六个环境下超过了现有方法。实验结果表明,动作稳定更新算法可以有效提高策略梯度法在连续时间问题中的训练效率。     

Discrete Maximum Principle for Nonsmooth Optimal Control Problems with Delays

Optimal control problems for discrete-time systems with delays are considered. Necessary optimality conditions of the discrete maximum principle type in the case of nonsmooth minimizing functions are derived. Two independent forms of the discrete maximum principle with transversality conditions described in terms of subdifferentials and superdifferentials are obtained. The superdifferential form is new even for non-delayed systems.