非齐次马尔可夫跳跃正线性系统的稳定与镇定

本文研究一类非齐次马尔可夫跳跃正线性系统的稳定与镇定问题.该系统中模态的变化服从非齐次马尔可夫过程,其模态转移速率/概率矩阵是随时间随机变化的,且变化规律由一个高层马尔可夫过程描述,本文提出一种双层马尔可夫跳跃正系统模型来刻画此类系统特征.在此基础上,利用切换线性余正李雅普诺夫函数给出此类连续和离散时间非齐次马尔可夫跳跃正线性系统平均稳定的判据.然后,运用线性规划方法设计依赖于模态–模态转移速率/概率矩阵的状态反馈控制器,进而实现闭环系统的平均稳定性.最后,以功率分配系统为例给出仿真算例,验证了所设计控制策略的有效性.     

一类离散线性切换系统的最优控制

研究了一类离散线性切换系统在切换时间、切换次数固定的情况下的二次最优控制问题.利用离散动态规划的方法,将多级决策过程分解成一系列易于求解的单级决策过程,求出最优控制序列和最优切换序列,并给出算法.最后通过一个数值例子来说明所提出的方法的有效性.     

带乘性噪声的非齐次Markov跳跃系统有限时间稳定性

研究一类带乘性噪声的离散时间非齐次随机Markov跳跃系统的有限时间稳定性,该系统的转移概率矩阵不是常矩阵而是区间矩阵.在区间矩阵紧性的假设下,将其表示为随机矩阵的凸组合.首先,给出系统有限时间稳定的充分必要条件;其次,利用Lyapunov方法和线性矩阵不等式技术得到系统有限时间稳定的充分条件,并用于设计有限时间状态反馈镇定控制器;最后,通过仿真算例说明所提出方法的有效性.     

一类马尔可夫跳跃线性系统的FDF设计

研究受L2范数有界未知扰动影响的一类马尔可夫跳跃线性系统的基于观测器的故障诊断滤波器设计问题.应用H∞优化技术,给出并证明了随机稳定并满足一定性能指标的残差产生系统的存在条件.通过求解线性矩阵不等式可求得故障诊断滤波器设计的解析解.     

一类非齐次高阶非线性系统的自适应控制设计

本文讨论了一类具有未知参数的非齐次高阶非线性系统的全局强稳定自适应控制器的设计问题,定义了一个时变未知参数和一列非齐次辅助函数,通过增加辅助函数的积分项的方法并结合自适应控制技术,放宽了目前已有结论中对非线性项的限制,给出了使系统全局强稳定的连续自适应控制器存在的一个充分条件,给出了它的自适应状态反馈控制器的递推设计方法,并通过一个例子验证了文章的理论结果.     

马尔可夫跳变线性系统最优控制的研究现状与进展

马尔可夫跳变线性系统（MJLS）是一种具有多个模态的随机系统,系统在各个模态之间的跳变转移由一组马尔可夫链来决定。MJLS模型因其在表示过程中可以产生突变而更能精确的描述实际工程应用中的系统。近年来,MJLS的最优控制问题成为了研究的热点,动态规划、极大值原理以及线性矩阵不等式等成为了解决此类问题的主流方法。本文对MJLS最优控制领域的研究现状进行了综述。分别对一般情况下、带有噪声的情况下、带有时滞的情况下以及某些特定情况下的MLJS最优控制问题的国内外研究现状进行论述。最后进行了总结并提出MJLS最优控制领域未来值得关注的研究方向。     

一类有限时间切换系统的最优控制问题

本文研究了一类带有终端约束的切换系统在有限时间内的最优控制问题.终端约束的出现使得最优控制问题的值函数不再是处处可微的,甚至是不连续的.因此,原来关于无穷时间域上的值函数是Bensoussan-Lions拟变分不等式(QVI)的粘性解的这一结论已不再适用.本文采用了动态规划方法和生存定理将QVI的解延拓到了下半连续的情形,并且得到了有限时间最优切换控制问题的值函数是QVI的下半连续解的重要结论.     

具有条件马尔科夫结构的离散随机系统最优控制

基于Bellman随机非线性动态规划法, 提出了具有条件马尔科夫跳变结构的离散随机系统的最优控制方法, 应用随机变结构系统的性质对最优控制算法进行了简化处理, 并将后验概率密度函数用条件高斯函数来逼近, 针对一类具有条件马尔科夫跳变结构的线性离散随机系统, 给出了其逼近最优控制算法.     

线性Markov跳变随机系统的Pareto最优控制

目前针对多个主体、多个目标的带有Markov跳变的线性随机系统的控制问题的研究较少且较为浅显.本文研究了具有乘性噪声的连续时间线性Markov跳变随机系统的Pareto最优控制问题.假设多个主体、多个性能指标由状态和控制变量中的二次部分和线性部分的线性组合而形成,证明了Pareto最优与加权和优化之间的关系,从而将多目标优化问题转化为特殊的单目标加权和最优控制问题.基于Pareto博弈理论与广义It?o公式,系统的Pareto有效策略可以通过一组耦合的广义Riccati微分方程与一组耦合的线性微分方程求解,并且可以得到每一个控制器的Pareto解.最后,本文通过数值仿真验证理论结果的有效性.     

Average cost optimal policies for Markov control processes with Borel state space and unbounded costs

We show the existence of average cost optimal stationary policies for Markov control processes with Borel state space and unbounded costs per stage, under a set of assumptions recently introduced by L.I. Sennott (1989) for control processes with countable state space and finite control sets.     

Towards the optimal control of Markov chains with constraints

An optimal control problem with constraints is considered on a finite interval for a non-stationary Markov chain with a finite state space. The constraints are given as a set of inequalities. The optimal solution existence is proved under a natural assumption that the set of admissible controls is non-empty. The stochastic control problem is reduced to a deterministic one and it is shown that the optimal solution satisfies the maximum principle, moreover it can be chosen within a class of Markov controls. On the basis of this result an approach to the numerical solution is proposed and its implementation is illustrated by examples.     

带Markov跳的离散时间随机控制系统的最大值原理

本文研究一类同时含有Markov跳过程和乘性噪声的离散时间非线性随机系统的最优控制问题,给出并证明了相应的最大值原理.首先,利用条件期望的平滑性,通过引入具有适应解的倒向随机差分方程,给出了带有线性差分方程约束的线性泛函的表示形式,并利用Riesz定理证明其唯一性.其次,对带Markov跳的非线性随机控制系统,利用针状变分法,对状态方程进行一阶变分,获得其变分所满足的线性差分方程.然后,在引入Hamilton函数的基础上,通过一对由倒向随机差分方程刻画的伴随方程,给出并证明了带有Markov跳的离散时间非线性随机最优控制问题的最大值原理,并给出该最优控制问题的一个充分条件和相应的Hamilton-Jacobi-Bellman方程.最后,通过一个实际例子说明了所提理论的实用性和可行性.     

Optimization of queuing system via stochastic control

The problem of access and service rate control in queuing systems as a general optimization problem for controlled Markov process with finite state space is considered. By using the dynamic programming approach we obtain the explicit form of the optimal control in the case of minimizing cost given as a mixture of an average queue length, number of lost jobs, and service resources. The problem is considered on a finite time interval in the case of nonstationary input flow. In this case we suggest the general procedure of the numerical solution which can be applied to a problems with constraints.