基于数据ADP算法的一类带有执行器饱和的未知离散时间系统最优跟踪控制

针对一类带有执行器饱和的未知动态离散时间非线性系统, 提出了一种新的最优跟踪控制方案. 该方案基于迭代自适应动态规划算法, 为了实现最优控制, 首先建立了未知系统动态的数据辨识器. 通过引入M网络, 获得了稳态控制的精确表达式. 为了消除执行器饱和的影响, 提出了一个非二次的性能指标函数. 然后提出了一种迭代自适应动态规划算法获得最优跟踪控制的解, 并给出了收敛性分析. 为了实现最优控制方案, 神经网络被用来构建数据辨识器、计算性能指标函数、近似最优控制策略和求解稳态控制. 仿真结果验证了本文所提出的最优跟踪控制方法的有效性.     

基于自适应动态规划的一类带有时滞的离散时间非线性系统的最优控制策略

针对一类状态和控制变量均带有时滞的非线性系统的带有二次性能指标函数最优控制问题, 本文提出了一种基于新的迭代自适应动态规划算法的最优控制方案. 通过引进时滞矩阵函数, 应用动态规划理论, 本文获得了最优控制的显式表达式, 然后通过自适应评判技术获得最优控制量. 本文给出了收敛性证明以保证性能指标函数收敛到最优. 为了实现所提出的算法, 本文采用神经网络近似性能指标函数、计算最优控制策略、求解时滞矩阵函数、以及给非线性系统建模. 最后本文给出了两个仿真例子说明所提出的最优策略的有效性.     

非线性离散时间系统带ε误差限的自适应动态规划

为了获得非线性离散时间系统的最优控制策略,基于自适应动态规划的原理,提出了一种带误差限的自适应动态规划方法.对于一个任意的状态,用一个有限长度的控制序列近似最优控制序列,使性能指标与最优性能指标的误差在一个较小的范围内.选取一个非线性离散时间系统对算法的性能进行数值实验,结果验证了该算法的有效性,用较少的计算代价获得了近似最优的控制策略.     

基于数据自适应评判的离散2-D系统零和博弈最优控制

提出了基于一种迭代自适应评判设计(ACD)算法解决一类离散时间Roesser型2-D系统的二人零和对策问题. 文章主要思想是采用自适应评判技术迭代的获得最优控制对使得性能指标函数达到零和对策的鞍点. 所提出的ACD可以通过输入输出数据进行实现而不需要系统的模型. 为了实现迭代ACD算法, 神经网络分别用来近似性能指标函数和计算最优控制率. 最后最优控制策略将应用到空气干燥过程控制中以证明其有效性.     

未固定初始状态的ε误差限最优控制

为有效控制离散非线性系统,使系统控制策略能够应对状态域的所有初始状态,在近似动态规划方法的基础上,提出一个未固定初始状态的带ε误差限的离散非线性系统优化控制算法。研究初始状态对离散系统控制策略的影响,确定在初始状态域边界上寻找最优初始点的方法。所求控制策略使初始状态域的所有性能指标函数在最大迭代步数内收敛,使性能指标与最优性能指标保持在精度ε内。为了易于实现算法,使用神经网络来近似性能指标函数和最优控制策略。结合实例,对该算法进行仿真分析,分析结果表明了算法的有效性。     

Buck型变换器输出跟踪的自适应动态规划算法

本文采用自适应动态规划算法研究了Buck型DC–DC变换器系统的输出跟踪问题.首先构造一个误差系统,并定义含跟踪误差和控制代价的性能指标;然后,利用自适应动态规划算法得到Buck型变换器系统的最优控制,使得含有跟踪误差和控制代价的性能指标达到最优.接着,利用该算法研究了网络环境下的Buck型DC–DC变换器系统的输出跟踪问题.该算法避免了代数求解Riccati方程,求解简洁快速.最后,仿真实验验证了该算法的有效性.     

一类控制受约束非线性系统的基于单网络贪婪迭代DHP算法的近似最优镇定

提出一种贪婪迭代DHP (Dual heuristic programming)算法, 解决了一类控制受约束非线性系统的近似最优镇定问题. 针对系统的控制约束, 首先引入一个非二次泛函把约束问题转换为无约束问题, 然后基于协状态函数提出一种贪婪迭代DHP算法以求解系统的HJB (Hamilton-Jacobi-Bellman)方程. 在算法的每个迭代步, 利用一个神经网络来近似系统的协状态函数, 而后根据协状态函数直接计算系统的最优控制策略, 从而消除了常规近似动态规划方法中的控制网络. 最后通过两个仿真例子证明了本文提出的最优控制方案的有效性和可行性.     

控制能量约束时不稳定过程最优控制与仿真

在最优控制问题的研究中,工业过程控制领域中不稳定系统的控制难度比较大,且在许多控制系统设计中控制能量可能成为重要的性能指标。对控制能量存在约束时不稳定过程的最优控制问题进行了研究与仿真,优化问题的难点在于性能指标的表示与最小化。首先基于不稳定过程的互质分解,由敏感度函数和控制敏感度函数定义了一个包含跟踪误差和控制能量在内的性能指标,采用谱分解最小化该性能指标,从而为不稳定系统导出了一种最优的控制器设计方法,可使系统获得最优的控制性能。仿真结果进一步说明了方法的有效性。     

双线性系统多目标控制问题研究

研究了双线性系统的多目标控制问题. 首先把多目标控制问题, 通过效用函数技术转化为一个单目标最优控制问题, 其中, 效用函数是多个二次型性能指标的非线性函数, 因此, 在动态规划的意义下是不可分的. 然后, 为了克服不可分对求解带来的困难, 提出了一种两级最优控制算法. 下级用动态规划求解一个参数化的具有双线性---二次型结构的辅助 Lagrangian 问题；上级迭代调整辅助 Lagrangian 问题中的参数向量. 不断重复这个过程, 直至最优性条件被满足.     

桥式吊车系统的伪谱最优控制设计

对于桥式吊车系统的最优控制问题,根据实际的工况要求,性能指标有时不一定是标准的二次形式.同时,在实际的控制问题中,状态和控制输入往往会受到一些边界条件和路径过程中的约束.针对这一问题,本文应用Chebyshev伪谱优化算法来处理,它可以处理状态和控制约束的非线性最优化问题以及一个非标准的目标函数.首先对桥式吊车系统模型进行一系列的坐标变换,将其转变为上三角系统形式的误差模型.然后将桥式吊车最优控制问题转化成具有一系列代数约束的参数优化问题,即非线性规划问题.通过求解离散化后的参数优化问题,得到桥式吊车的最优控制律.本文还给出了Chebyshev伪谱最优解的可行性和一致性分析.最后,在仿真研究中验证该控制器的有效性.     

Multi-objective optimal control for a class of nonlinear time-delay systems via adaptive dynamic programming

A novel multi-objective adaptive dynamic programming (ADP) method is constructed to obtain the optimal controller of a class of nonlinear time-delay systems in this paper. Using the weighted sum technology, the original multi-objective optimal control problem is transformed to the single one. An ADP method is established for nonlinear time-delay systems to solve the optimal control problem. To demonstrate that the presented iterative performance index function sequence is convergent and the closed-loop system is asymptotically stable, the convergence analysis is also given. The neural networks are used to get the approximative control policy and the approximative performance index function, respectively. Two simulation examples are presented to illustrate the performance of the presented optimal control method.     

On an inverse problem in optimal control

The problem of optimizing linear-stationary control systems subject to quadratic performance indices and bounded control effort constraints is studied. This problem was first proposed by Letov [1]. His solution, however, has been found to be valid only in some special cases [3]. In this paper, necessary and sufficient conditions for the existence of the optimal control laws of the saturation type are developed. It is shown that the weighting factors in the performance index have to be chosen in a particular manner, and the plants have to satisfy certain conditions to yield an optimal saturation type control law. As the weighting on the control effort in the performance index is decreased, the optimal solution approaches a bang-bang type singular control.     

Finite horizon optimal control of discrete-time nonlinear systems with unfixed initial state using adaptive dynamic programming

In this paper, we aim to solve the finite horizon optimal control problem for a class of discrete-time nonlinear systems with unfixed initial state using adaptive dynamic programming (ADP) approach. A new ε-optimal control algorithm based on the iterative ADP approach is proposed which makes the performance index function converge iteratively to the greatest lower bound of all performance indices within an error according to ε within finite time. The optimal number of control steps can also be obtained by the proposed ε-optimal control algorithm for the situation where the initial state of the system is unfixed. Neural networks are used to approximate the performance index function and compute the optimal control policy, respectively, for facilitating the implementation of the ε-optimal control algorithm. Finally, a simulation example is given to show the results of the proposed method.     

Dual iterative adaptive dynamic programming for a class of discrete-time nonlinear systems with time-delays

In this paper, a new dual iterative adaptive dynamic programming (ADP) algorithm is developed to solve optimal control problems for a class of nonlinear systems with time-delays in state and control variables. The idea is to use the dynamic programming theory to solve the expressions of the optimal performance index function and control. Then, the dual iterative ADP algorithm is introduced to obtain the optimal solutions iteratively, where in each iteration, the performance index function and the system states are both updated. Convergence analysis is presented to prove the performance index function to reach the optimum by the proposed method. Neural networks are used to approximate the performance index function and compute the optimal control policy, respectively, for facilitating the implementation of the dual iterative ADP algorithm. Simulation examples are given to demonstrate the validity of the proposed optimal control scheme.     

基于数据的自学习优化控制:研究进展与展望

自适应动态规划(Adaptive dynamic programming, ADP)方法可以解决传统动态规划中的"维数灾"问题, 已经成为控制理论和计算智能领域最新的研究热点. ADP方法采用函数近似结构来估计系统性能指标函数, 然后依据最优性原理来获得近优的控制策略. ADP是一种具有学习和优化能力的智能控制方法, 在求解复杂非线性系统的最优控制问题中具有极大的潜力. 本文对ADP的理论研究、算法实现、相关应用等方面进行了全面的梳理, 涵盖了最新的研究进展, 并对ADP的未来发展趋势进行了分析和展望.     

基于线性二次型高斯基准的多变量预测控制技术经济性能评估

由于受控过程参数的漂移及缺乏维护,令采用的控制器性能逐渐降低,需要做经济性能评估,以确保其最佳运行状态.因为目前最小方差评估算法没有考虑控制器的约束条件,对此我们采用线性二次型高斯(linearquadratic Gaussian,LQG)基准的模型预测控制(model predictive control,MPC)双层优化控制结构,将控制和输出的加权值引入上层经济性能指标,通过求解LQG问题获取控制与输出方差关系的离散点集,进一步拟合Pareto最优曲面方程,建立优化命题并求解最优经济指标及设定值.对延迟焦化加热炉的多变量MPC控制进行了性能评估及分析,证明该方法可以改进控制器设计,提高经济效益.     

The finite-horizon optimal control for a class of time-delay affine nonlinear system

In this paper, a new iteration algorithm is proposed to solve the finite-horizon optimal control problem for a class of time-delay affine nonlinear systems with known system dynamic. First, we prove that the algorithm is convergent as the iteration step increases. Then, a theorem is presented to demonstrate that the limit of the iteration performance index function satisfies discrete-time Hamilton–Jacobi–Bellman (DTHJB) equation, and the finite-horizon iteration algorithm is presented with satisfactory accuracy error. At last, two neural networks are used to approximate the iteration performance index function and the corresponding control policy. In simulation part, an example is given to demonstrate the effectiveness of the proposed iteration algorithm.