迭代学习控制研究现状与趋势

系统论述了迭代学习控制的发展历史、研究进展.指出了基于可重复性的经典迭代学习控制特点与不足,阐述了迭代学习控制理论的现状:线性与非线性迭代学习、因果与非因果型迭代学习、滤波器型与鲁棒H∞迭代学习、高阶与最优迭代学习、2D复合迭代学习、迭代域超级矢量w变换学习系统分析理论等.简要介绍了与Lyapunov方法结合的新迭代学习控制,最后讨论了迭代学习控制存在问题和发展趋势.同时给出了几个迭代学习控制在工程应用中的成功范例.     

迭代学习控制技术回顾与长期学习控制展望

本文首先回顾了迭代学习控制中初始状态漂移问题和单调收敛性分析的研究技术.其次,综述了高阶迭代学习控制机制及其收敛速度比较和有效性.再次,评述了重复运行大系统和变幅值大工业过程的迭代学习控制机理.最后,展望了长期学习控制的研究趋势等.     

迭代学习控制综述

系统地论述了迭代学习控制的发展和研究现状,包括学习算法及其各种分析方法、与其他控制技术的结合及其应用都作了的总结.重点对迭代学习控制研究的前沿问题:基于频域分析的迭代学习控制、基于2-D理论的迭代学习控制、基于Lyapunov直接法的迭代学习控制、最优化迭代学习控制和采样迭代学习控制进行阐述.最后讨论了目前研究中存在的问题及未来的研究方向.     

迭代学习模型预测控制研究现状与挑战

历经20多年的发展, 迭代学习模型预测控制在理论和应用方面都取得了长足的进步. 但由于批次工业过程复杂多样、结构各异、精细化程度较高, 现有的迭代学习模型预测控制理论仍面临着巨大挑战. 本文简要回顾了迭代学习模型预测控制理论的产生及发展, 阐述了二维预测模型、控制律迭代优化及二维稳定性等基本理论问题; 分析了现有方法在理论及应用方面的局限性, 说明了迭代学习模型预测控制在迭代建模、高效优化、变工况适应等方面面临的难点问题, 提出了可行的解决方案. 简要综述了近年来迭代学习模型预测控制理论和应用层面的发展动态, 指出了研究复杂非线性系统、快速系统、变工况系统对进一步完善其理论体系和拓宽其应用前景的意义, 展望了成品质量控制和动态经济控制等重要的未来研究方向.     

基于时变终端滑模的任意迭代初态抑制控制EI北大核心CSCD

为解决迭代学习过程中的任意迭代初值和迭代收敛理论证明难的问题,本文构造了一种轨迹跟踪误差初值恒位于滑模面内的时变终端滑模面,将轨迹跟踪误差初值不为零的轨迹跟踪控制问题转换为滑模面初值恒为零的滑模面跟踪控制问题,建立了任意迭代初值与相同迭代初值的迭代学习控制理论连接桥梁.本文提出一种基于时变滑模面的比例–积分–微分(PID)型闭环迭代学习控制策略,基于压缩映射原理证明了迭代学习的收敛性,给出了迭代收敛条件.时变终端滑模面经有限次迭代学习收敛到零,达到轨迹跟踪误差最终稳定在时变滑模面内的目的;Lyapunov稳定理论证明了位于滑模面内的轨迹跟踪误差在有限时间内收敛到原点,达到轨迹局部精确跟踪目的.随机初态下的工业机器人轨迹跟踪控制数值仿真验证了本文方法的有效性和系统对外部强干扰的鲁棒性.     

离散时间非线性系统的数据驱动无模型自适应迭代学习控制

本文基于迭代域的动态线性化方法,提出了一类单入单出离散时间非线性系统的数据驱动无模型自适应迭代学习控制方案.无模型自适应迭代学习控制本质上属于一种数据驱动控制方法,仅利用被控对象的输入输出数据即可实现控制方案的设计.理论分析表明无模型自适应迭代学习控制方案可以保证最大学习误差的单调收敛性.数值仿真和快速路交通控制应用验证了无模型自适应迭代学习控制方案的有效性.     

迭代学习控制在电力系统中的应用进展

根据迭代学习控制基本原理及其特性,归纳迭代学习控制在电力系统中的各种应用,对迭代学习控制的最新进展进行详尽的叙述,讨论迭代学习控制在电力系统中应用存在的问题,并对其发展进行展望.     

间歇过程最优迭代学习控制的发展:从基于模型到数据驱动

本文综述了间歇过程的基于模型的和数据驱动的最优迭代学习控制方法.基于模型的最优迭代学习控制方法需要已知被控对象精确的线性模型,其研究较为成熟和完善,有着系统的设计方法和分析工具.数据驱动的最优迭代学习控制系统设计和分析的关键是非线性重复系统的迭代动态线性化.本文简要综述了基于模型的最优迭代学习控制的研究进展,详细回顾了数据驱动的迭代动态线性化方法,包括其详细的推导过程和突出的特点.回顾和讨论了广义的数据驱动最优迭代学习控制方法,包括完整轨迹跟踪的数据驱动最优迭代学习控制方法,提出和讨论了多中间点跟踪的数据驱动最优点到点迭代学习控制方法,和终端输出跟踪的数据驱动最优终端迭代学习控制方法.进一步,迭代学习控制研究中的关键问题,如随机迭代变化初始条件、迭代变化参考轨迹、输入输出约束、高阶学习控制律、计算复杂性等.本文突出强调了基于模型的和数据驱动的最优迭代学习控制方法各自的特点与区别联系,以方便读者理解.最后,本文提出数据驱动的迭代学习控制方法已成为越来越复杂间歇过程控制发展的未来方向,一些开放的具有挑战性的问题还有待于进一步研究.     

带有初态学习的可变增益迭代学习控制

针对一类非线性系统提出一种新的学习控制算法,该算法在可变学习增益的迭代学习控制律基础上,增加了系统初态的迭代学习律.利用算子理论证明了系统在存在初态偏移时经过迭代学习后,其输出能够完全跟踪期望轨迹,同时得到了该算法谱半径形式的收敛条件.将该算法与传统迭代学习控制相比较可以看出,前者的收敛速度得到了较大提高,而且解决了可变学习增益迭代学习控制的初态偏移问题.仿真结果验证了该算法的有效性.     

迭代学习控制理论的发展动态

迭代学习控制（ILC）适合于具有某种重复运动（运行）性质的被控对象，可 实现有限时间区间上的完全跟踪任务．本文综述了迭代学习控制的基本内容和最新发展动态 ，对迭代学习控制的基本理论进行了分类研究，并讨论其存在的问题和发展趋势．     

Ballistic learning control： formulation, analysis and convergence

In this paper, we formulate and explore the characteristics of iterative learning in ballistic control problems. The iterative learning control (ILC) theory provides a suitable framework for derivations and analysis of ballistic control under learning process. To overcome the obstacles caused by uncertain gradient and redundant control input, we incorporate extra trials into iterative learning. With the help of trial results, proper control and updating direction can be determined. Then, iterative learning can be applied to ballistic control problem. Several initial state learning algorithms are studied for initial speed control, force control, as well as combined speed and angle control. In the end, shooting angle learning in the basketball shot process is simulated to verify the effectiveness of iterative learning methods in ballistic control problems.     

PD型模糊学习控制及其在可重复轨迹跟踪问题中的应用

针对可重复轨迹跟踪问题,提出了一种PD型模糊学习算法.该算法集成两种控 制:作为基础的PD型模糊逻辑算法和改善系统性能的学习算法.模糊学习控制在模糊控制 基础上引入迭代学习算法,使得模糊PD控制器可以精确地跟踪可重复轨迹以及消除周期性 扰动.本文在能量函数和泛函分析的基础上,通过严格的推导表明PD型模糊学习算法可达 到:1)系统跟踪误差一致收敛到零;2)学习控制序列几乎处处收敛到理想的控制信号.     

Training Multiagent Systems by Q‐Learning: Approaches and Empirical Results

Multiagent systems are increasingly present in computational environments. However, the problem of agent design or control is an open research field. Reinforcement learning approaches offer solutions that allow autonomous learning with minimal supervision. The Q‐learning algorithm is a model‐free reinforcement learning solution that has proven its usefulness in single‐agent domains; however, it suffers from dimensionality curse when applied to multiagent systems. In this article, we discuss two approaches, namely TRQ‐learning and distributed Q‐learning, that overcome the limitations of Q‐learning offering feasible solutions. We test these approaches in two separate domains. The first is the control of a hose by a team of robots. The second is the trash disposal problem. Computational results show the effectiveness of Q‐learning solutions to multiagent systems’ control.     

XY 平台的迭代学习控制初次控制信号选定

当XY运动平台当前期望轨迹与以往轨迹基元的组合相似时,本文提出如何选定迭代学习控制过程的初次控制信号.首先依次提取各个相似轨迹基元的控制信号,对它们进行相应的旋转和平移变换,并在前后轨迹基元拼接处采用线性插值算法进行控制信号无扰切换,从而获得当前操作的迭代学习控制的初次迭代控制信号;最后通过仿真实例验证了所提方法的有效性.     

迭代学习控制理论的现状与展望

论述了迭代学习控制的基本理论问题,着重讨论了迭代学习理论研究的现状及其存在的问题,提出了一些有待进一步研究的方 面。     

非线性系统学习控制理论的发展与展望

论述了学习控制的基本理论问题,给出了与学习控制系统的基本定义,着重讨论了学习控制方法产生的历史背景、目前非线性系统学习控制的研究状况,提出了一些有待继续研究的问题。     

非线性非仿射离散时间系统的两阶段最优迭代学习控制

On the basis of a new dynamic linearization technology along the iteration axis,a dual-stage optimal iterative learning control is presented for nonlinear and non-affine discrete-time systems.Dual-stage indicates that two optimal learning stages are designed respectively to improve control input sequence and the learning gain iteratively.The main feature is that the controller design and convergence analysis only depend on the I/O data of the dynamical system.In other words,we can easily select the control parameters without knowing any other knowledge of the system.Simulation study illustrates the geometrical convergence of the presented method along the iteration axis,in which an example of freeway traffic iterative learning control is noteworthy for its intrinsic engineering importance.     

基于即时学习的MIMO系统滑模预测控制方法

针对MIMO非线性系统的控制问题,采用数据驱动的控制策略,将具有本质自适应能力的即时学习算法与具有强鲁棒性的滑模预测控制相结合,设计了一种基于即时学习的滑模预测（LL-SMPC）控制方法．该方法在在线局部建模的基础上,采用滑模预测控制律求取最优控制量,具有较强的自适应和抗干扰能力,并避免TDiophantine方程的求解,有效减少了计算量．通过仿真研究,验证了算法的有效性．     

Direct learning of control efforts for trajectories with different magnitude scales

In this paper, we propose a new concept—direct learning which is defined as the generation of the desired control input profile directly from existing control input profiles without any repeated learning. The motivation of developing direct learning control schemes is to overcome the limitation of conventional learning control methods which require that the desired tracking patterns (trajectories) be strictly repeatable throughout the learning process. The main advantages of the direct learning are (1) the capability of fully utilizing the preobtained control input signals which may correspond to tracking patterns with different magnitude scales and be achieved through various control approaches; (2) direct generation of the desired control input profile without repeating the operation cycles. The focus of this paper is on direct learning for a class of trajectories which have identical operation periods but are different in magnitude scales.     

Learning type PID control system using input dependence reinforcement scheme

PID control has widely used in the field of process control and a lot of methods have been used to design PID parameters. When the characteristic values of a controlled object are changed due to a change over the years or disturbance, the skilled operators observe the feature of the controlled responses and adjust the PID parameters using their knowledge and know-how, and a lot of labors are required to do it. In this research, we design a learning type PID control system using the stochastic automaton with learning function, namely learning automaton, which can autonomously adjust the control parameters updating the state transition probability using relative amount of controlled error. We show the effectiveness of the proposed learning type PID control system by simulations. This work was presented in part at the 13th International Symposium on Artificial Life and Robotics, Oita, Japan, January 31–February 2, 2008