非线性系统的神经网络学习控制

主要控制了一类非线性系统的神经网络学习控制问题。讨论了以迭代学习方式训练的神经网络学习控制器，在满足一定条件，可以实现一定时间内的系统输出跟踪。     

基于Takagi—Sugeno的再励学习模糊神经网络控制

提出一种模糊神经网络的自适应控制方案。针对连续空间的复杂学习任务，提出了一种竞争式Takagi—Sugeno模糊再励学习网络，该网络结构集成了Takagi-Sugeno模糊推理系统和基于动作的评价值函数的再励学习方法。相应地，提出了一种优化学习算法，其把竞争式Takagi-Sugeno模糊再励学习网络训练成为一种所谓的Takagi-Sugeno模糊变结构控制器。以一级倒立摆控制系统为例．仿真研究表明所提出的学习算法在性能上优于其它的再励学习算法。     

基于遗传算法和神经网络预测的再励学习

提出一种基于遗传算法和神经网络预测法相结合的再励学习方法,利用遗传算法对全局进行最优解搜索,将进化过程中产生的数据用来训练神经网络预测器,当再励学习逼近最优解时,利用预测网络估计动作网络的参数、结构与系统响应之间的映射关系,用预测网络逼近最优解的能力引导遗传算法在局部向最优解快速逼近,以解决遗传算法局部振荡问题,从而实现快速学习的能力。将其应用于矢量控制交流电机的速度环控制器自学习中,仿真实验验证了该算法的有效性。     

具有实质的不确定系统再励学习

本文对具有时滞的不确定控制对象提出了一种带有神经网络的Ｓｍｉｔｈ预估器再励学习控制方法,文中还给出了再励学习系统中模糊自适应控制器的网络结构及其有关算法的改进。仿真结果表明：本文提出的控制方法对具有时滞的不确定系统的自学习控制不仅是有效的,而且具有良好的鲁棒性。     

再励学习在卫星姿态控制中的仿真研究

为了满足卫星姿态控制系统对控制精度、抗干扰和鲁棒性要求的不断提高,将模糊神经网络结合再励学习算法应用到卫星姿态控制系统中,即可以在不需要被控卫星的精确数学模型的前提下解决网络参数在线调整的问题,又可以在无需训练样本的前提下实现控制器的在线学习。最后同传统PID控制相比的仿真结果表明,基于再励学习的三轴稳定卫星姿态控制系统不仅可以达到卫星姿态控制任务对控制精度的要求,还可以有效地克服干扰,从而达到了在线学习的目的。     

基于CMAC再励学习控制的电梯群控调度方法

提出一种新的智能优化调度方法，将再励学习控制运用到电梯群控系统中,采用基于交通模式识别的小脑模型神经网络作为控制器,以乘客平均候梯时间最短为控制目标设计出电梯群控系统的控制方案.该控制方法不需要过多的专家知识及学习样本,可以实现在线学习并具有较强的自适应能力,提高了系统的效率并且使系统性能得到优化.以层间交通模式为例对系统进行仿真,结果证明了该方法的可行性及有效性.     

基于Takagi-Sugeno的再励学习模糊神经网络控制

提出一种模糊神经网络的自适应控制方案。针对连续空间的复杂学习任务,提出了一种竞争式Takagi-Sugeno模糊再励学习网络,该网络结构集成了Takagi-Sugeno模糊推理系统和基于动作的评价值函数的再励学习方法。相应地,提出了一种优化学习算法,其把竞争式Takagi-Sugeno模糊再励学习网络训练成为一种所谓的Takagi-Sugeno模糊变结构控制器。以一级倒立摆控制系统为例,仿真研究表明所提出的学习算法在性能上优于其它的再励学习算法。     

再励学习——原理,算法及其在智能控制中的应用

综述了再励学习的原理，主要算法，基于神经网络的实现及其在智能控制中的作用，探讨了应进一步研究的问题。     

基于再励学习与遗传算法的交通信号自组织控制

提出一种基于再励学习和遗传算法的交通信号自组织控制方法.再励学习针对每一个道路交叉口交通流的优化,修正每个信号灯周期的绿信比.遗传算法则产生局部学习过程的全局优化标准,修正信号灯周期的大小.这种方法将局部优化和全局优化统一起来,克服了现有的控制方法需要大量数据传输通讯、准确的交通模型等缺陷.     

Robot Control Optimization Using Reinforcement Learning

Conventional robot control schemes are basically model-based methods. However, exact modeling of robot dynamics poses considerable problems and faces various uncertainties in task execution. This paper proposes a reinforcement learning control approach for overcoming such drawbacks. An artificial neural network (ANN) serves as the learning structure, and an applied stochastic real-valued (SRV) unit as the learning method. Initially, force tracking control of a two-link robot arm is simulated to verify the control design. The simulation results confirm that even without information related to the robot dynamic model and environment states, operation rules for simultaneous controlling force and velocity are achievable by repetitive exploration. Hitherto, however, an acceptable performance has demanded many learning iterations and the learning speed proved too slow for practical applications. The approach herein, therefore, improves the tracking performance by combining a conventional controller with a reinforcement learning strategy. Experimental results demonstrate improved trajectory tracking performance of a two-link direct-drive robot manipulator using the proposed method.     

基于强化学习神经网络的车速跟踪控制

提出一种用于汽车排放试验中驾驶机器人对车速跟踪控制的新方法.该控制方法基于神经网络并结合强化学习的自适应能力,通过神经网络的在线学习对车速进行跟踪控制.利用试验汽车所获得的数据,首先开发出用于车速控制的神经网络模型.然后基于强化学习神经网络结构设计神经网络控制器以取得车速跟踪的自适应控制.在仿真研究中,使用神经网络车速控制模型替代实际汽车来训练初始控制器,并用开发与训练好的自学习神经网络控制器用于汽车车速跟踪控制.结果表明,所开发的神经网络控制器具有良好的车速跟踪性能,控制效果明显.     

Reinforcement Learning Behavioral Control for Nonlinear Autonomous System

Behavior-based autonomous systems rely on human intelligence to resolve multi-mission conflicts by designing mission priority rules and nonlinear controllers. In this work, a novel two-layer reinforcement learning behavioral control (RLBC) method is proposed to reduce such dependence by trial-and-error learning. Specifically, in the upper layer, a reinforcement learning mission supervisor (RLMS) is designed to learn the optimal mission priority. Compared with existing mission supervisors, the RLMS improves the dynamic performance of mission priority adjustment by maximizing cumulative rewards and reducing hardware storage demand when using neural networks. In the lower layer, a reinforcement learning controller (RLC) is designed to learn the optimal control policy. Compared with existing behavioral controllers, the RLC reduces the control cost of mission priority adjustment by balancing control performance and consumption. All error signals are proved to be semi-globally uniformly ultimately bounded (SGUUB). Simulation results show that the number of mission priority adjustment and the control cost are significantly reduced compared to some existing mission supervisors and behavioral controllers, respectively.      

带状态约束的事件触发积分强化学习控制

为克服全状态对称约束以及控制策略频繁更新的局限,同时使得无限时间的代价函数最优,针对一类具有部分动力学未知的仿射非线性连续系统,提出一种带状态约束的事件触发积分强化学习的控制器设计方法。该方法是一种基于数据的在线策略迭代方法。引入系统转换将带有全状态约束的系统转化为不含约束的系统。基于事件触发机制以及积分强化学习算法,通过交替执行系统转换、策略评估、策略改进,最终系统在满足全状态约束的情况下,代价函数以及控制策略将分别收敛于最优值,并能降低控制策略的更新频率。此外,通过构建李亚普诺夫函数对系统以及评论神经网络权重误差的稳定性进行严格的分析。单连杆机械臂的仿真实验也进一步说明算法的可行性。     

非线性系统鲁棒自校正控制间接算法

提出一种非线性系统鲁棒自校正控制间接算法．借助于神经网的作用，有效地辨识系统的建模误差，其辨识结果在控制算法中加以补偿，于是，使基于低阶线性模型的自校正控制算法有效地应用于复杂的非线性系统．文中给出了算法的鲁棒性分析和仿真结果．     

基于CMAC强化学习的交叉口信号控制

采用神经网络值函数逼近的强化学习方法处理交叉口的信号控制。根据交通流及交叉口信号特征,建立强化学习的状态空间、动作空间和回报空间,以最小化车辆在交叉口的延误为控制目标,对信号进行优化控制。引入小脑模型关节控制器神经网络对强化学习(RL)的Q值进行逼近。在变化的交通条件下,使用典型交叉口对提出的RL模型进行验证,同传统的定时控制和全感应控制进行对比分析。仿真结果表明,RL控制器具有较强的学习能力,可以适应交通流的动态变化,稳定性好、自适应性强,对于环境变化具有较强的适应能力。     

An Iterative Learning Control of Nonlinear Systems Using Neural Network Design

In this paper, a feedforward neural network with sigmoid hidden units is used to design a neural network based iterative learning controller for nonlinear systems with state dependent input gains. No prior offline training phase is necessary, and only a single neural network is employed. All the weights of the neurons are tuned during the iteration process in order to achieve the desired learning performance. The adaptive laws for the weights of neurons and the analysis of learning performance are determined via Lyapunov‐like analysis. A projection learning algorithm is used to prevent drifting of weights. It is shown that the tracking error vector will asymptotically converges to zero as the iteration goes to infinity, and the all adjustable parameters as well as internal signals remain bounded.     

基于强化学习规则的两轮机器人自平衡控制

两轮机器人是一个典型的不稳定,非线性,强耦合的自平衡系统,在两轮机器人系统模型未知和没有先验经验的条件下,将强化学习算法和模糊神经网络有效结合,保证了函数逼近的快速性和收敛性,成功地实现两轮机器人的自学习平衡控制,并解决了两轮机器人连续状态空间和动作空间的强化学习问题;仿真和实验表明:该方法不仅在很短的时间内成功地完成对两轮机器人的平衡控制,而且在两轮机器人参数变化较大时,仍能维持两轮机器人的平衡。