倒立摆系统中强化学习的极限环问题

倒立摆系统是强化学习的一种重要的应用领域。首先分析指出在倒立摆系统中,常用的强化学习算法存在着极限环问题,算法无法正确收敛、控制策略不稳定。但是由于在简单的一级倒立摆系统中算法的控制策略不稳定的现象还不明显,因此极限环问题常常被忽视。针对强化学习算法中极限环问题,提出基于动作连续性准则的强化学习算法。算法采用修正强化信号和改进探索策略的方法克服极限环对倒立摆系统的影响。将提出的算法用于二级倒立摆的实际系统控制中,实验结果证明算法不仅能成功控制倒立摆,而且可以保持控制策略的稳定。     

基于一种生长型神经网络的倒立摆控制

针对倒立摆这样的典型控制问题,提出了一种在结构与规模上可生长的神经网络控制方案。网络利用细胞生长结构算法的生长机制,在工作域中实现对刺激信号的自组织模式分类,并可通过新神经元的插入,实现网络规模的生长演化。在输出域中针对控制任务采用强化Hebb学习机制,实现不同的神经元以最佳方式响应不同性质的信号刺激。最后进行了倒立摆的自学习控制的仿真实验,表明在自治地与环境的交互作用中,通过神经网络自身的发育,该方案有效地控制了倒立摆系统。     

基于强化学习的倒立摆分数阶梯度下降RBF控制

为了提高强化学习的控制性能,提出一种基于分数梯度下降RBF神经网络的强化学习算法.通过评价神经网络和执行神经网络组成强化学习系统,利用神经网络记忆和联想,学会控制倒立摆,提高控制精度,使误差趋于零,直至学习成功,并证明闭环系统的稳定性.通过倒立摆的物理实验发现,当分数阶阶数较大,微分的作用更显著,对角速度和速度的控制效果更好,角速度和速度的均方误差和平均绝对误差较小;当分数阶阶数较小,积分的作用更显著,对倾斜角和位移的控制效果更好,因此倾斜角和位移的均方误差和平均绝对误差较小.仿真实验的结果表明,所提算法动态响应好,超调量小,调整时间短,精度高,泛化性能好.它优于基于RBF神经网络的强化学习算法和传统强化学习算法,能有效地加快梯度下降法的收敛速度,提高其控制性能.在引入适当的干扰后,所提算法能够快速地自我调节并恢复稳定状态,控制器的鲁棒性和动态性能满足实际要求.     

平行二级倒立摆的稳定控制

将单一输入规则群动态加权模糊推理模型应用于平行二级倒立摆系统，设计出具有6个输入交量的模糊稳定控制器。该模糊控制器规则总数少，直观性强。计算机仿真表明，该模糊控制器能在短时间内同时实现两摆角度及小车位置的控制。     

基于单片机实现对二级倒立摆的控制

本文简要说明了二级倒立摆系统及其建模。并分析了这个系统的特点。着重于建立一个单片机系统，在状态反馈的基础上实现对倒立摆的控制。     

二级倒立摆的参变量模糊控制

本文主要研究用参变量模糊控制对二级倒立摆进行实时控制的问题。提出了Ｆｕｚｚｙ控制多变量系统的一种分析方法，给出了综合误差、综合误差变化率的概念，并叙述了综合系数的设计方法。应用综合误差理论设计了带参变量Ｆｕｚｚｙ控制器，且用３８６微机对二级倒立摆进行实时控制，取得了较好的效果。     

基于性能协调的平面二级倒立摆控制

针对平面二级倒立摆系统具有的多变量、非线性、强耦合、稳定控制实时性和快速性要求高的特点,设计了利用协调因子优化控制效果的改进型LQR控制器.运用分析动力学方法对倒立摆建立数学模型,以LQR理论设计了平面倒立摆的最优控制器,在此基础上加入性能协调因子,它能根据状态变量的变化实时调整控制作用的大小,进而对LQR输出的预控制...     

二级倒立摆系统设计

自行设计了二级倒立摆硬件系统，完成了机械部分与电路部分的总体设计、加工、组装和调试。自行设计并制作了倒立摆系统控制盒，利用控制盒实现了对角度、位移等状态变量信息的滤波、处理与控制指令的输出。利用Lagrange方法建立了二级倒立摆系统的完整数学模型，同时利用滑动模态变结构控制算法设计了相应的控制率，基于VisualStudi06．0环境编写了控制算法，成功的实现了对于二级倒立摆系统的稳定控制。     

基于遗传算法的二级倒立摆模糊控制器研究

倒立摆系统本身的不稳定性为系统的平衡提出了难题,也因此成为自动控制实验中验证控制算法优劣的极好的实验装置.本文利用把模糊控制和遗传算法结合起来,用遗传算法对模糊控制器的三角形隶属度函数的宽度和顶点进行自动调整,,克服了一般模糊控制设计中模糊变量的隶属度和比例、量化因子的选取通常靠经验来获取的不足,从而达到优化设计模糊控制器提高其自适应控制能力的目的,改善了控制效果.     

强化学习中资格迹的作用

强化学习一词来自行为心理学，该学科把学习看作反复试验的过程，强化学习系统中的资格迹用来解决时间信度分配问题，文章介绍了资格迹的基本原理和实现方法。     

基于SPCE061A单片机的二级倒立摆控制系统

本文介绍了一种基于SPCE061A单片机的二级倒立摆控制系统.主要阐述了状态空间法在本系统中的应用以及功能设计,并简要介绍了系统的软件设计思路.     

基于SPCE061A单片机的二级倒立摆控制系统

本文介绍了一种基于SPCE061A单片机的二级倒立摆控制系统。主要阐述了状态空间法在本系统中的应用以及功能设计,并简要介绍了系统的软件设计思路。     

基于视频的倒立摆摆起控制

在视觉信息用于连续反馈中,人们提出了基于视觉的伺服控制形式,对视觉传感器得到的图像进行快速处理,在尽量短的时间内给出反馈信息,构成系统的位置闭环控制。本文基于视频的倒立摆摆起控制,提供了一个视觉反馈倒立摆摆杆位置来控制的途径。文中对视频采集系统和软件设计进行了详细介绍,并给出了实际效果图。     

一类基于有效跟踪的广义平均奖赏激励学习算法

取消了平均奖赏激励学习的单链或互通MDPs假设,基于有效跟踪技术和折扣奖赏型SARSA(λ)算法,对传统的平均奖赏激励学习进行了推广,提出了一类广义平均奖赏激励学习算法,并对算法的性能进行了初步的比较实验。     

神经网络预测控制及其在二级倒立摆中的仿真

本文介绍了一种基于神经网络的预测控制算法,考虑到算法中复杂性能指标的寻优难以找到全局最优解,提出了一种在工作点附近线性化得到对象的瞬时ARIX模型,再利用GPC(广义预测控制)算法求得近似解,最后以其为初值进行寻优获得全局最优解的方法,提高了算法的性能。最后的二级倒立摆仿真验证了算法的可靠性。     

基于混沌优化的二级倒立摆最优控制实验

为解决LQ控制多变量系统时权矩阵参数难以确定的问题,在引入一种与系统动态性能密切相关的性能指标基础上,提出了混沌全局粗搜索和局部细搜索相结合的优化LQ控制器,并且进行了二级倒立摆的实时控制.最后的实验证实了,该方法既是线性二次型泛函意义下的最优,又能解决具有快速、强非线性、绝对不稳定系统的控制问题.     

倒立摆系统稳定控制之研究

多级倒立摆系统作为一个典型的非线性、多变量、高阶次、强耦合和自然不稳定的复杂被控系统,一直是人们检验、比较各种控制理论和方法的理想实验平台,半个多世纪以来,国内外许多机构对它进行了广泛的研究,积累了丰富的资料。这里对多级倒立摆稳定控制的研究现状进行总结,探讨了它的发展趋势。目前主要的控制方法有线性控制、预测控制和智能控制三类,智能控制是当前研究的主流,它包括模糊控制、拟人控制、计算智能控制、云模型控制等。继续深入研究各种智能控制方法及其组合应用是今后的发展方向。     

二级倒立摆基于信息融合的模糊控制

本文针对二级倒立摆系统,提出了一种基于信息融合的模糊控制方法.该种方法将线性系统理论与模糊控制技术相结合,利用信息融合技术完成输入变量降维,从而大大简化了多输入模糊控制器的设计过程.仿真结果表明,本文提出的设计方法是正确的和可行的.