一种基于双精度搜索算法的变论域模糊控制

针对定式变论域模糊控制精度不高,自适应能力有限,控制函数在遗传到后代时存在畸变而造成算法本身误差等问题,设计了一种基于双精度搜索算法的变论域模糊控制器。在基本万有引力算法全局搜索的同时,采用序列二次规划进行局部搜索避免算法陷入局部最优,提出具有“全局-局部”双重搜索机制的双精度搜索算法。在变论域模糊控制基础上提出了一种利用伸缩因子、等比因子相互协调来调整论域的构想,且通过双精度搜索算法来寻优参数,降低控制过程中的函数畸变,从而进一步改善控制器性能。对比实验表明DPSA在参数寻优中稳定性突出,控制器不但收敛速度快,且与其他控制方式相比,其精度和效果都有所提高。     

基于多层蚁群算法的变论域模糊控制

针对模糊控制器控制精度不高、自适应能力有限等问题,提出一种变论域自适应模糊控制方式.首先在对离散蚁群算法改进的基础上,提出用于连续域寻优的多层蚁群算法.其通过将解空间分成有限网格,并且算法在迭代过程中采用三个阶段的搜索策略,每个阶段采用异构搜索机制.然后根据系统性能利用改进算法动态调整伸缩因子,从而构成基于多层蚁群算法的变论域自适应模糊控制器.最后将此控制器用于中厚板液压位置伺服系统中.仿真结果表明,采用自适应模糊控制器的伺服系统收敛速度明显加快,此控制策略在适应能力与鲁棒性好于其它控制方式.     

电阻点焊的变论域模糊控制方法

为提高电阻点焊模糊控制适应性和稳定性差的缺点, 根据变论域控制理论, 提出了电阻点焊的变论域模糊控制方法. 首先, 讨论了变论域模糊控制的基本原理. 其次, 设计了输入隶属函数、输出隶属函数、模糊控制规则、伸缩因子, 开发了一种基于规范化因子的电阻电焊变论域模糊控制器, 并使用模糊规则选择变论域的伸缩因子,给出了算法实现的具体步骤. 最后, 进行了不同控制方案的实验研究, 分析了实验结果, 验证了该控制算法的优越 性.     

基于多种群遗传算法的电动变桨系统的变论域模糊控制

针对电动变桨系统的时变性、非线性、大惯性及风速不确定性等特点,提出一种基于多种群遗传优化算法的电动变桨系统的变论域模糊控制方法。在该方法中,通过分析确定变论域伸缩因子的结构,利用多种群遗传算法优化其参数,实现伸缩因子参数的智能寻优,有效解决了模糊控制器精度不高、模糊控制中规则数量与控制精度之间的矛盾。在遗传算法迭代中,染色体采用实数编码、多种群、多目标并行搜索,利用最优个体最少保持代数作为算法终止判断。将设计的优化变论域模糊控制器应用于电动变桨系统的速度控制中,根据速度环的性能指标建立合适的目标函数,通过对基本论域自适应调整,实现了速度环的自适应控制。仿真结果表明,基于多种群遗传优化算法的变论域模糊控制在动态性能和稳态性能上优于变论域模糊控制。     

一类简单变论域模糊控制器的设计

本文通过在模糊推理的前件与后件设置一种比例型变论域伸缩因子,以替代常见的指数型伸缩因子和积分型伸缩因子,在此基础上提出了一类简单实用的变论域模糊控制算法。由新算法构成的控制器继承了现有变论域模糊控制算法的高精度优点,同时新算法的计算量较之现有算法得到了大幅度的下降,为变论域模糊控制器的应用问题提供了一个有效解决方案。     

基于变论域模糊PID算法的张力控制

张力控制在工业中应用十分广泛,其核心是保持张力的恒定。目前恒张力控制主要采用的算法有分段PID和模糊PID,但是这两种方法控制稳定性差。在常规模糊控制的基础上,引入了变论域的思想并设计了伸缩因子基于函数类型的变论域模糊控制器,以此对执行机构为磁粉制动器的张力系统进行控制。通过建立系统模型对常规模糊控制PID算法和变论域模糊控制PID算法进行了仿真对比,仿真结果表明采用变论域模糊PID算法进行系统控制时具有超调小,响应速度快的优点。     

遗传算法优化的模糊+变论域自适应模糊PID复合控制策略

针对变风量空调系统的不确定性和参数整定困难问题,提出了一种用遗传算法优化的模糊+变论域模糊PID复合控制器的新方法.该控制器由模糊控制和变论域模糊PID控制两部分组成.在系统动态阶段,采用模糊控制使其具有最优的动态性能;当系统进入稳态阶段,采用变论域自适心模糊PID控制使其具有最优的稳态性能.用遗传算法对主控制器的PID参数值进行离线优化,将其作为在线调节的初值,通过变论域的模糊推理在线调整系统的PID参数,使之具有良好的自适应能力.用模糊平滑切换保证了两种不同控制方式的平稳过渡.将提出的复合控制策略应用于变风量窄调系统的室温串级控制中,计算机仿真结果表明,该方法使系统具有良好的动、稳态性能,抗干扰和鲁棒性好.     

双输入单输出潜遗传变论域模糊控制算法及其收敛性

研究了一种变论域模糊控制算法及其收敛性问题.首先,针对常见的双输入单输出模糊控制器,提出了一种新型的潜遗传变论域模糊控制算法,通过使用模糊单值转换函数,简化了新算法推理后件的变论域操作,显著地减少了计算量.然后,从理论上证明了新算法的收敛性.最后,为了验证算法的有效性,本文将新算法和已有的两个典型算法做了倒立摆实验对比.结果表明,相对于已有算法,由新算法构成的控制器在控制精度上有明显的提高.     

基于变论域模糊PID的分解炉温度控制研究

分解炉温度控制系统具有非线性、时变、纯滞后的特点,针对传统PID控制及模糊.PID控制难以很好地满足控制要求,提出了一种变论域模糊自适应PID控制方法。利用变论域思想,设计了一种基于函数模型的伸缩因子控制器,动态地调整模糊控制器的量化因子和比例因子,提高了控制精度。在Matlab环境下分别对PID控制、模糊PID控制和变论域模糊PID控制方法进行了仿真对比,结果表明变论域模糊PID控制方法具有更好的动静态性能和自适应能力。     

直升机变论域模糊自适应缆位控制系统设计

针对模糊控制适应性差和控制精度低的问题,提出了一种改进的变论域模糊自适应控制器.提出了参考缆位角的计算方法并设计了相应的直升机缆位控制器.研究用于连续域寻优的改进蚁群优化算法,用于动态调整模糊控制器论域的伸缩因子,从而构成基于蚁群算法的变论域模糊自适应控制器.将该控制器应用于直升机缆位控制系统,控制直升机地速保持在零附近,同时实现缆位角的精确控制.     

交通信号公交优先控制策略及智能控制方法

针对公交优先交通信号控制问题,研究了公交优先的信号控制策略,提出了一种变论域模糊神经网络公交优先智能控制方法.提出了基于相位优先度值的公交优先相位选择方法,并给出了其数学描述.建立了绿灯时间的3层模糊控制模型,分别为红灯排队疏散时间、绿灯延长时间和论域调节因子模糊控制器,其中红灯排队疏散时间和绿灯延长时间两个模糊控制器的输出变量均采用变论域,论域的变化考虑混合交通、天气情况、车流转向等因素由论域调节因子模糊控制器确定.模糊控制器采用粒子群优化神经网络实现.仿真结果表明该方法具有较好的公交优先控制效果.     

基于Q-学习的模糊神经网络控制器

神经模糊系统在机器人的智能控制中具有巨大的应用潜力,但已有的系统构造方法几乎都面临着样本资源匮乏这一巨大困难。为克服传统系统构造方法可能因样本获取困难而引起的“维数灾难”等问题,该文在模糊神经网络中引入了Q-学习机制,提出了一种基于Q-学习的模糊神经网络模型,从而赋予神经模糊系统自学习能力。文章最后给出了其在菅野模糊小车控制中的仿真结果。实验表明,在神经模糊系统中融入智能学习机制Q-学习是行之有效的;它可以被用来实现机器人智能行为的自学习。值得一提的是,该文的仿真实验在真实系统上同样是容易实现的,只要系统能提供作为评价信号的传感信息即可。     

Online tuning of fuzzy inference systems using dynamic fuzzy Q-learning

This paper presents a dynamic fuzzy Q-learning (DFQL) method that is capable of tuning fuzzy inference systems (FIS) online. A novel online self-organizing learning algorithm is developed so that structure and parameters identification are accomplished automatically and simultaneously based only on Q-learning. Self-organizing fuzzy inference is introduced to calculate actions and Q-functions so as to enable us to deal with continuous-valued states and actions. Fuzzy rules provide a natural mean of incorporating the bias components for rapid reinforcement learning. Experimental results and comparative studies with the fuzzy Q-learning (FQL) and continuous-action Q-learning in the wall-following task of mobile robots demonstrate that the proposed DFQL method is superior.     

城市区域交通信号的混沌模糊Q学习控制

提出了一种解决城市区域交通协调控制问题的混沌模糊Q学习（C-FQL）方法。在模糊Q学习的过程中添加混沌扰动,以改进传统的Agent选择动作的方式,并通过遗忘因子以平衡模糊Q学习中探索和利用之间的关系。将该算法应用于城市区域交通协调控制中优化各信号交叉口的周期、绿信比和相位差。利用TSIS交通仿真平台,建立典型的城市区域交通网络并进行仿真。仿真结果表明该方法可以大大提高区域交通的整体效率。     

结合Q学习和模糊逻辑的单路口交通信号自学习控制方法*

针对城市交通系统的动态性和不确定性,提出了基于强化学习的信号交叉口智能控制系统结构,对单交叉口动态实时控制进行了研究。将BP神经网络与Q学习算法相结合实现了路口的在线学习。同时,针对交通信号控制的多目标评价特征,采用基于模糊逻辑的Q学习奖惩信号设计方法,实施对交通信号的优化控制。最后,在三种交通场景下,应用Paramics微观交通仿真软件对典型十字路口进行仿真实验。结果表明,该方法对不同交通场景下的突变仍可保持较高的控制效率,控制效果明显优于定时控制。     

Backward Q-learning: The combination of Sarsa algorithm and Q-learning

Reinforcement learning (RL) has been applied to many fields and applications, but there are still some dilemmas between exploration and exploitation strategy for action selection policy. The well-known areas of reinforcement learning are the Q-learning and the Sarsa algorithms, but they possess different characteristics. Generally speaking, the Sarsa algorithm has faster convergence characteristics, while the Q-learning algorithm has a better final performance. However, Sarsa algorithm is easily stuck in the local minimum and Q-learning needs longer time to learn. Most literatures investigated the action selection policy. Instead of studying an action selection strategy, this paper focuses on how to combine Q-learning with the Sarsa algorithm, and presents a new method, called backward Q-learning, which can be implemented in the Sarsa algorithm and Q-learning. The backward Q-learning algorithm directly tunes the Q-values, and then the Q-values will indirectly affect the action selection policy. Therefore, the proposed RL algorithms can enhance learning speed and improve final performance. Finally, three experimental results including cliff walk, mountain car, and cart–pole balancing control system are utilized to verify the feasibility and effectiveness of the proposed scheme. All the simulations illustrate that the backward Q-learning based RL algorithm outperforms the well-known Q-learning and the Sarsa algorithm.     

基于自组织模糊RBF网络的连续空间Q学习

针对连续空间下的强化学习控制问题,提出了一种基于自组织模糊RBF网络的Q学习方法．网络的输入为状态,输出为连续动作及其Q值,从而实现了“连续状态—连续动作”的映射关系．首先将连续动作空间离散化为确定数目的离散动作,采用完全贪婪策略选取具有最大Q值的离散动作作为每条模糊规则的局部获胜动作．然后采用命令融合机制对获胜的离散动作按其效用值进行加权,得到实际作用于系统的连续动作．另外,为简化网络结构和提高学习速度,采用改进的RAN算法和梯度下降法分别对网络的结构和参数进行在线自适应调整．倒立摆平衡控制的仿真结果验证了所提Q学习方法的有效性．     

基于Q学习的单路口交通信号协调控制

Q学习通过与外部环境的交互来进行单路口的交通信号自适应控制。在城市交通愈加拥堵的时代背景下,为了缓解交通拥堵,提出一种结合SCOOT系统对绿信比优化方法的Q学习算法。本文将SCOOT系统中对绿信比优化的方法与Q学习相结合,即通过结合车均延误率以及停车次数等时间因素以及经济因素2方面,建立新的数学模型来作为本算法的成本函数并建立一种连续的奖惩函数,在此基础上详细介绍Q学习算法在单路口上的运行过程并且通过与Webster延误率和基于最小车均延误率的Q学习进行横向对比,验证了此算法优于定时控制以及基于车均延误的Q学习算法。相对于这2种算法,本文提出的算法更加适合单路口的绿信比优化。