基于Q学习和动态权重的改进的区域交通信号控制方法

Q学习在交通信号控制中具有广泛的应用。在区域交通中,基于Q学习的传统区域交通信号控制方法通过agent之间互相交流的方式获取周边路口信息,并作出最有利的决策。传统交通控制方法在大部分情况下具有良好的表现。然而,由于其对周边路口拥堵程度的回馈计算不准确,因此在周边路口堵塞程度相差较大时将出现决策失误,从而导致局部热点拥堵。针对该问题进行分析,并以传统的区域交通信号控制方法为基础,提出一种新的基于Q学习和动态权重的改进的区域交通信号控制方法,引入“路口权重”的概念,通过多目标组合法将其应用于回馈计算,且权重随路口实际交通情况动态改变,解决了易陷入局部热点拥堵的问题。应用仿真软件在3种不同的交通状况下进行模拟,结果表明,所提算法在“拥堵”的状况下较传统控制方法具有更突出的表现。     

城市单交叉路口交通信号的控制方法研究

对于传统的交通信号无法有效解决当前城市交通堵塞问题,将Q学习与交通信号相结合的方式来解决此问题.对交通控制理论进行分析,对强化学习理论和Q学习算法的步骤进行研究,将交通信号与Q学习算法相结合,通过仿真实验结果得到Q学习算法与交通信号相结合优于当前的固定周期信号控制方法.     

城市区域交通信号迭代学习控制策略

城市交通流具有复杂的非线性动态特性, 在交通控制中难以对其进行精确的数学建模; 同时, 以天为周期, 宏观交通流又呈现出明显的周期性特征. 鉴于此, 提出一种基于迭代学习的城市区域交通信号控制策略, 通过对交通信号的迭代控制, 使路段的平均占有率收敛于期望占有率, 从而使绿灯时间得到充分利用并防止交通拥堵的发生, 保证了交通流在路网中的高效平稳运行. 严格的理论推导证明了该方法的收敛性, 仿真结果验证了该方法的有效性.

     

基于T-S模糊模型的混沌系统脉冲控制

给出了一种基于T-S模糊模型的混沌系统模糊脉冲控制方法.首先给出了基于T-S模糊模型对非线性系统精确建模的原理,得到与混沌系统等价的T-S模糊系统.然后根据建模得到的T-S模糊系统,采用模糊脉冲控制技术来实现控制.最后,以控制Ndolschi混沌系统为例,证明了这种方法的有效性.     

混沌系统的一种自学习模糊控制

提出一种基于遗传算法的自学习模糊控制方法控制混沌系统。用一种改进的遗传算法学习模糊控制器的隶属度函数，以改善模糊控制器的性能，使其达到良好的控制效果。用此方法控制Ｈｅｎｏｎ系统的混沌行为，效果良好。     

基于Q学习的单路口交通信号协调控制

Q学习通过与外部环境的交互来进行单路口的交通信号自适应控制。在城市交通愈加拥堵的时代背景下,为了缓解交通拥堵,提出一种结合SCOOT系统对绿信比优化方法的Q学习算法。本文将SCOOT系统中对绿信比优化的方法与Q学习相结合,即通过结合车均延误率以及停车次数等时间因素以及经济因素2方面,建立新的数学模型来作为本算法的成本函数并建立一种连续的奖惩函数,在此基础上详细介绍Q学习算法在单路口上的运行过程并且通过与Webster延误率和基于最小车均延误率的Q学习进行横向对比,验证了此算法优于定时控制以及基于车均延误的Q学习算法。相对于这2种算法,本文提出的算法更加适合单路口的绿信比优化。     

一类不确定混沌系统的模糊滑模控制与同步

针对一类具有不确定项的二阶连续时间混沌系统的定值跟踪控制和自混沌同步及异结构混沌同步问题,提出了一种模糊滑模变结构控制方法,设计了模糊滑模变结构控制器,并从理论上证明了控制系统的稳定性.在该控制器的作用下,可以实现两个相同或不同结构的混沌系统的控制与同步,且不受不确定性的影响,具有很强的鲁棒性.定值跟踪和同步控制的仿真结果表明,该控制器是有效的.     

基于SA-FQL算法的区域交通控制方法

将模拟退火算法的Metropolis准则用于平衡模糊Q学习中探索和扩张之间的关系,提出基于Metropolis准则的模糊Q学习算法Simulated Annealing Fuzzy Q-learning（SA-FQL）。利用SA-FQL算法优化区域的公共周期,在给定周期的基础上再用SA-FQL算法优化区域中各干线相邻两路口的相位差,最后根据交通流量确定各路口的绿信比。TSIS仿真结果表明,相比基于Q学习和模糊Q学习的控制方法,该方法能显著提高学习速度和交通效率。     

基于模糊逻辑的路口交通信号控制

城市交通控制(UTC)是智能交通系统中非常重要的组成部分。在一些复杂的交通情况下,使用传统的控制方法进行交通信号控制的效果并不好。由于模糊逻辑能够较好地描述复杂系统的定性模型,因此它非常适合对路口交通信号灯进行控制。该文给出了一种采用模糊逻辑进行路口信号灯控制的方法。通过从路口检测器获取车辆信息,模糊规则对信号灯进行优化控制。通过仿真模拟,给出了实验结果。     

参数不确定离散混沌系统的模糊脉冲控制

研究了参数不确定离散混沌系统的控制问题.通过Takagi-Sugeno(TS)模糊动态模型和脉冲控制技术,建立了参数不确定离散混沌系统的Takagi-Sugeno模糊脉冲控制模型,然后利用矩阵分析和Lyapunov稳定性理论,得到了参数不确定离散混沌系统控制的一个充分条件,最后通过实例证实了该结果的正确性,相比传统的控制方法,基于Takagi-Sugeno模型的模糊脉冲控制方法具有一定的优越性.     

结合Q学习和模糊逻辑的单路口交通信号自学习控制方法*

针对城市交通系统的动态性和不确定性,提出了基于强化学习的信号交叉口智能控制系统结构,对单交叉口动态实时控制进行了研究。将BP神经网络与Q学习算法相结合实现了路口的在线学习。同时,针对交通信号控制的多目标评价特征,采用基于模糊逻辑的Q学习奖惩信号设计方法,实施对交通信号的优化控制。最后,在三种交通场景下,应用Paramics微观交通仿真软件对典型十字路口进行仿真实验。结果表明,该方法对不同交通场景下的突变仍可保持较高的控制效率,控制效果明显优于定时控制。     

基于Q学习算法的变论域模糊控制新算法

变论域模糊控制器的控制函数被＂复制＂到后代中,往往存在着＂失真＂现象,这种现象的后果是造成算法本身的误差.针对这一问题,本文提出了一种基于Q学习算法的变论域模糊控制优化设计方法.本算法在变论域模糊控制算法基础上提出了一种利用伸缩因子、等比因子相互协调来调整论域的构想,且通过用Q学习算法来寻优参数使控制器性能指标最小,使其在控制过程中能够降低＂失真率＂,从而进一步提高控制器性能.最后,把算法运用于一个二阶系统与非最小相位系统,实验表明,该算法不但具有很好的鲁棒性及动态性能,且与变论域模糊控制器比较起来,其控制性能也更加提高.     

交通强度优先的交叉口模糊控制研究

为了降低交叉口车辆延误,提高通行能力,研究了一个四相位交叉口交通信号的模糊控制方法。用交通强度刻画各相位交通流通行需求的紧急程度,根据各相位的交通强度由模糊推理得到当前相位的绿灯延长时间,并选取后续绿灯相位。以交叉口车辆平均延误作为交叉口信号控制的性能评价指标,在相同交通条件下对几种控制方式进行了仿真试验。结果表明,该文的控制方法相对于感应控制方法和直接采用车辆排队长度作为输入的模糊控制方法,更能有效减小交叉口的车辆平均延误。     

一种实用的交通信号模糊控制系统的研究

提出基于车流量预测的动态调整相位最大绿灯时间的模糊控制系统结构。用模糊控制方法对单路口交通信号进行控制，决定绿灯时间分配。将此方案应用于北京劲松东口交叉口作为研究背景，仿真结果表明，控制效果优于现行的定时控制。该模糊控制方案能更有效地处理随机性较大、不确定性较强的交通流。     

智能办公环境中多Agent模糊Q学习研究

目前有关智能办公环境的研究忽视了对建筑环境的考虑,为了给工作人员提供一个节能、舒适、便捷的办公环境,研究了智能办公环境无线网络系统的学习方法,即为系统建立了多智能体（Agent）模型,基于该模型提出了改进的模糊Q学习算法,用于学习用户的行为,以自动控制环境中执行器的动作。通过对环境温度学习的实验,比较了该算法和普通Q学习的MSE（Mean Square Error）值,实验结果表明提出的算法较优。     

基于相序优化的多相位模糊交通控制

针对单交叉路口进行模糊交通控制算法的研究.首先提出一个简化的交叉路口交通流模型,设计一种基于相序优化的模糊控制器,然后以车辆平均延误时间为控制目标,采用模糊控制器和相序优化器联合进行交通控制.前者用来决定改变当前绿灯相位的时刻,后者从相序中根据优先权的大小决定下一个放行相位.仿真研究表明,该模糊控制器能更有效地对单路口进行多相位闭环控制,控制效果令人满意.     

基于agen t 的城市交通信号控制

利用agent技术对城市交通信号控制进行研究．首先给出了区域agent(ARA)的组成和结构，然后给出了城市交通控制的模型和协调算法．基于agent技术的城市交通控制系统能对交通状况进行实时反映和处理．在此模型基础上，应用博弈论的相关知识给出城市交通信号协调控制算法．最后通过仿真程序验证了该模型和算法的有效性和实用性．     

面向交通信号的两层递阶控制解决方案

针对现有交通信号控制系统的诸多不足,提出了一种用于交通信号控制的两层递阶多Agent系统解决方案。通过将交通网络进行区域划分,利用底层Agent控制各交叉口,顶层Agent控制区域,从而实现两层递阶控制。底层Agent采用经典Q学习同步学习最优策略,顶层Agent利用Tile Coding非凡的连续空间处理能力,实现Q学习的动作值函数逼近方法。仿真实验结果表明,该分层递阶控制不但提高了交通信号控制系统效率,而且也为大规模应用提供了很好的可伸缩解决方案。     

交通信号自适应模糊控制器的设计及稳定性分析

针对城市交通路口的信号控制,提出一种自适应模糊控制器,并对其稳定性进行分析.通过控制器给出路口实时信号配时,根据红灯相位的等候车辆平均损失和绿灯相位释放车辆的平均增益,给出了模糊控制器的自适应算法,以实时修正其模糊规则.在自适应模糊控制器的稳定性分析中,采用模糊控制系统闭环模型的模糊关系矩阵,证明在路口车辆随机产生的情况下,模糊控制系统是稳定的.仿真结果表明,自适应模糊控制器比全感应控制器、简单模糊控制器更能适应路口交通流的变化,极大地改善了系统性能.