交互协调强化学习下的城市交通信号配时决策

针对应用传统强化学习进行城市自适应交通信号配时决策时存在维数灾难和缺乏协调机制等问题,提出引入交互协调机制的强化学习算法。以车均延误为性能指标设计了针对城市交通信号配时决策的独立Q-强化学习算法。在此基础上,通过引入直接交互机制对独立强化学习算法进行了延伸,即相邻交叉口交通信号控制agent间直接交换配时动作和交互点值。通过仿真实验分析表明,引入交互协调机制的强化学习的控制效果明显优于独立强化学习算法,协调更有效,并且其学习算法具有较好的收敛性能,交互点值趋向稳定。     

交通强度优先的交叉口模糊控制研究

为了降低交叉口车辆延误,提高通行能力,研究了一个四相位交叉口交通信号的模糊控制方法。用交通强度刻画各相位交通流通行需求的紧急程度,根据各相位的交通强度由模糊推理得到当前相位的绿灯延长时间,并选取后续绿灯相位。以交叉口车辆平均延误作为交叉口信号控制的性能评价指标,在相同交通条件下对几种控制方式进行了仿真试验。结果表明,该文的控制方法相对于感应控制方法和直接采用车辆排队长度作为输入的模糊控制方法,更能有效减小交叉口的车辆平均延误。     

基于Q学习和动态权重的改进的区域交通信号控制方法

Q学习在交通信号控制中具有广泛的应用。在区域交通中,基于Q学习的传统区域交通信号控制方法通过agent之间互相交流的方式获取周边路口信息,并作出最有利的决策。传统交通控制方法在大部分情况下具有良好的表现。然而,由于其对周边路口拥堵程度的回馈计算不准确,因此在周边路口堵塞程度相差较大时将出现决策失误,从而导致局部热点拥堵。针对该问题进行分析,并以传统的区域交通信号控制方法为基础,提出一种新的基于Q学习和动态权重的改进的区域交通信号控制方法,引入“路口权重”的概念,通过多目标组合法将其应用于回馈计算,且权重随路口实际交通情况动态改变,解决了易陷入局部热点拥堵的问题。应用仿真软件在3种不同的交通状况下进行模拟,结果表明,所提算法在“拥堵”的状况下较传统控制方法具有更突出的表现。     

基于量子粒子群算法的单交叉口信号控制

城市道路道路各交叉口交通信号的实时管理和控制直接影响了整个城市的交通,以单交叉口多相位固定周期的交通信号控制问题为背景,构造了以交叉口滞留车辆最少为优化模型,在目标函数后加上罚因子实现有约束极值问题向无约束问题的转化,用量子粒子群算法对其进行仿真数据求解,得到了交通实时控制的配时方案,并与定时控制进行比较,结果表明该模型和算法对交通信号的实时控制是非常有效的。     

基于深度强化学习的交通信号控制方法

交通信号的智能控制是智能交通研究中的热点问题。为更加及时有效地自适应协调交通,文中提出了一种基于分布式深度强化学习的交通信号控制模型,采用深度神经网络框架,利用目标网络、双Q网络、价值分布提升模型表现。将交叉路口的高维实时交通信息离散化建模并与相应车道上的等待时间、队列长度、延迟时间、相位信息等整合作为状态输入,在对相位序列及动作、奖励做出恰当定义的基础上,在线学习交通信号的控制策略,实现交通信号Agent的自适应控制。为验证所提算法,在SUMO(Simulation of Urban Mobility)中相同设置下,将其与3种典型的深度强化学习算法进行对比。实验结果表明,基于分布式的深度强化学习算法在交通信号Agent的控制中具有更好的效率和鲁棒性,且在交叉路口车辆的平均延迟、行驶时间、队列长度、等待时间等方面具有更好的性能表现。     

结合Q学习和模糊逻辑的单路口交通信号自学习控制方法*

针对城市交通系统的动态性和不确定性,提出了基于强化学习的信号交叉口智能控制系统结构,对单交叉口动态实时控制进行了研究。将BP神经网络与Q学习算法相结合实现了路口的在线学习。同时,针对交通信号控制的多目标评价特征,采用基于模糊逻辑的Q学习奖惩信号设计方法,实施对交通信号的优化控制。最后,在三种交通场景下,应用Paramics微观交通仿真软件对典型十字路口进行仿真实验。结果表明,该方法对不同交通场景下的突变仍可保持较高的控制效率,控制效果明显优于定时控制。     

基于博弈的交叉口交通信号配时系统设计

针对交通系统的动态性和随机性,提出了一种信号交叉口的自适应控制模型.设置主相位优先阈值,主相位具有优先权.采用RBF网络预测短时交通流信息,评估模块对可选相位的交通需求度进行评估.决策模块根据相位博弈选择机制,选取后续放行相位;根据各相位的交通强度由模糊推理得到当前相位的绿灯延长时间.车辆平均延误作为评价指标,仿真结果表明,系统控制效果明显优于传统控制,在交通环境突然变化时控制效果更佳.     

单路口交通多相位模糊控制器的设计与仿真

用模糊控制方法对单路口多相位的交通信号进行控制,提出以当前相的主队列和后继相的主队列决定信号配时的方法,并用Matlab及其模糊逻辑工具箱实现二维模糊控制器。以通过交叉口的平均车辆延误作为评价指标,衡量该控制器的控制性能,采用Matlab编程设计实现了交叉口六相位的仿真系统,仿真结果表明控制效果比较好。     

基于车流量的智能交通信号优化控制研究

道路交叉口是城市交通网络的关键组成部分,其通行效率直接决定了城市交通网络的通行能力。为了提高城市交通路网的通行能力,缓解交通拥堵,根据相邻交叉路口车流量具有相关性的特点,提出一种基于车流量的智能交通信号控制方法。建立基于门限服务策略的交通灯轮询控制模型,利用马尔科夫链和概率母函数分析了交叉口车辆平均排队长度和信号灯配时方案,并根据实际交通情况进行仿真实验。结果表明,基于车流量的智能交通信号控制比传统的固定配时控制更加合理,能有效地降低车辆通过交叉口时的平均延误时长和排队长度,提高通行效率。     

基于注意力机制的深度强化学习交通信号控制

深度强化学习（DRL）广泛应用于具有高度不确定性的城市交通信号控制问题中,但现有的DRL交通信号控制方法中,仅仅使用传统的深度神经网络,复杂交通场景下其感知能力有限。此外,状态作为强化学习的三要素之一,现有方法中的交通状态也需要人工精心的设计。因此,提出了一种基于注意力机制（attention mechanism）的DRL交通信号控制算法。通过引入注意力机制,使得神经网络自动地关注重要的状态分量以增强网络的感知能力,提升了信号控制效果,并减少了状态向量设计的难度。在SUMO（simulation of urban mobility）仿真平台上的实验结果表明,在单交叉口、多交叉口中,在低、高交通流量条件下,仅仅使用简单的交通状态,与三种基准信号控制算法相比,所提算法在平均等待时间、行驶时间等指标上都具有最好的性能。     

城市单交叉路口交通信号实时优化控制与仿真

针对城市道路单点交叉口交通流的到达特性,将路口到达的交通流划分为4种状态,提出了“基于状态划分的多相位交通信号实时控制方法”,该方法根据路口各状态下交通流的到达特征和控制目标,为不同交通状态选择合适的性能指标,并建立各状态下交通信号的动态配时模型。同时,设计了一种改进的自适应实数编码遗传算法对交通信号配时模型进行求解,该算法采用基于分类的排序惩罚机制对约束进行处理,并引入模拟退火算子增强遗传算法的局部搜索。最后,采用3种算法对实例进行大量的数值计算和Paramics仿真,计算和仿真结果均表明所设计的算法求解精度高且模型具有良好的控制效果。     

基于agen t 的城市交通信号控制

利用agent技术对城市交通信号控制进行研究．首先给出了区域agent(ARA)的组成和结构，然后给出了城市交通控制的模型和协调算法．基于agent技术的城市交通控制系统能对交通状况进行实时反映和处理．在此模型基础上，应用博弈论的相关知识给出城市交通信号协调控制算法．最后通过仿真程序验证了该模型和算法的有效性和实用性．     

交通微观仿真中车辆走行死锁问题研究

模拟交通冲突是道路交通微观仿真中的实现难点。该文描述了由于机动车辆对固定冲突点竞争而引起的“死锁”现象,分析了这种现象的产生机理。在评述现有解决方法的基础上,结合交通冲突的方式和固定冲突点的分布情况,给出了死锁模型和典型情况下预防死锁的算法,同时设定时间参数和车流量参数以便进行路口通行能力评价。最后针对有交通信号控制的十字路口进行仿真编程实现,仿真结果表明本算法对于机动车辆在固定冲突点的死锁预防是可行的,仿真效果与实际的车辆走行情况相吻合。     

基于ε-支持向量回归理论的区域交通信号智能控制

城市交通信号控制是当前智能交通领域的研究热点之一.针对区域交通信号协同控制的实时性和准确性,提出一种基于ε-支持向量回归(SVR)非线性回归理论的智能控制方法(ICSRTS).该方法在无线传感网络结构的基础上结合已有的数据汇聚算法,并采用分簇策略将区域交通控制系统建模成一类集成信息调度与控制的离散切换系统.在离散切换系统中,不仅考虑了数据包传输的网络时延和丢包率,而且观测器利用改进的ε-SVR训练方法实现对多数据源融合的交通信号状态的在线预测并通过控制器进行总体协调控制.运用Lyapunov 函数方法验证了该系统的渐近稳定性及其可调度性. 仿真结果表明,ICSRTS方法相比普通模糊神经网络控制和普通ε-SVR预测算法在交叉口平均延误时间方面具有较好的性能.因此,该方法能实时、有效地对区域交通信号进行协调控制,从而减少了区域内的交通拥堵和能源消耗.     

增强学习与神经网络在交通信号控制中的应用

城市交通系统是一个十分复杂的系统,鉴于交通流的多变性和交通控制的实时性,将增强学习应用于交通信号控制问题中,这样就可以根据实时的交通状态信息动态地进行决策,自动地适应环境以便取得更好的控制效果。然而由于交通状态空间太大而难以建立线性表,采用增强学习与人工神经网络相结合的方法,解决了多个路口的交通信号控制问题。通过在仿真环境下的对比,证明该方法的控制效果明显优于传统的固定配时控制策略。     

一种高效的游戏流量识别与分类技术

日益增多的游戏业务应用消耗了大量的网络带宽,影响了网络中关键业务的正常运行。通过对游戏报文的内容研究,提取出识别游戏流量的特征规则库,并基于EGT-PC算法提出了一种高效的游戏流量分类方法。实验验证了提出的游戏流量识别和分类方法比原算法在时间和空间上有很大的改进。     

动态交通分配与信号控制的组合模型及算法研究

This paper presents a generalized bi-level programming model of combined dynamic traffic assignment and traffic signal control, and especially analyzes a procedure for determining the equilibrium queuing delays on saturated links for dynamic network signal control satisfying the FIFO (first-in-first-out) rule. The chaotic optimal algorithm proposed in this paper can not only present the optimal signal settings, but also calculate, at each interval, the link inflow rates and outflow rates for the dynamic user optimal problem, and provide real-time information for the travelers. Finally, a numerical example is given to illustrate the application of the proposed model and solution algorithm, and comparison shows that this model has better system performance.     

Research on Combined Dynamic Traffic Assignment and Signal Control

This paper presents a generalized bi-level programming model of combined dynamic traffic assignment and traffic signal control,and especially analyzes a procedure for determining the equilibrium queuing delays on saturated links for dynamic network signal control satisfying the FIFO (first-in-first-out)rule.The chaotic optimal algorithm proposed in this paper can not only present the optimal signal settings,but also calculate,at each interval,the link inflow rates and outflow rates for the dynamic user optimal problem,and provide real-time information for the travelers.Finally,a numerical example is given to illustrate the application of the proposed model and solution algorithm, and comparison shows that this model has better system performance.     

基于分布估计算法的单路口交通信号控制

针对遗传算法求解城市道路交叉口信号控制存在的主要问题,以四相位交叉路口为研究对象,建立了以信号周期内车辆延误总时间最短为目标函数,以各相位有效绿灯时间为控制变量的单路口交通信号优化模型.并分别以整数编码的PBIL算法和实数编码的EMNA算法两种典型分布估计算法求解单路口交通信号优化问题.仿真结果表明,与传统遗传算法相比,两种分布估计算法均可用更小的种群规模快速高效地求得最优解.