城市交通信号局部博弈交互下的学习协调控制

智能交通信号控制系统是智慧交通系统（intelligent traffic system,ITS）的重要组成部分,为形成安全高效的交通环境提供实时服务. 然而,现有自适应交通信号控制方法因通信受限难以满足复杂多变的交通需求. 针对通信时延长和信号灯有效利用率低的难题,提出一种基于边缘计算的异步决策的多智能体交通信号自适应协调方法（adaptive coordination method,ADM）. 该方法基于提出的端—边—云架构实现实时采集环境信息,将异步通信引入强化学习的多智能体协调过程,设计一种多智能体之间使用不同决策周期的异步决策机制. 实验结果表明边缘计算技术为高实时性要求的交通信号控制场景提供一种良好的解决思路,此外,相较于固定配时和独立决策的Q学习决策方法IQA（independent Q-learning decision algorithm）而言,ADM方法基于异步决策机制和邻居信息库实现智能体之间的协作,达到降低车辆平均等待长度及提高交叉口时间利用率的目标.

     

基于深度强化学习的城市交通信号控制算法

针对城市交通信号控制中如何有效利用相关信息优化交通控制并保证控制算法的适应性和鲁棒性的问题，提出一种基于深度强化学习的交通信号控制算法，利用深度学习网络构造一个智能体来控制整个区域交通。首先通过连续感知交通环境的状态来选择当前状态下可能的最优控制策略，环境的状态由位置矩阵和速度矩阵抽象表示，矩阵表示法有效地抽象出环境中的主要信息并减少了冗余信息；然后智能体以在有限时间内最大化车辆通行全局速度为目标，根据所选策略对交通环境的影响，利用强化学习算法不断修正其内部参数；最后，通过多次迭代，智能体学会如何有效地控制交通。在微观交通仿真软件Vissim中进行的实验表明，对比其他基于深度强化学习的算法，所提算法在全局平均速度、平均等待队长以及算法稳定性方面展现出更好的结果。其中，与基线相比，平均速度提高9%，平均等待队长降低约13.4%。实验结果证明该方法能够适应动态变化的复杂的交通环境。     

城市交通信号局部博弈交互下的学习协调控制

针对传统分布式自适应交通信号控制协调效率受限,并且存在维数灾难问题,建立了城市区域交通信号控制系统模型,将其优化问题建模为局部交叉口交通信号博弈协调控制,提出基于交叉口交通信号控制agent局部信息博弈交互的学习算法。在学习过程中交叉口交通信号控制agent进行局部信息博弈交互,自主调整交通信号控制策略使其逐步学习到最优策略。通过设计不同的交通需求情景,对路网平均延误和平均停车次数进行加权构建性能评价指标,相对于遗传算法和感应控制方法,博弈学习取得更好的交通信号控制效果,其能收敛到最优性能评价指标,其具有更好的交通需求管控能力。     

面向交通信号控制的改进强化学习算法

在交通信号控制中,传统强化学习算法受行为空间影响较大.本文针对该问题,在传统学习过程中加入遗传算法,对行为集进行优化,有效降低了行为空间对算法结果的影响,有效降低了车辆平均延误.在matlab-vissim联合仿真平台上搭建的仿真实验证明,随着行为空间的增大,改进的强化学习算法相较于传统算法受影响较小.     

基于强化学习的多Agent协作研究

强化学习为多Agent之间的协作提供了鲁棒的学习方法．本文首先介绍了强化学习的原理和组成要素，其次描述了多Agent马尔可夫决策过程MMDP，并给出了Agent强化学习模型．在此基础上，对多Agent协作过程中存在的两种强化学习方式：IL(独立学习)和JAL(联合动作学习)进行了比较．最后分析了在有多个最优策略存在的情况下，协作多Agent系统常用的几种协调机制．     

基于深度强化学习的交通信号控制方法

交通信号的智能控制是智能交通研究中的热点问题。为更加及时有效地自适应协调交通,文中提出了一种基于分布式深度强化学习的交通信号控制模型,采用深度神经网络框架,利用目标网络、双Q网络、价值分布提升模型表现。将交叉路口的高维实时交通信息离散化建模并与相应车道上的等待时间、队列长度、延迟时间、相位信息等整合作为状态输入,在对相位序列及动作、奖励做出恰当定义的基础上,在线学习交通信号的控制策略,实现交通信号Agent的自适应控制。为验证所提算法,在SUMO(Simulation of Urban Mobility)中相同设置下,将其与3种典型的深度强化学习算法进行对比。实验结果表明,基于分布式的深度强化学习算法在交通信号Agent的控制中具有更好的效率和鲁棒性,且在交叉路口车辆的平均延迟、行驶时间、队列长度、等待时间等方面具有更好的性能表现。     

对称协调博弈问题的多智能体强化学习

针对多机器人协调问题,利用协调博弈中智能体策略相似性,提出智能体的高阶信念修正模型和学习方法PEL,使智能体站在对手角度进行换位推理,进而根据信念修正将客观观察行为和主观信念推理结合起来。证明了信念修正模型的推理置信度只在0和1两个值上调整即可协调成功。以多机器人避碰为实验背景进行仿真,表明算法比现有方法能够取得更好的协调性能。     

基于CMAC强化学习的交叉口信号控制

采用神经网络值函数逼近的强化学习方法处理交叉口的信号控制。根据交通流及交叉口信号特征,建立强化学习的状态空间、动作空间和回报空间,以最小化车辆在交叉口的延误为控制目标,对信号进行优化控制。引入小脑模型关节控制器神经网络对强化学习(RL)的Q值进行逼近。在变化的交通条件下,使用典型交叉口对提出的RL模型进行验证,同传统的定时控制和全感应控制进行对比分析。仿真结果表明,RL控制器具有较强的学习能力,可以适应交通流的动态变化,稳定性好、自适应性强,对于环境变化具有较强的适应能力。     

基于注意力机制的深度强化学习交通信号控制

深度强化学习（DRL）广泛应用于具有高度不确定性的城市交通信号控制问题中,但现有的DRL交通信号控制方法中,仅仅使用传统的深度神经网络,复杂交通场景下其感知能力有限。此外,状态作为强化学习的三要素之一,现有方法中的交通状态也需要人工精心的设计。因此,提出了一种基于注意力机制（attention mechanism）的DRL交通信号控制算法。通过引入注意力机制,使得神经网络自动地关注重要的状态分量以增强网络的感知能力,提升了信号控制效果,并减少了状态向量设计的难度。在SUMO（simulation of urban mobility）仿真平台上的实验结果表明,在单交叉口、多交叉口中,在低、高交通流量条件下,仅仅使用简单的交通状态,与三种基准信号控制算法相比,所提算法在平均等待时间、行驶时间等指标上都具有最好的性能。     

多智能体强化学习在城市交通网络信号控制方法中应用综述

交通信号控制系统在物理位置和控制逻辑上分散于动态变化的网络交通环境,将每个路口的交通信号控制器看作一个异质的智能体,非常适合采用“无模型、自学习、数据驱动”的多智能体强化学习（MARL）方法建模与描述。为了解该方法的研究现状、存在问题及发展前景,系统跟踪了多智能体强化学习在国内外交通控制领域的具体应用,包括交通信号MARL控制概念模型、完全孤立的MARL控制、部分状态合作的MARL和动作联动的MARL控制,分析其技术特征和代际差异,讨论了多智体强化学习方法在交通信号控制中的研究动向,提出了发展网络交通信号多智能体强化学习集成控制的关键问题在于强化学习控制机理、联动协调性、交通状态特征抽取和多模式整合控制。     

基于雾计算和强化学习的交通灯智能协同控制研究

针对路口交通拥堵现象,结合雾计算和强化学习理论,提出了一种FRTL（fog reinforcement traffic light）交通灯控制模型,该模型根据实时的交通流信息进行交通灯智能协同控制。雾节点将收集到的实时交通流信息上传到雾服务器,雾服务器在雾平台实现信息共享,雾平台结合处理后的共享数据和Q学习制定交通灯控制算法。算法利用检测到的实时交通数据计算出合适的交通灯配时方案,最终应用到交通灯上。仿真结果表明,与传统的分时段控制方式和主干道控制方式（ATL）相比,FRTL控制方法提高了路口的吞吐量,减少了车辆平均等待时间,达到了合理调控红绿灯时间、缓解交通拥堵的目标。     

结合状态预测的深度强化学习交通信号控制

深度强化学习（deep reinforcement learning,DRL）可广泛应用于城市交通信号控制领域,但在现有研究中,绝大多数的DRL智能体仅使用当前的交通状态进行决策,在交通流变化较大的情况下控制效果有限。提出一种结合状态预测的DRL信号控制算法。首先,利用独热编码设计简洁且高效的交通状态;然后,使用长短期记忆网络（long short-term memory,LSTM）预测未来的交通状态;最后,智能体根据当前状态和预测状态进行最优决策。在SUMO（simulation of urban mobility）仿真平台上的实验结果表明,在单交叉口、多交叉口的多种交通流量条件下,与三种典型的信号控制算法相比,所提算法在平均等待时间、行驶时间、燃油消耗、CO2排放等指标上都具有最好的性能。     

大规模智慧交通信号控制中的强化学习和深度强化学习方法综述

当前在交通信号控制系统中引入智能化检测和控制已是大势所趋,特别是强化学习和深度强化学习方法在可扩展性、稳定性和可推广性等方面展现出巨大的技术优势,已成为该领域的研究热点。针对基于强化学习的交通信号控制任务进行了研究,在广泛调研交通信号控制方法研究成果的基础上,系统地梳理了强化学习和深度强化学习在智慧交通信号控制领域的分类及应用;并归纳了使用多智能体合作的方法解决大规模交通信号控制问题的可行方案,对大规模交通信号控制的交通场景影响因素进行了分类概述;从提高交通信号控制器性能的角度提出了本领域当前所面临的挑战和未来可能极具潜力的研究方向。     

TR-light：基于多信号灯强化学习的交通组织方案优化算法

针对多变环境条件下的交通堵塞问题,将强化学习、神经网络、多智能体和交通仿真技术结合起来,提出了用于优化多路口条件下交通状况的trajectory reward light(TR-light)模型。该方法具有几个显著特点：基于红绿灯拟定交通组织方案;将多智能体强化学习用于红绿灯控制;通过红绿灯的协同达到区域级的交通组织优化;在智能体每次行为执行结束后实施轨迹重构,在OD对不改变的情况下改变车辆行驶路径,根据方案和重构轨迹来计算智能体的最终回报。通过SUMO进行交通仿真实验和交通指标对比,验证了该模型在多交叉口中能够提高路网畅通率,改善交通状态。实验表明该模型可行,可有效缓解交通拥堵。     

基于深度强化学习的多路口信号控制优化研究

新起的智能交通系统在改善交通流量,优化燃油效率,减少延误和提高整体驾驶经验方面有望发挥重要作用。现今,交通拥堵是困扰人类的一个极其严重的问题,特别是一些城市交通密集的十字路口处可能会更加严重。对信号控制系统的奖励机制进行了改进,将所有路口共享奖励的机制改进为每个交叉口共享唯一的奖励,并且通过密集采样策略与多路口信号控制相结合的方式,运用时下热门的深度强化学习来解决交通信号灯配时问题。仿真实验都是基于现在国际主流的交通模拟软件（SUMO）完成,从实验结果表明,改进后的深度强化学习多路口信号控制方法相较于传统强化学习方法控制效果更佳。     

基于博弈学习的多Agent城市交通协调控制

交通路口中的各Agent之间的协调问题是一个博弈问题。在有限理性的基础上,利用博弈学习思想,构建多智能体（multi-Agent）博弈学习协调算法,利用此学习协调算法对出行者行为分析并修正,实现城市交通路口的畅通,进而达到区域、全局的交通优化。最后通过实例仿真验证其可行性。