基于行人安全的交通信号灯智能控制算法研究

提出了一种基于深度确定性策略梯度(DDPG, deep deterministic policy gradient)的行人安全智能交通信号控制算法;通过对交叉口数据的实时观测,综合考虑行人安全与车辆通行效率,智能地调控交通信号周期时长,相位顺序以及相位持续时间,实现交叉路口安全高效的智能控制;同时,采用优先经验回放提高采样效率,加速了算法收敛;由于行人安全与车辆通行效率存在相互矛盾,研究中通过精确地设计强化学习的奖励函数,折中考虑行人违规引起的与车辆的冲突量和车辆通行的速度,引导交通信号灯学习路口行人的行为,学习最佳的配时方案;仿真结果表明在动态环境下,该算法在行人与车辆冲突量,车辆的平均速度、等待时间和队列长度均优于现有的固定配时方案和其他的智能配时方案。     

基于样本优化的PPO算法在单路口信号控制的应用

优化交通信号的控制策略可以提高道路车辆通行效率, 缓解交通拥堵. 针对基于值函数的深度强化学习算法难以高效优化单路口信号控制策略的问题, 构建了一种基于样本优化的近端策略优化(MPPO)算法的单路口信号控制方法, 通过对传统PPO算法中代理目标函数进行最大化提取, 有效提高了模型选择样本的质量, 采用多维交通状态向量作为模型观测值的输入方法, 以及时跟踪并利用道路交通状态的动态变化过程. 为了验证MPPO算法模型的准确性和有效性, 在城市交通微观模拟软件(SUMO)上与值函数强化学习控制方法进行对比. 仿真实验表明, 相比于值函数强化学习控制方法, 该方法更贴近真实的交通场景, 显著加快了车辆累计等待时间的收敛速度, 车辆的平均队列长度和平均等待时间明显缩短, 有效提高了单路口车辆的通行效率.     

深度强化学习在交通信号控制中的应用

交通拥堵已经成为全世界范围内普遍存在的现象和亟待解决的难题,智能交通信号控制技术是缓解交通拥堵的重要手段。传统基于模型的自适应交通信号控制系统灵活性较低,往往依赖于大量的假设和经验方程,难以满足当前复杂多变交通系统的控制要求。随着计算机技术的进步、数据处理技术的发展和人工智能算法的成熟,结合深度强化学习方法的交通信号控制逐渐成为最主要的研究热点。本文基于深度强化学习的前沿技术,系统地介绍了深度强化学习的基本理论和其应用于交通信号控制系统的发展现状,包括基于深度强化学习的单交叉口和多交叉口信号控制模型和研究成果。本文最后讨论了深度强化学习在智能交通信号控制应用中的主要挑战和待解决的技术难题。     

一种基于神经元强化学习的网络拥塞控制方法

提出了一种基于神经元强化学习(Neuron-based Reinforcement Learning,NRL)的自适应AQM算法,采用链路速率和队列长度作为拥塞指示,可根据网络环境的变化在线自动调整神经元参数,从而保持良好的队列长度稳定性和对网络负载波动的鲁棒性.该算法结构简单、易于实现,且不依赖对象的模型.仿真结果表明,该算法尤其适合于解决复杂不确定性网络的拥塞控制问题,并具有更好的队列稳定性和鲁棒性.     

城市交通信号局部博弈交互下的学习协调控制

针对传统分布式自适应交通信号控制协调效率受限,并且存在维数灾难问题,建立了城市区域交通信号控制系统模型,将其优化问题建模为局部交叉口交通信号博弈协调控制,提出基于交叉口交通信号控制agent局部信息博弈交互的学习算法。在学习过程中交叉口交通信号控制agent进行局部信息博弈交互,自主调整交通信号控制策略使其逐步学习到最优策略。通过设计不同的交通需求情景,对路网平均延误和平均停车次数进行加权构建性能评价指标,相对于遗传算法和感应控制方法,博弈学习取得更好的交通信号控制效果,其能收敛到最优性能评价指标,其具有更好的交通需求管控能力。     

基于深度强化学习的城市交通信号控制算法

针对城市交通信号控制中如何有效利用相关信息优化交通控制并保证控制算法的适应性和鲁棒性的问题，提出一种基于深度强化学习的交通信号控制算法，利用深度学习网络构造一个智能体来控制整个区域交通。首先通过连续感知交通环境的状态来选择当前状态下可能的最优控制策略，环境的状态由位置矩阵和速度矩阵抽象表示，矩阵表示法有效地抽象出环境中的主要信息并减少了冗余信息；然后智能体以在有限时间内最大化车辆通行全局速度为目标，根据所选策略对交通环境的影响，利用强化学习算法不断修正其内部参数；最后，通过多次迭代，智能体学会如何有效地控制交通。在微观交通仿真软件Vissim中进行的实验表明，对比其他基于深度强化学习的算法，所提算法在全局平均速度、平均等待队长以及算法稳定性方面展现出更好的结果。其中，与基线相比，平均速度提高9%，平均等待队长降低约13.4%。实验结果证明该方法能够适应动态变化的复杂的交通环境。     

基于深度强化学习的无信号灯交叉路口车辆控制

利用深度强化学习技术实现无信号灯交叉路口车辆控制是智能交通领域的研究热点。现有研究存在无法适应自动驾驶车辆数量动态变化、训练收敛慢、训练结果只能达到局部最优等问题。文中研究在无信号灯交叉路口,自动驾驶车辆如何利用分布式深度强化方法来提升路口的通行效率。首先,提出了一种高效的奖励函数,将分布式强化学习算法应用到无信号灯交叉路口场景中,使得车辆即使无法获取整个交叉路口的状态信息,只依赖局部信息也能有效提升交叉路口的通行效率。然后,针对开放交叉路口场景中强化学习方法训练效率低的问题,使用了迁移学习的方法,将封闭的8字型场景中训练好的策略作为暖启动,在无信号灯交叉路口场景继续训练,提升了训练效率。最后,提出了一种可以适应所有自动驾驶车辆比例的策略,此策略在任意比例自动驾驶车辆的场景中均可提升交叉路口的通行效率。在仿真平台Flow上对TD3强化学习算法进行了验证,实验结果表明,改进后的算法训练收敛快,能适应自动驾驶车辆比例的动态变化,能有效提升路口的通行效率。     

基于注意力机制的深度强化学习交通信号控制

深度强化学习（DRL）广泛应用于具有高度不确定性的城市交通信号控制问题中,但现有的DRL交通信号控制方法中,仅仅使用传统的深度神经网络,复杂交通场景下其感知能力有限。此外,状态作为强化学习的三要素之一,现有方法中的交通状态也需要人工精心的设计。因此,提出了一种基于注意力机制（attention mechanism）的DRL交通信号控制算法。通过引入注意力机制,使得神经网络自动地关注重要的状态分量以增强网络的感知能力,提升了信号控制效果,并减少了状态向量设计的难度。在SUMO（simulation of urban mobility）仿真平台上的实验结果表明,在单交叉口、多交叉口中,在低、高交通流量条件下,仅仅使用简单的交通状态,与三种基准信号控制算法相比,所提算法在平均等待时间、行驶时间等指标上都具有最好的性能。     

基于Deep Q Networks的交通指示灯控制方法

交通指示灯的智能控制是当前智能交通研究中的热点问题;为更加及时有效地自适应动态交通,进一步提升街道路口车流效率,提出了一种基于Deep Q Networks的道路指示灯控制方法;该方法基于道路指示灯控制问题描述,以状态、行动和奖励三要素构建道路指示灯控制的强化学习模型,提出基于Deep Q Networks的道路指示控制方法流程;为检验方法的有效性,以浙江省台州市市府大道与东环大道交叉路口交通数据在SUMO中进行方法比对与仿真实验;实验结果表明,基于Deep Q Networks的交通指示灯控制方法在交通指示等的控制与调度中具有更高的效率和自主性,更有利于改善路口车流的吞吐量,对道路路口车流的驻留时延、队列长度和等待时间等方面的优化具有更好的性能。     

交叉路口中一种智能的车辆实时调度算法

针对城市道路交通拥堵问题,提出了一种基于智能交通信息环境下的车辆实时调度算法,该算法在现有信号相位设计的基础上,根据当前道路的相对滞留率进行相位的选择,然后针对每个被选中相位,调整交叉路口的交通信号周期,尽可能使更多车辆在各自车道上安全行驶。实验结果表明,本文提出的算法的车辆平均等待时间低于现有算法。     

CTS: 基于拥堵溯源算法的信号灯多智能体强化学习组织方案

在交通路网的运行中红绿灯起着至关重要的调度作用,随着目前交通的飞速发展,道路越来越复杂、车辆越来越繁多,导致红绿灯的调度压力越来越大、调节能力却越来越弱。为了解决这一问题,建立了CTS（congestion trace source）方案,将交通疏导的主体对象红绿灯作为智能体进行强化学习以优化其对交通的疏导控制能力,通过构建拥堵链和拥堵环综合分析路网拥堵情况,佐以红绿灯相位及其配时数据以达到对红绿灯智能体对象状态的综合判断;CTS方案设计了红绿灯排队长度算法将拥堵情况数字化作为智能体奖励对优化效果进行评判。使用SUMO仿真环境进行实验,设计交通优化指标路口平均排队长度并进行对比,最终该方案的路口平均排队长度相较于原始数据提升了40%。     

交互协调强化学习下的城市交通信号配时决策

针对应用传统强化学习进行城市自适应交通信号配时决策时存在维数灾难和缺乏协调机制等问题,提出引入交互协调机制的强化学习算法。以车均延误为性能指标设计了针对城市交通信号配时决策的独立Q-强化学习算法。在此基础上,通过引入直接交互机制对独立强化学习算法进行了延伸,即相邻交叉口交通信号控制agent间直接交换配时动作和交互点值。通过仿真实验分析表明,引入交互协调机制的强化学习的控制效果明显优于独立强化学习算法,协调更有效,并且其学习算法具有较好的收敛性能,交互点值趋向稳定。     

基于强化学习的网络时延自动化控制数学建模研究

传统的网络时延控制模型在分析时延原因时,仅从宏观角度分析,缺少建立网络模型的过程,导致时延控制能力差、数据传输时间长、丢包率大的问题。为解决此问题,设计一种基于强化学习的网络时延自动化控制模型。该模型的构建主要分为两部分,先是确定网络模型,具体分析网络时延出现的原因,在此基础上,利用强化学习中的Q学习算法构建自动化控制模型,以解决网络时延问题。实验结果表明:与传统的基于均衡调度的网络时延控制模型相比,该模型对网络时延的控制性能更好,且数据包传输时间缩短3.7 s,数据包丢包率降低5%,应用优势明显。     

基于深度强化学习的服务功能链映射算法

针对服务功能链映射对网络时延和部署失败率的影响,提出了一种基于深度强化学习的服务功能链映射算法DQN-SFC。首先构建了一个多层次NFV管理编排架构,以满足算法对资源感知和设备配置的需求;然后基于马尔可夫决策过程建模,对SFC映射问题进行形式化描述;最后构建了一个深度强化学习网络,将网络平均时延和部署失败产生的运维开销作为奖惩反馈,经过训练后可根据网络状态决定虚拟网络功能的部署位置。通过仿真实验,对该算法的正确性和性能优势进行了验证。实验表明：与传统算法相比,该算法能有效降低网络平均时延和部署失败率,同时算法运行时间具有一定优势。     

Traffic Signal Timing via Deep Reinforcement Learning

In this paper, we propose a set of algorithms to design signal timing plans via deep reinforcement learning. The core idea of this approach is to set up a deep neural network (DNN) to learn the Q-function of reinforcement learning from the sampled traffic state/control inputs and the corresponding traffic system performance output. Based on the obtained DNN, we can find the appropriate signal timing policies by implicitly modeling the control actions and the change of system states. We explain the possible benefits and implementation tricks of this new approach. The relationships between this new approach and some existing approaches are also carefully discussed.      

基于强化学习算法的网络拥塞控制

论文将强化学习算法应用于网络的拥塞控制中,该网络拥塞控制器可以调节源端发送数据的速率,使网络中可能发生拥塞的节点的缓冲区队列长度逼近给定值,从而避免了拥塞的发生,保证了网络的稳定运行。仿真实验验证了算法的有效性。     

基于图神经网络的智能路由机制

现有基于人工智能的路由方案泛化能力较差,难以适应动态的网络拓扑变化。提出基于深度强化学习的智能路由机制SmartRoute。通过实时感知网络中流量分布状态,动态调整路由策略,并结合图神经网络的拓扑信息感知能力和深度强化学习的自我训练能力,提升网络路由策略的智能性。实验结果表明,与DRL-TE、TIDE等方案相比,SmartRoute最多节省9.6%的端到端时延,且具有更好的鲁棒性。     

结合状态预测的深度强化学习交通信号控制

深度强化学习（deep reinforcement learning,DRL）可广泛应用于城市交通信号控制领域,但在现有研究中,绝大多数的DRL智能体仅使用当前的交通状态进行决策,在交通流变化较大的情况下控制效果有限。提出一种结合状态预测的DRL信号控制算法。首先,利用独热编码设计简洁且高效的交通状态;然后,使用长短期记忆网络（long short-term memory,LSTM）预测未来的交通状态;最后,智能体根据当前状态和预测状态进行最优决策。在SUMO（simulation of urban mobility）仿真平台上的实验结果表明,在单交叉口、多交叉口的多种交通流量条件下,与三种典型的信号控制算法相比,所提算法在平均等待时间、行驶时间、燃油消耗、CO2排放等指标上都具有最好的性能。     

基于深度强化学习的有轨电车信号优先控制

现有的有轨电车信号优先控制系统存在诸多问题, 如无法适应实时交通变化、优化求解较为复杂等. 本文提出了一种基于深度强化学习的有轨电车信号优先控制策略. 不依赖于交叉口复杂交通建模, 采用实时交通信息作为输入, 在有轨电车整个通行过程中连续动态调整交通信号. 协同考虑有轨电车与社会车辆的通行需求, 在尽量保证有轨电车无需停车的同时, 降低社会车辆的通行延误. 采用深度Q网络算法进行问题求解, 并利用竞争架构、双Q网络和加权样本池改善学习性能. 基于SUMO的实验表明, 该模型能够有效地协同提高有轨电车与社会车辆的通行效率.