基于深度强化学习的交通信号配时优化研究

在交通配时技术上,基于传统Q学习的交通信号配时策略是解决交通拥堵问题的重要手段,但其疏通交通拥堵的效果有限。为此,在传统Q学习的基础上,本文提出采用深度强化学习策略来优化交叉口信号配时技术,以减少交通系统中车辆数量和车辆通过交叉口的平均行驶时间;同时,应用深度强化学习策略本身具有的深度网络及引入的经验池、贪婪策略、DOUBLE DQN等方法技术,优化传统Q学习在交通配时上存在的Q值表建立和搜索、目标Q值被高估、无法学习长期经验等问题。实验结果表明,基于深度强化学习的交通信号配时策略在疏通交叉路口车辆方面优于传统Q学习策略,可以更好的疏通交通拥堵,提高交通系统效率。     

结合领域经验的深度强化学习信号控制方法

针对深度强化学习信号控制方法存在训练不稳定、收敛慢以及相位频繁改变的问题，基于双决斗深度Q网络(3DQN)算法引入预训练模块和相位绿灯时间计算模块，提出结合领域经验的信号控制方法.通过优化双重Q学习损失、监督式边际分类损失和正则化损失，使预训练模块引导3DQN智能体模仿Max-Pressure方法的策略，以稳定并加快智能体的训练过程.相位绿灯时间计算模块基于平均车头时距和排队长度动态调整相位绿灯时间以减少绿灯损失.以杭州市萧山区机场城市大道和博奥路交叉口为例，在仿真平台SUMO上对所提方法进行验证.实验结果表明，所提方法能有效改进传统3DQN算法的训练速度.相比于传统控制方法，所提方法明显缩短了车辆平均旅行时间，提高了交叉口运行效率.     

一种改进的基于合作调停的交通协调控制算法

缓解交通拥堵,增加交叉口通行能力的有效手段是交通信号控制.为了使车辆在穿越干道交叉口时尽量少的停留,协调交通信号控制的研究越来越成为热点.以智能体控制技术为基础,提出了基于合作调停的协调交通信号控制算法.将信号的协调模型化为分布式约束优化问题,应用最优异步部分交叉算法,通过调停手段得到最优的信号协调控制方案.仿真实验表明,基于合作调停的交通信号协调控制算法能够得到使系统费用最小的协调信号控制方案.     

基于Sumtree DDPG的智能交通信号控制算法

提出了基于和树—深度确定性策略梯度(Sumtree DDPG)的多路口智能交通信号控制算法,通过对交叉路口数据的实时观测,智能地调控交通信号周期时长、相位顺序以及相位持续时间,提高路口通行效率.同时,基于和树结构的经验数据存储模式提高采样效率,加速了算法收敛.仿真结果表明,在动态环境下,该算法在车辆排队长度、车辆等待时间、车辆平均速度等性能指标上均优于现有的固定配时方案和基于流量权重的配时算法.     

基于密度峰值聚类的交通控制子区划分方法

为提升区域交通信号系统的控制效率,提出了一种基于车辆轨迹数据和密度峰值聚类的城市路网交通控制子区划分方法。首先,结合轨迹数据特性并综合考虑交叉口间距、车辆延误、车队离散度等因素的影响,定义并计算了交叉口的关联度指标。其次,根据关联度指标得到交叉口的距离矩阵,作为密度峰值聚类算法的输入;针对密度峰值聚类的超参数设置问题,引入数据场理论中势能熵的概念确定最优值;同时,借鉴肘部法则的思想确定聚类中心数量。最后,将改进的密度峰值聚类算法应用于交叉口子区划分中。以北京市中关村西区真实车辆轨迹数据的实验分析表明：本文方法可以仅基于车辆轨迹数据实现城市路网交通控制子区的高效、合理划分。     

应用深度强化学习的压边力优化控制

为改善板料拉深制造的成品质量,采用深度强化学习的方法进行拉深过程的压边力优化控制. 提出一种基于深度强化学习与有限元仿真集成的压边力控制模型,结合深度神经网络的感知能力与强化学习的决策能力,进行压边力控制策略的学习优化. 基于深度强化学习的压边力优化算法,利用深度神经网络处理巨大的状态空间,避免了系统动力学的拟合,并且使用一种新的网络结构来构建策略网络,将压边力策略划分为全局与局部两部分,提高了压边力策略的控制效果. 将压边力的理论知识用于初始化回放经验池,提高了深度强化学习算法在压边力控制任务中的学习效率. 实验结果表明,与传统深度强化学习算法相比,所提出的压边力控制模型能够更有效地进行压边力控制策略优化,成品在内部应力、成品厚度以及材料利用率3个质量评价指标的综合表现优于传统深度强化学习算法. 将深度强化学习中的策略网络划分为线性部分与非线性部分,并结合理论压边力知识来初始化回放经验,能够提高深度强化学习在压边力优化控制中的控制效果,提高算法的学习效率.     

信号交叉口网联电动汽车自适应学习生态驾驶策略

提出了一种面向信号交叉口的自适应学习生态驾驶策略。首先,搭建了电动汽车纵向动力学模型,建立了信号灯交叉路口的虚拟交通仿真环境;其次,以车辆能耗最小化与通行效率最大化为目标,耦合设计强化学习奖励函数,基于深度确定性策略梯度算法（DDPG）对车辆加速度进行实时控制与训练;最后,通过蒙特卡洛试验法,验证本文提出的强化学习生态驾驶策略在不同初始交通场景下的有效性与鲁棒性。仿真结果表明,相较于常规“加速-匀速-制动（ACB）”策略,本文提出的强化学习生态驾驶策略在单路口和多路口场景下均可有效提升通行效率和能量效率。同时,智能网联汽车数字孪生试验平台的多次实车试验表明,本文的强化学习算法控制效果良好,可以有效减少车辆路口等待时长,降低能耗同时提高通行效率。     

基于车路协同的单点信号控制优化方法和模型

车路协同技术能全方位获取道路网络上车辆个体的运行状态信息,为交通信号控制提供了新的数据源。针对现有交通信号控制系统存在的不足,引入预测时间窗概念,提出了车路协同环境下单点信号控制优化的基本思路和流程;分析了交叉口区域单个车辆的运行状态,提出了单个车辆的延误和停车次数计算方法,在此基础上,以整个交叉口延误和停车次数最小为优化目标,建立了单点信号控制参数优化模型及求解算法。运用VISSIM软件进行了仿真实验,结果表明,文中方法优于常用的单点感应控制方法,在交通流量较低时平均停车次数减少约16.9%,在交通流量较大时平均延误和平均排队长度分别减少约29.4%和28.9%。     

非均衡交通流五岔路口交通信号智能控制研究

为了缓解交通拥堵,减少车辆在交叉口的等待时间,针对五岔路口非均衡交通流,采用基于人工鱼群算法的交通信号控制方法,实现了五岔路口多相位变相序的智能控制.该方法首先由红灯相位的车辆排队长度和红灯持续时间得到该红灯相位的通行紧急度,把通行紧急度最高的相位作为下一绿灯相位;其次,将当前绿灯相位车辆排队长度和筛选出的下一绿灯相位车辆排队长度与当前绿灯相位车辆排队长度的差值作为输入,利用模糊神经网络控制器实现绿灯延时.为了避免模糊神经网络陷入局部最小值,利用人工鱼群算法对模糊神经网络参数进行优化.在不同的车辆到达率情况下进行仿真研究,结果表明:该方法比传统的控制方法在自动调节信号周期方面效果更好,减少车辆平均延误7.2%左右.     

城市客货混行干道交通优化控制方法

以客货混行城市干道为研究对象,研究了车辆组成对交叉口及路段交通运行的影响,确定了车流率等因素对车队通过交叉口所需时间的影响.针对客货混行的特点建立客货混行交通信号模糊控制模型,根据车队领头车辆类型、车队组成、主次要通行方向的特性以及各相位车辆排队长度,采用模糊控制算法来确定各相位的绿灯延长时间,并确定了调整相位差.最后用VISSIM软件,对所提出的优化控制方法与常规控制方法进行了对比仿真验证,结果表明,优化方法比常规方法平均减少车辆延误3.6 s,证明了方案的可行性和有效性.     

单交叉路口交通流的通用多相位智能控制策略

为提高城市道路交叉路口信号控制的效率，采用面向对象的设计思想，提出了一种新的通用多相位信号控制策略.根据实际交通状况交互建立单交叉路口的通用模型，根据当前路口各车流向的车流量实时分布信息，及时调整相位数和各相位的车流向组合.实时传递路口交通情况，采用模糊控制策略，以车辆延误时间最小为优化目标，对单交叉路口的信号相位和相位绿灯时间分别进行优化.根据实测数据对该方法进行了仿真研究，并与普通信号控制方案作了对比.结果表明，这种通用信号控制方案能使交通流量总体趋于均衡，缩短了车辆延误时间.     

车联网环境下干线交通信号协调控制方法

针对目前车联网环境下仅进行车速诱导的干线协调信号控制方法存在的绿灯利用效率不高问题,借助车辆与基础设施间的双向信息交互功能,考虑车速诱导与信号控制方案双向优化,以形成饱和车队为目标,提出一种新的干线交通信号协调控制策略.在此基础上,定义每个周期每个交叉口处待处理车辆的到达时间范围;并对车辆延误和停车次数进行加权,形成一...     

城市元胞路网下自组织控制规则参数的整定

为解决城市信号自组织控制中,由相邻路口间各自最优通行效率冲突造成的路口群整体通行效率难以继续提升的问题,提出一种城市元胞路网下自组织控制规则参数的整定方法. 首先,利用城市路网元胞传输（CTM）模型模拟路网交通流动态状态信息;然后,基于元胞路网实时信息,以选定局域路网中各路口元胞的自组织控制规则参数为设计空间;最后,建立各路口相互协调下通行量最大化的目标函数,完成各路口自组织控制规则参数的整定. 仿真结果表明:在基于城市元胞路网实时信息条件的整定方法下,不仅解决了自组织控制中相邻路口间互相制约通行效率的问题,并且有效提高了自组织单元中所有路口的通行效率. 该方法为面向复杂城市路网的实时城市交通信号自组织控制系统提供可借鉴的智能化方法与工程化理论.     

基于强化学习的多路口可变车道协同控制方法

为了解决传统的可变导向车道控制方法无法适应多路口场景下的复杂交通流的问题,提出基于多智能体强化学习的多路口可变导向车道协同控制方法来缓解多路口的交通拥堵状况. 该方法对多智能体强化学习 (QMIX)算法进行改进,针对可变导向车道场景下的全局奖励分配问题,将全局奖励分解为基本奖励与绩效奖励,提高了拥堵场景下对车道转向变化的决策准确性. 引入优先级经验回放算法,以提升经验回放池中转移序列的利用效率,加速算法收敛. 实验结果表明,本研究所提出的多路口可变导向车道协同控制方法在排队长度、延误时间和等待时间等指标上的表现优于其他控制方法,能够有效协调可变导向车道的策略切换,提高多路口下路网的通行能力.     

非常态事件下应急车辆单点信号优先控制策略及实现方法

以应急车辆单个交叉口延误最小为控制目标,提出了延长绿灯时间、缩短红灯时间以及多相位协调优先3种信号优先控制策略.重点研究了基于应急车辆流量比的多相位信号优先模糊控制策略.提出了基于射频识别技术(RFID)的应急车辆信号优先实现方法.通过仿真软件对所提出的信号优先控制策略进行了仿真评价.结果表明,该优先控制策略可以有效地...     

局部拥挤条件下单点自组织信号控制方法研究

针对已有交通信号控制方法难以有效疏导拥挤交通流的现状,以感应线圈检测器采集到的实时数据为拥挤识别的基础,以拥挤流向放行车辆数最大为目标,提出了一种无信号周期、无固定相位相序限制的单个交叉口自组织信号控制的基本原理,研究了候选信号相位集、各流向权重、等待时间上限的确定方法,设计了局部拥挤条件下单个交叉口的自组织信号配时方法,并以VISSIM为工具进行了模拟验证和对比分析。结果表明,所提出的方法能够改善局部交通拥挤的疏导效果。     

借对向出口车道左转交叉口交通控制方案优化

为提高借对向出口车道左转交叉口信号配时的科学性以及交通流运行效率,提出借对向车道左转的适用条件,将左转机动车的到达-驶离图式分为8种情况,分别建立每种情况下左转机动车的延误计算方法.以交叉口车均延误最小为目标,以周期时长、主信号与预信号各相位绿灯时间、借对向车道左转车道的长度为优化变量,建立了交叉口信号控制方案优化模型,并采用遗传算法进行求解.以算例的形式对所建立的优化方法进行验证,并与传统控制方法进行对比.结果表明:优化方法可以提高左转机动车通行能力,减少其所需绿灯时间,进而缩短交叉口周期时长;左转相位绿灯时间的缩短减小了直行相位的红灯时间,进而缩短了交叉口的车均延误,在高峰期交叉口车均延误下降比例达到23.8%.     

干道交叉口交通信号的模糊控制设计

城市主干道往往承受着巨大的交通负荷，而干道交叉路口的交通流控制效果的好坏直接影响着整个城市的交通状况．以城市主干道交叉口为研究对象，提出了一种实用的交通流模糊控制算法．在现有的模糊控制算法的基础上，增加了绿灯延时终止算法，该算法通过对绿灯延时的细微调整，防止了不必要的绿灯延时，从而利用模糊逻辑对绿信比进行了优化．仿真结果表明。该控制方法比固定配时控制方法能更好地减少行车延误时间．     

干道交叉口交通信号的模糊控制设计

城市主干道往往承受着巨大的交通负荷，而干道交叉路口的交通流控制效果的好坏直接影响着整个城市的交通状况．以城市主干道交叉口为研究对象，提出了一种实用的交通流模糊控制算法．在现有的模糊控制算法的基础上，增加了绿灯延时终止算法，该算法通过对绿灯延时的细微调整，防止了不必要的绿灯延时，从而利用模糊逻辑对绿信比进行了优化．仿真结果表明，该控制方法比固定配时控制方法能更好地减少行车延误时间．