基于深度强化学习的交通信号控制方法

交通信号的智能控制是智能交通研究中的热点问题。为更加及时有效地自适应协调交通,文中提出了一种基于分布式深度强化学习的交通信号控制模型,采用深度神经网络框架,利用目标网络、双Q网络、价值分布提升模型表现。将交叉路口的高维实时交通信息离散化建模并与相应车道上的等待时间、队列长度、延迟时间、相位信息等整合作为状态输入,在对相位序列及动作、奖励做出恰当定义的基础上,在线学习交通信号的控制策略,实现交通信号Agent的自适应控制。为验证所提算法,在SUMO(Simulation of Urban Mobility)中相同设置下,将其与3种典型的深度强化学习算法进行对比。实验结果表明,基于分布式的深度强化学习算法在交通信号Agent的控制中具有更好的效率和鲁棒性,且在交叉路口车辆的平均延迟、行驶时间、队列长度、等待时间等方面具有更好的性能表现。     

工业以太网交换机在区域交通信号控制系统中的典型应用

城市发展交通智能信号灯,减少道路拥堵,最终达到智能化区域交通信号控制系统。工业以太网交换机在区域交通信号控制系统网络中的稳定性、高可靠性、高安全性成为关键中的关键。本文结合目前城市交通信号控制和交通监控状况的需求,阐述了欧迈特(OMATE)工业以太网交换机在北京城区交通信号控制系统中的典型应用情况,及优化智能交通信号控制系统的网络解决方案。     

基于多Agent的网络性能递阶控制模型研究

计算机网络的复杂性与日俱增,网络管理体系的创新性研究已成为研究热点。为保证网络性能管理满足容错性、学习能力和组织功能的需求,结合多Agent技术与递阶控制理论进行网络性能递阶控制模型研究。在利用多Agent的分布性与协作性进行实现网络性能监测、分析与预测的基础上,由递阶控制方法完成对网络性能控制。通过JBuilder2006开发平台完成该模型的软件系统开发与测试,可对网络中不同关键设备进行网络性能的智能化管理。在某局域网的应用表明:这种方法能显著提高网络利用率,实现网络优化。     

基于CAN现场总线的智能交通信号控制系统

利用CAN现场总线技术,设计开发了一种基于现场总线的智能交通信号控制系统,系统采用三级分布式结构,即:中央控制系统、区域控制系统和路口控制系统.系统能实现固定配时控制、实时自适应协调控制、绿波控制、闪光控制、单点控制、多相位控制、协调控制.     

基于Agent的交叉路口交通控制研究

随着我国城市化进程的发展,使得交通拥堵现象频繁发生,而目前我国交通控制系统相对落后,现有的控制方式在实时控制以及路网控制方面还存在很多不足。该文基于目前交通问题及交通系统发展的现状,提出了基于Agent技术的智能交通系统的体系结构,通过多agent的交叉路口交通信号控制系统模型,使用netlogo实现agent的智能运算,实现了交通信号的动态控制功能,建立了交叉路口智能交通系统,实验证明可以大幅提高交叉路口的通过能力。     

平面交叉路口的神经网络自学习控制方案

针对城市道路平面交叉路口的交通信号控制,构造了一种具有实时学习功能的神经 网络智能信号控制方案．方案中的信号控制器由底层的两个神经网络和顶层的评价准则组成 ．两个神经网络总是交替处于学习和工作状态,评价准则则根据路口的车流情况确定是否需 要对神经网络进行训练．仿真实验结果表明,该控制方案能很好地适应路口的实际交通状况 ,从而达到有效提高路口通行能力的目的．     

基于Q学习和动态权重的改进的区域交通信号控制方法

Q学习在交通信号控制中具有广泛的应用。在区域交通中,基于Q学习的传统区域交通信号控制方法通过agent之间互相交流的方式获取周边路口信息,并作出最有利的决策。传统交通控制方法在大部分情况下具有良好的表现。然而,由于其对周边路口拥堵程度的回馈计算不准确,因此在周边路口堵塞程度相差较大时将出现决策失误,从而导致局部热点拥堵。针对该问题进行分析,并以传统的区域交通信号控制方法为基础,提出一种新的基于Q学习和动态权重的改进的区域交通信号控制方法,引入“路口权重”的概念,通过多目标组合法将其应用于回馈计算,且权重随路口实际交通情况动态改变,解决了易陷入局部热点拥堵的问题。应用仿真软件在3种不同的交通状况下进行模拟,结果表明,所提算法在“拥堵”的状况下较传统控制方法具有更突出的表现。     

城市单交叉路口交通信号的控制方法研究

对于传统的交通信号无法有效解决当前城市交通堵塞问题,将Q学习与交通信号相结合的方式来解决此问题.对交通控制理论进行分析,对强化学习理论和Q学习算法的步骤进行研究,将交通信号与Q学习算法相结合,通过仿真实验结果得到Q学习算法与交通信号相结合优于当前的固定周期信号控制方法.     

城市交通信号局部博弈交互下的学习协调控制

针对传统分布式自适应交通信号控制协调效率受限,并且存在维数灾难问题,建立了城市区域交通信号控制系统模型,将其优化问题建模为局部交叉口交通信号博弈协调控制,提出基于交叉口交通信号控制agent局部信息博弈交互的学习算法。在学习过程中交叉口交通信号控制agent进行局部信息博弈交互,自主调整交通信号控制策略使其逐步学习到最优策略。通过设计不同的交通需求情景,对路网平均延误和平均停车次数进行加权构建性能评价指标,相对于遗传算法和感应控制方法,博弈学习取得更好的交通信号控制效果,其能收敛到最优性能评价指标,其具有更好的交通需求管控能力。     

一种基于Agent的电子学习体系模型的研究

该文针对网络教育中的数字化学习,提出了一种支持四层结构的数字化学习平台的解决方案。重点讨论了数字化学习系统中支持个性化学习的群Agent技术,包括:移动Agent、多Agent特性,个性化学习Agent的功能结构、Agent实现的技术、策略与层次等热点问题。     

Hierarchical control of traffic signals using Q-learning with tile coding

Multi-agent systems are rapidly growing as powerful tools for Intelligent Transportation Systems (ITS). It is desirable that traffic signals control, as a part of ITS, is performed in a distributed model. Therefore agent-based technologies can be efficiently used for traffic signals control. For traffic networks which are composed of multiple intersections, distributed control achieves better results in comparison to centralized methods. Hierarchical structures are useful to decompose the network into multiple sub-networks and provide a mechanism for distributed control of the traffic signals. In this paper, a two-level hierarchical control of traffic signals based on Q-learning is presented. Traffic signal controllers, located at intersections, can be seen as autonomous agents in the first level (at the bottom of the hierarchy) which use Q-learning to learn a control policy. The network is divided into some regions where an agent is assigned to control each region at the second level (top of the hierarchy). Due to the combinational explosion in the number of states and actions, i.e. features, the use of Q-learning is impractical. Therefore, in the top level, tile coding is used as a linear function approximation method. A network composed of 9 intersections arranged in a 3×3 grid is used for the simulation. Experimental results show that the proposed hierarchical control improves the Q-learning efficiency of the bottom level agents. The impact of the parameters used in tile coding is also analyzed.     

交通信号控制系统中的Agent协同研究

应用Agent技术的交通信号控制策略去探讨基于本体的Agent通信,并结合多级模糊控制和基于对策论的协调方法对交通阻塞问题进行了分析,提出了采用多级模糊的点控解决方案。     

组态王软件在交通管理中心的应用

介绍了交通监控系统,详细描述了系统底层PLC和顶层组态王软件的设计。使得工作人员只要在交通管理中心,就可以监控到该城市的主要十字路口的交通信号灯的状态,并可以针对不同地段不同时间段车流量优化底层PLC控制,提高城市交通管理效益。     

多智能体在城市交通控制系统中的应用

针对城市交通领域的需求,结合Agent原理和特点以及智能控制技术,提出了一个基于Agent的智能城市交通信号控制系统的基本架构。该系统通过路口Agent、区域Agent、中央Agent协调控制,实现了城市交通系统的实时智能控制功能。     

多智能体在城市交通控制系统中的应用

针对城市交通领域的需求,结合Agent原理和特点以及智能控制技术的发展,提出了一个基于Agent的智能城市交通信号控制系统的基本架构。该系统通过路口Agent、区域Agent、中央Agent协调控制,实现了城市交通系统的实时智能控制功能。     

Hierarchical optimal force–position–contour control of machining processes

There has been a tremendous amount of research in machine tool servomechanism control, contour control, and machining force control; however, to date these technologies have not been tightly integrated. This paper develops a hierarchical optimal control methodology for the simultaneous regulation of servomechanism positions, contour error, and machining forces. The contour error and machining force process reside in the top level of the hierarchy where the goals are to (1) drive the contour error to zero to maximize quality and (2) maintain a constant cutting force to maximize productivity. These goals are systematically propagated to the bottom level, via aggregation relationships between the top and bottom-level states, and combined with the bottom-level goals of tracking reference servomechanism positions. A single controller is designed at the bottom level, where the physical control signals reside, that simultaneously meets both the top and bottom-level goals. The hierarchical optimal control methodology is extended to account for variations in force process model parameters and process parameters. Simulations are conducted for four machining operations that validate the developed methodology. The results illustrate the controller can simultaneously achieve both the top and bottom-level goals.     

基于Agent的交通流微观仿真系统框架研究

目前Agent技术已经成为人工智能技术和计算机软件学的热点研究问题。该文将Agent概念和技术运用到交通流微观仿真系统中,建立了交通流微观仿真系统框架,比较详细地介绍了交通个体Agent的分类和各自的属性,对机动车、非机动车和行人的Agent集合进行了定义,讨论了他们的属性,同时依据交通控制的分层结构,对交通控制Agent进行了分类,对各层的属性进行了研究,最后对影响交通个体Agent行为的外界环境进行了描述,从理论上对Agent在交通仿真中的应用进行了较为完整的研究。     

基于深度强化学习的城市交通信号控制算法

针对城市交通信号控制中如何有效利用相关信息优化交通控制并保证控制算法的适应性和鲁棒性的问题，提出一种基于深度强化学习的交通信号控制算法，利用深度学习网络构造一个智能体来控制整个区域交通。首先通过连续感知交通环境的状态来选择当前状态下可能的最优控制策略，环境的状态由位置矩阵和速度矩阵抽象表示，矩阵表示法有效地抽象出环境中的主要信息并减少了冗余信息；然后智能体以在有限时间内最大化车辆通行全局速度为目标，根据所选策略对交通环境的影响，利用强化学习算法不断修正其内部参数；最后，通过多次迭代，智能体学会如何有效地控制交通。在微观交通仿真软件Vissim中进行的实验表明，对比其他基于深度强化学习的算法，所提算法在全局平均速度、平均等待队长以及算法稳定性方面展现出更好的结果。其中，与基线相比，平均速度提高9%，平均等待队长降低约13.4%。实验结果证明该方法能够适应动态变化的复杂的交通环境。     

Hierarchical optimal force-position control of complex manufacturing processes

A hierarchical optimal controller is developed in this paper to regulate the machining force and axis positions, simultaneously, in a micro end milling process. The process is divided into two levels of decision making. The bottom level includes the measurable states, which in this work comprises the axis positions. The top level includes the higher order objectives, which can be derived from the bottom level objectives by an aggregation relationship. In this work, the top level's objective is to regulate the machining force. A series of simulations were conducted in which the weighting between the top and the bottom level objectives is adjusted within the feasible range. The results demonstrated that excellent tracking of both axis positions and machining force are achieved during the steady state regardless of the weighting. However, the transient performance of the system could be systematically shaped to achieve better performance of either objective. For the purpose of comparison a decentralized optimal controller was constructed and simulated for the feasible range of controller weights. When the axis position errors were weighted heavily, both controllers were able to regulate the axis errors well, while the hierarchical controller had smaller machining force errors. When the machining force errors were weighted heavily, although the machining force error decreased for the decentralized controller the axis position errors increased significantly. However, with heavy machining force weighting, the hierarchical controller was able to manipulate the axial errors in a way that while the machining force error was reduced, the contour error (i.e., smallest deviation from the tool tip to the desired contour) remained small.     

密集障碍物环境下移动机器人全局路径规划

针对粒子群优化算法用于障碍物密集分布环境下机器人全局路径规划存在的早熟、效率低等问题,提出了一种基于障碍物顶点信息搜索的双层(底层和顶层)粒子群优化算法。首先,循环运行若干次底层算法,快速获取若干条无碰路径,确定全局最优解的大致位置,并上传所得路径到顶层;顶层种群接受下层信息后,接着,进行局部精细搜索,以获取问题的最优解。同时,定义了基于障碍物顶点信息的脱障算子,对粒子的全局极值点进行脱障操作,以保证路径的无碰性且加快寻优效率。最后,仿真验证了该方法的有效性。