基于强化学习的神经网络在船模速度控制中的应用

讨论了强化学习模型,以及基于进化学习的神经网络模型,在此基础上结合强化学习的自适应能力,通过神经网络的在线学习对船舶模型速度进行跟踪控制,并以强化学习神经网络结构设计出神经网络控制器,最终取得对船舶模型航行速度的自适应控制。经过仿真研究,将开发与训练好的自学习神经网络控制器用于对船舶模型速度跟踪控制,所开发的基于强化学习的神经网络控制器具有良好的速度跟踪性能,控制效果明显。     

城市高速公路交通的神经网络建模与控制

从城市高速公路交通流的宏观、动态特性出发 ,分析了交通流控制中常用的宏观、动态、确定性模型 在此基础上 ,利用人工神经网络技术建立了城市高速公路的神经网络模型 ,并提出了入口匝道放行和路段速度相结合的多变量神经网络控制策略 利用该控制策略建立的自适应神经网络控制器 ,可以使高速公路上的交通密度维持在理想的密度值附近 .进一步分析可以得到 ,该控制器是一个状态和控制作用均可跟踪的伺服系统 .以杭州某高架高速公路为背景的仿真结果表明 :该控制器具有较强的鲁帮性 ,控制效果令人满意 .     

基于变尺度编码CMAC的增强学习控制器及其应用

研究了一种基于变尺度编码CMAC神经网络的增强学习控制器设计方法,并应用于以自行车平衡为模型的非线性随机系统的学习控制中.该方法通过对Markov决策过程状态空间的变尺度重叠量化编码,实现基于CMAC的多分辨率值函数逼近,从而有效地提高了增强学习控制器对连续状态空间马氏决策问题的泛化性能.针对自行车学习控制的仿真研究表明,采用变尺度编码CMAC进行值函数逼近的增强学习控制器能够获得优于已有表格型方法和均匀编码CMAC方法的学习效率和泛化性能.     

考虑交通流非线性特性的交通信号迭代学习控制策略

现实中城市交通流的运行具有很强的非线性特性, 采用简单的线性模型难以全面描述交通流的实际运行过程. 本文在考虑城市交通流非线性动态特性的基础上, 提出了一种非线性交通流排队模型, 并基于宏观交通流固有的周期性特征, 设计了交叉口信号的迭代学习控制策略. 通过对交叉口信号的迭代学习控制, 使交叉口各进口道的车辆排队长度尽可能趋于均衡, 提高交叉口信号有效绿灯时间的利用率, 从而提高路网的通行效率. 最后通过严格的数学推导证明了该方法的收敛性, 仿真研究及实验结果验证了所提方法的有效性.     

不确定性自由漂浮空间机器人神经自适应控制

针对具有模型不确定性以及外部干扰下的自由漂浮空间机器人,采用一种整体逼近的神经网络自适应控制方法。该方法采用RBF神经网络对不同重力环境下系统模型的不确定项进行整体逼近,对系统的不确定项进行在线自适应学习。神经网络的逼近误差以及外界干扰由鲁棒项进行消除。该方法不依赖于系统模型,简化了控制系统的结构,在考虑重力等不确定项的情况下不用改变控制器也能进行控制,并且根据李亚普诺夫理论证明了所设计控制器使系统渐进稳定。在不同重力环境下进行了仿真,验证了控制方案的有效性。     

欠驱动AUV模糊神经网络L2增益鲁棒跟踪控制

提出基于模糊神经网络欠驱动水下自主机器人(AUV)的L2增益鲁棒跟踪控制方法,该方法通过在线学习逼近动力学模型的不确定项.控制器克服了由于缺少横向推力对跟踪误差的影响,在考虑未知海流干扰情况下,实现了系统对模糊神经网络逼近误差的L2增益小于γ.利用Lyapunov稳定性理论证明了闭环控制系统误差信号一致最终有界.最后,通过精确模型参数和参数扰动仿真实验验证了该控制方法具有很好的跟踪效果和较强的鲁棒性.     

考虑路网OD路径的交叉口群动态划分方法

交叉口群是关联性较强的若干交叉口的集合,是路网交通流协调控制的基本单元,其动态范围划分与路网协调控制效益直接相关。在对经典Whitson路段关联性模型进行改进的基础上,考虑路网上交通流OD路径分布建立了相邻交叉口之间的路径关联性模型;基于路段或路径关联性模型计算结果,应用层次聚类方法对信号控制交叉口群进行动态划分。最后对基于路段和路径关联性的交叉口群动态划分方法进行了仿真验证和对比分析。研究结果表明,考虑路网OD路径分布动态划分交叉口群可以减少对主要OD路径的分割,从而降低路网交通流的总停车延误和停车次数。     

基于CA的交叉口模型的仿真研究

结合我国混合交通流的实际情况,建立了二维细胞自动机交叉口交通流模型,并用VC开发了相应的仿真系统.仿真系统可以对平面十字交叉路口的多种交通流相进行了模拟分析,还能够根据交通密度变化,通过实时改变信号灯控制方案改善交通流运行状况,从而找出一种最优的交叉口信号控制方案.     

基于一种新的混合算法的交通流控制优化模型

运用交通流控制理论建立了在交叉口空间渠化及信号相位相序给定的条件下, 考虑机动车与非机动车的延误（服务水平）约束条件, 机动车通行能力最大的优化模型, 并利用遗传算法及混沌优化算法互补的混合优化算法对模型进行了优化计算. 实际优化计算结果表明, 文中的优化模型及其混合算法具有较高的理论价值及实用价值, 本次研究为信号交叉口交通流的协调控制优化研究提供了新思路和新方法.     

城市区域交通智能控制研究

利用模糊神经网络对城市区域交通进行实时分散控制.把区域交通作为一个大系统,子系统为区域中的各个交叉口,每个交叉口有一个控制器,该控制器根据它自己和相邻交叉口的交通流信息来动态管理绿灯相位及绿灯时间.仿真研究表明:在交通流量较大和流量时变的环境下,该方法比普通车辆感应控制方法控制效果更好.     

Recursive least-squares temporal difference learning for adaptive traffic signal control at intersection

This paper presents a new method to solve the scheduling problem of adaptive traffic signal control at intersection. The method involves recursive least-squares temporal difference (RLS-TD(λ)) learning that is integrated into approximate dynamic programming. The learning mechanism of RLS-TD(λ) is to make an adaptation of linear function approximation by updating its parameters based on environmental feedback. This study investigates the method implementation after modeling a traffic dynamic system at intersection in discrete time. In the model, different traffic control schemes regarding signal phase sequence are considered, especially the defined adaptive phase sequence (APS). By simulating traffic scenarios, RLS-TD(λ) is superior to TD(λ) for updating functional parameters in the approximation, and APS outperforms other conventional control schemes on reducing traffic delay. By comparing with other traffic signal control algorithms, the proposed algorithm yields satisfying results in terms of traffic delay and computation time.

     

区分交通流模式的混合服务路口信号控制策略

相对于固定配时,基于交通流的动态变化特征的信号配时算法具有更好的道路状态适应性.鉴于此,提出一种基于交通流识别的自适应控制策略,首先利用自组织映射网络(SOM)神经网络对历史交通流状态聚类,结合路口时间段与路段环境特征分析实现交通流模式划分;在此基础上,引入概率神经网络(PNN)对该路口的交通流模式进行训练学习;最后针对不同状态类型交通流量,动态选取门限服务轮询信号配时和韦伯斯特信号配时策略计算信号灯配时周期,实现控制策略与交通流动态变化特征的匹配.仿真实验结果表明,区分交通流模式的混合服务路口信号控制方法对车流的随机变化具有更好的适应性.     

基于人工神经网络预测控制的交通信号调度

在传统的交通信号控制中,信号的变化周期一般是固定的,由于车流量随时间的不确定性,引起了道路负荷的不均衡,容易造成道路拥塞或闲置现象。对基于人工神经网络的预测控制算法进行介绍。根据预测结果对整个路况进行决策判断,实现交通灯信号周期的自适应调节,从而实现交通流量的负荷均衡。根据城市交通系统的特点,设计一个基于神经网络的单个交叉路口的交通灯预测控制系统,得出相关不同时间段内的交通灯控制周期。分析表明,该方法能有效提高车辆通行效率,增强道路的吞吐能力。     

自适应遗传算法的Multi-Agent交通信号优化控制

在区域交通多智能体信号控制系统中,由于传统遗传算法早熟收敛,全局搜索能力不强,无法快速找到最佳配时方案,同时没有考虑相邻交叉口的关联性,针对这种情况,提出交叉口子区Agent代替传统的交叉口Agent,在交叉口子区Agent中引入自适应遗传算法,算法根据交通流量的变化对绿信比[λ]进行优化,使交叉口平均延误时间[D]最短。实验结果表明交叉口子区Agent代替交叉口Agent后,控制效果相似,节省了硬件资源,在交叉口子区Agent中引入自适应遗传算法下的信号控制能迅速找到最佳配时方案,使平均延误时间最短。仿真实验表明,将基于自适应遗传算法的交叉口区域控制应用到交叉口信号控制中有更好的性能,证明了用交叉口区域智能体替代交叉口智能体的可行性。     

非线性系统的再励学习控制研究

研究了一种带有的CMAC神经网络的再励学习（RL）控制方法,以解决具有高度非线性的系统控制问题。研究的重点在于算法的简化以及具有连续输出的函数学习上。控制策略由两部分构成;再励学习控制器和固定增益常规控制器。前者用于学习系统的非线性,后者用于稳定系统。仿真结果表明,所提出的控制策略不仅是有效的,而且具有很高的控制精度。     

一种新型嵌入式网络信号机研究与设计

交通信号机是智能交通系统的基础之一,为了满足信号机的网络化和智能化的要求,研究并提出了一种新型的嵌入式网络信号机,该信号机的硬件结构采用ARM和CPLD,以触摸屏为基础采用QT/Embedded设计了人性化的人机接口,信号机支持多种通信接口,其协议采用XML予以定义;为了避免绿冲突,以两级模式进行冲突判断;单点模糊控制机制的设计能够适应动态的交通流状况,有效提高交叉口的通行能力;连接交通仿真软件,模拟实际路口,实验显示该信号机工作稳定,性能优越。     

无信号交叉口车辆调度方法研究

随着车辆数量的快速增加,交通拥堵问题变得日益严重.如何引导车辆安全高效地通过交叉路口已经受到了学界的广泛关注.已有的控制方法主要是在线优化信号灯的相位配比.然而相位之间的频繁切换会导致信号周期中黄灯时间占比的增加,进而降低交叉口的车辆放行能力.本文提出了一种基于车路协同的无信号交叉口资源调度模型,该模型将交叉口划分为互不相交的物理空间路权资源,并描述了各个路权资源之间的相互协同关系,进而将无信号交叉口交通控制问题转换为有限资源调度问题.在此基础上,构建最大化交叉口通行效率的目标函数,并求解车辆的最优通行序列.实验结果表明:较传统有信号交叉口控制方法,无信号控制方法有效减少了车辆的排队长度,提高了交叉口的车辆吞吐能力.     

基于TCPN的交叉口信号控制模型与优化

针对城市路网中交叉口车辆通行效率低下,交通信号控制策略难于满足输入路段上车流变化的问题,本文提出了一种基于时延赋色Petri网的交叉口交通流优化控制模型。首先建立路段车流、交叉口车流和交通信号控制的TCPN模型,其次建立以交叉口输入路段车辆数最小为目标的车流优化方程。在假设信号周期固定的前提下,利用15个周期采集的交叉口输入、输出路段车辆数,求解满足优化目标的相位配时,确保交叉口输出车辆数最大,且输入路段上待通过车辆平均数最小。仿真结果表明,交叉口的通行能力显著提高,各输出路段上的车辆平均数分别增加了13.3%,9.7%,9.8%和4.3%。     

基于流量的交通信号智能控制算法与仿真

交通信号控制系统是城市交通的基本组成.文章针对交通路口信号控制中的时间分配算法进行研究.根据交通路口抽象模型,综合多种路口流量因素,引入了综合流量指标来对交通流量进行量化描述.并且以该综合指标为中心设计了具备自适应能力的信号控制算法.实现了能够依据交通流量状况进行路口时间调整的交通信号控制系统模型.通过NetLogo平台进行仿真实验,证明该系统模型可以很好的适应路口交通流量变化和差异,一定程度上可以作到对交通压力的缓解.     

基于小脑模型关节控制器与PID复合的高速公路交通流密度控制

高速公路交通控制系统是一个复杂的非线性时变系统, 传统的匝道控制方法难以取得满意的控制效果. 为此, 本文提出基于小脑模型关节控制器(CMAC)与PID复合的匝道控制方法. 首先建立了二阶宏观动态交通流模型, 然后研究了CMAC与PID复合控制算法, 结合非线性反馈理论, 设计了基于CMAC与PID复合的高速公路交通流密度控制器, 该密度控制问题是一个输出跟踪和扰动抑制问题, 最后采用两个仿真实例对该方法的有效性进行验证. 结果表明, 复合控制具有优越的密度跟踪性能和抑制噪声干扰的能力; 复合控制方法能够有效地消除交通拥挤, 并使主线车流趋于稳定.