基于遗传算法和神经网络预测的再励学习

提出一种基于遗传算法和神经网络预测法相结合的再励学习方法,利用遗传算法对全局进行最优解搜索,将进化过程中产生的数据用来训练神经网络预测器,当再励学习逼近最优解时,利用预测网络估计动作网络的参数、结构与系统响应之间的映射关系,用预测网络逼近最优解的能力引导遗传算法在局部向最优解快速逼近,以解决遗传算法局部振荡问题,从而实现快速学习的能力。将其应用于矢量控制交流电机的速度环控制器自学习中,仿真实验验证了该算法的有效性。     

基于Takagi-Sugeno的再励学习模糊神经网络控制

提出一种模糊神经网络的自适应控制方案。针对连续空间的复杂学习任务,提出了一种竞争式Takagi-Sugeno模糊再励学习网络,该网络结构集成了Takagi-Sugeno模糊推理系统和基于动作的评价值函数的再励学习方法。相应地,提出了一种优化学习算法,其把竞争式Takagi-Sugeno模糊再励学习网络训练成为一种所谓的Takagi-Sugeno模糊变结构控制器。以一级倒立摆控制系统为例,仿真研究表明所提出的学习算法在性能上优于其它的再励学习算法。     

基于Takagi—Sugeno的再励学习模糊神经网络控制

提出一种模糊神经网络的自适应控制方案。针对连续空间的复杂学习任务，提出了一种竞争式Takagi—Sugeno模糊再励学习网络，该网络结构集成了Takagi-Sugeno模糊推理系统和基于动作的评价值函数的再励学习方法。相应地，提出了一种优化学习算法，其把竞争式Takagi-Sugeno模糊再励学习网络训练成为一种所谓的Takagi-Sugeno模糊变结构控制器。以一级倒立摆控制系统为例．仿真研究表明所提出的学习算法在性能上优于其它的再励学习算法。     

基于遗传算法优化可调整控制规则的模糊控制

针对一类参数时变、时滞后系统,设计了一种解析描述可调整控制规则的模糊控制器.再利用遗传算法对表达式中的可调整因子进行全局快速优化,从而实现控制规则的学习与修正.仿真结果表明,优化后控制器具有良好鲁棒性与抗扰动能力,对时变时滞后系统具有较好的适应能力.     

基于CMAC再励学习控制的电梯群控调度方法

提出一种新的智能优化调度方法，将再励学习控制运用到电梯群控系统中,采用基于交通模式识别的小脑模型神经网络作为控制器,以乘客平均候梯时间最短为控制目标设计出电梯群控系统的控制方案.该控制方法不需要过多的专家知识及学习样本,可以实现在线学习并具有较强的自适应能力,提高了系统的效率并且使系统性能得到优化.以层间交通模式为例对系统进行仿真,结果证明了该方法的可行性及有效性.     

基于免疫遗传算法的区域交通自适应协调控制

提出一种基于改进免疫遗传算法的城市区域交通自适应协调控制方法.采用两层的递阶分布式结构;分阶段和分级优化控制参数(周期、相位差和绿信比),每个阶段长5~30分钟,周期、相位差由区域控制级每个阶段优化一次,绿信比由路口控制级每个周期优化一次;采用最小化平均延误时间或平均停车次数等为性能指标.周期、相位差和绿信比均采用改进的免疫遗传算法进行优化.仿真结果表明本文提出的方法是可行而有效的.     

具有实质的不确定系统再励学习

本文对具有时滞的不确定控制对象提出了一种带有神经网络的Ｓｍｉｔｈ预估器再励学习控制方法,文中还给出了再励学习系统中模糊自适应控制器的网络结构及其有关算法的改进。仿真结果表明：本文提出的控制方法对具有时滞的不确定系统的自学习控制不仅是有效的,而且具有良好的鲁棒性。     

基于再励学习的多移动机器人协调避障路径规划方法

随着多移动机器人协调系统的应用向未知环境发展,一些依赖于环境模型的路径规划方法不再适用。而利用再励学习与环境直接交互,不需要先验知识和样本数据的特点,该文将再励学习应用于多机器人协调系统中,提出了基于再励学习的避障路径规划方法,并将再励函数设计为基于行为分解的无模型非均匀结构。计算机仿真实验结果表明该方法有效,并有较好的鲁棒性,新的再励函数结构使得学习速度得以提高。     

再励学习及其在移动机器人行为规划中的应用

再励学习（Reinforcement Learning,RL）是一种成功地结合动态编程和控制问题的机器智能方法,它将动态编程和有监督学习方法结合到机器学习系统中,通常用于解决预测和控制两类问题。提出了以矢量形式表示的评估函数,为了实现多维再励学习,用一专门的神经网络（Q网络）实现评判网络,研究其在移动机器人行为规划中的应用。     

基于再励学习的地铁列车运行过程的模糊自适应控制

提出了一种用于解决地铁运行控制问题的基于再励学习的模糊自适应控制方案，解决了多控制目标下列车控制问题，确保了列车准确运行。仿真取得了令人满意的结果。结果表明，这种将模糊控制和再励学习相结合的智能控制方法综合用于列车运行控制是可行的，可以较好地保证舒适性、停车准确性和正点性。     

灾变粒子群优化算法及其在交通控制中的应用

城市交通系统是一个随机性很强的、复杂的巨型系统。为了获得良好的通行效率,必须对城市区域交通协调控制信号进行整体优化,但是到目前为止还没有一个能较好完成此项任务的、实用的实时智能优化方法。在粒子群优化算法中引入灾变策略和模型,开发了灾变粒子群优化算法,解决了基本粒子群算法易陷入局部极小点的缺陷,并将其应用于城市区域交通协调控制信号配时优化。仿真结果表明:与基本粒子群算法(在陷入局部极小点时)、固定周期法和遗传算法等配时方法相比,采用所开发的灾变粒子群优化算法对区域交通协调控制信号进行智能优化配时,被控区域的车辆平均延误可以分别平均减少25.2%、41%和11.5%,并可以大大提高路口的通行效率。开发的灾变粒子群优化算法也可以应用于其他许多对象的优化。     

基于深度强化学习的交通信号控制方法

交通信号的智能控制是智能交通研究中的热点问题。为更加及时有效地自适应协调交通,文中提出了一种基于分布式深度强化学习的交通信号控制模型,采用深度神经网络框架,利用目标网络、双Q网络、价值分布提升模型表现。将交叉路口的高维实时交通信息离散化建模并与相应车道上的等待时间、队列长度、延迟时间、相位信息等整合作为状态输入,在对相位序列及动作、奖励做出恰当定义的基础上,在线学习交通信号的控制策略,实现交通信号Agent的自适应控制。为验证所提算法,在SUMO(Simulation of Urban Mobility)中相同设置下,将其与3种典型的深度强化学习算法进行对比。实验结果表明,基于分布式的深度强化学习算法在交通信号Agent的控制中具有更好的效率和鲁棒性,且在交叉路口车辆的平均延迟、行驶时间、队列长度、等待时间等方面具有更好的性能表现。     

基于深度强化学习的有轨电车信号优先控制

现有的有轨电车信号优先控制系统存在诸多问题, 如无法适应实时交通变化、优化求解较为复杂等. 本文提出了一种基于深度强化学习的有轨电车信号优先控制策略. 不依赖于交叉口复杂交通建模, 采用实时交通信息作为输入, 在有轨电车整个通行过程中连续动态调整交通信号. 协同考虑有轨电车与社会车辆的通行需求, 在尽量保证有轨电车无需停车的同时, 降低社会车辆的通行延误. 采用深度Q网络算法进行问题求解, 并利用竞争架构、双Q网络和加权样本池改善学习性能. 基于SUMO的实验表明, 该模型能够有效地协同提高有轨电车与社会车辆的通行效率.     

基于行人安全的交通信号灯智能控制算法研究

提出了一种基于深度确定性策略梯度(DDPG, deep deterministic policy gradient)的行人安全智能交通信号控制算法;通过对交叉口数据的实时观测,综合考虑行人安全与车辆通行效率,智能地调控交通信号周期时长,相位顺序以及相位持续时间,实现交叉路口安全高效的智能控制;同时,采用优先经验回放提高采样效率,加速了算法收敛;由于行人安全与车辆通行效率存在相互矛盾,研究中通过精确地设计强化学习的奖励函数,折中考虑行人违规引起的与车辆的冲突量和车辆通行的速度,引导交通信号灯学习路口行人的行为,学习最佳的配时方案;仿真结果表明在动态环境下,该算法在行人与车辆冲突量,车辆的平均速度、等待时间和队列长度均优于现有的固定配时方案和其他的智能配时方案。     

基于遗传算法改进的交通干线信号优化研究

针对城市交通拥挤、道路通行能力低等问题,通过建立城市交通干线系统信号配时模型,设计了一种基于遗传算法改进的混合式优化算法.算法对遗传算法中适应度函数、交叉算子和变异箅子等进行了一些改进,并将混沌优化思想融入改进后的遗传算法中.用混合式优化算法对城市交通干线系统信号进行配时,有效地协调了各路口的信号灯,使交通干线系统的交通量得到了明显改善.仿真结果表明此算法具有较快的收敛速度和进化效率,能有效实现全局优化.     

基于GA-PDD的干线信号协调控制优化

针对城市交通干线负荷量大、信号配时计算效率低、协调优化约束条件多的特点,提出了基于比例分配解码方法的遗传算法(GA-PDD)协调控制策略,采用交通波理论建立了排队长度预测模型并以干线系统内车辆平均延误时间最小为目标函数建立了遗传算法优化模型,采用比例分配解码方法来进行求解.分别采用单点信号控制、定时协调信号控制和基于GA-PDD的协调控制3种控制策略对某城市干线实例进行对比仿真实验,仿真结果表明,随着调用周期的增大,GA-PDD控制策略的车辆平均停车次数和延误时间逐渐减小,调用周期在15 min及以上时,优于单点信号控制和定时协调控制,验证了不频繁剧烈地改变干线上的信号周期和相位差时,GA-PDD控制策略具有可行性和有效性.     

两种智能优化算法在交通控制 应用中的对比分析

城市交通系统是一个庞大的系统,具有极强的随机性以及复杂性,要想实现对其有效控制,必须不断进行研究 和分析。本文主要讨论两种智能优化算法在城市交通控制应用中的对比。两种智能算法分别是混沌遗传算法和混沌粒子群 算法。通过对这两种智能优化算法的计算结果进行仿真发现,这两种算法的自适应性、鲁棒性以及自学习性都是相当强的,能 够有效地实现对地区交通信号的控制优化,并且由于固定周期控制方式在其中的应用,能够使车辆的平均延误情况得到有效 的缓解,对改善地区交通有着积极的意义。     

基于路口相位方案优化设计的城市道路交通信号迭代学习控制方法研究

城市道路交叉口信号控制是交管工作持续关注的课题,关于协调好有限的道路资源与日益增长的交通需求之间的矛盾,有着至关重要的作用。由于道路自身条件约束,交通流的组成特点复杂,路网交通路呈现非线性动态特征,无法进行精准的数学建模控制。本文提出的迭代学习控制方法,根据交通流的组成和变化特点调整信号控制周期及有效绿灯时长,实现交通信号动态优化控制,保证车辆在路网中能够高效、平稳地通行,是针对非线性动态交通流的一种动态寻优控制算法,能够有效减少路口车辆等待时间、提高通行效率。考虑对不同相位设计方案的适应性,在传统配时优化模型的基础上,构建综合相位设计元素的交通信号迭代学习控制模型,并通过Vissim仿真软件和Python编程语言搭建仿真测试环境,验证了提出模型的有效性。     

城市交叉口车辆速度与交通信号协同优化控制

为了降低城市交通中的行车延误与燃油消耗,针对人类驾驶车辆与自动驾驶车辆混合交通环境,提出一种基于交通信息物理系统(TCPS)的车辆速度与交通信号协同优化控制方法.首先,综合考虑路口交通信号、人类驾驶车辆、自动驾驶车辆三者之间的相互影响,设计一种适用于自动驾驶车辆与人类驾驶车辆混合组队特性的过路口速度规划模型;其次,针对车辆速度规划单一应用时的局限性,即无法减少车辆路口通行延误且易出现无解情况,提出一种双目标协同优化模型,能够综合考虑车辆速度规划与路口交通信号控制,同时降低车辆燃油消耗与路口平均延误.由于双目标优化问题求解的复杂性,设计一种遗传算法-粒子群算法混合求解策略.基于SUMO的仿真实验验证了所提出方法的有效性.     

交互协调强化学习下的城市交通信号配时决策

针对应用传统强化学习进行城市自适应交通信号配时决策时存在维数灾难和缺乏协调机制等问题,提出引入交互协调机制的强化学习算法。以车均延误为性能指标设计了针对城市交通信号配时决策的独立Q-强化学习算法。在此基础上,通过引入直接交互机制对独立强化学习算法进行了延伸,即相邻交叉口交通信号控制agent间直接交换配时动作和交互点值。通过仿真实验分析表明,引入交互协调机制的强化学习的控制效果明显优于独立强化学习算法,协调更有效,并且其学习算法具有较好的收敛性能,交互点值趋向稳定。