基于注意力机制的深度强化学习交通信号控制

深度强化学习（DRL）广泛应用于具有高度不确定性的城市交通信号控制问题中,但现有的DRL交通信号控制方法中,仅仅使用传统的深度神经网络,复杂交通场景下其感知能力有限。此外,状态作为强化学习的三要素之一,现有方法中的交通状态也需要人工精心的设计。因此,提出了一种基于注意力机制（attention mechanism）的DRL交通信号控制算法。通过引入注意力机制,使得神经网络自动地关注重要的状态分量以增强网络的感知能力,提升了信号控制效果,并减少了状态向量设计的难度。在SUMO（simulation of urban mobility）仿真平台上的实验结果表明,在单交叉口、多交叉口中,在低、高交通流量条件下,仅仅使用简单的交通状态,与三种基准信号控制算法相比,所提算法在平均等待时间、行驶时间等指标上都具有最好的性能。     

结合状态预测的深度强化学习交通信号控制

深度强化学习（deep reinforcement learning,DRL）可广泛应用于城市交通信号控制领域,但在现有研究中,绝大多数的DRL智能体仅使用当前的交通状态进行决策,在交通流变化较大的情况下控制效果有限。提出一种结合状态预测的DRL信号控制算法。首先,利用独热编码设计简洁且高效的交通状态;然后,使用长短期记忆网络（long short-term memory,LSTM）预测未来的交通状态;最后,智能体根据当前状态和预测状态进行最优决策。在SUMO（simulation of urban mobility）仿真平台上的实验结果表明,在单交叉口、多交叉口的多种交通流量条件下,与三种典型的信号控制算法相比,所提算法在平均等待时间、行驶时间、燃油消耗、CO2排放等指标上都具有最好的性能。     

城市区域交通信号迭代学习控制策略

城市交通流具有复杂的非线性动态特性, 在交通控制中难以对其进行精确的数学建模; 同时, 以天为周期, 宏观交通流又呈现出明显的周期性特征. 鉴于此, 提出一种基于迭代学习的城市区域交通信号控制策略, 通过对交通信号的迭代控制, 使路段的平均占有率收敛于期望占有率, 从而使绿灯时间得到充分利用并防止交通拥堵的发生, 保证了交通流在路网中的高效平稳运行. 严格的理论推导证明了该方法的收敛性, 仿真结果验证了该方法的有效性.

     

基于深度强化学习的城市交通信号控制算法

针对城市交通信号控制中如何有效利用相关信息优化交通控制并保证控制算法的适应性和鲁棒性的问题，提出一种基于深度强化学习的交通信号控制算法，利用深度学习网络构造一个智能体来控制整个区域交通。首先通过连续感知交通环境的状态来选择当前状态下可能的最优控制策略，环境的状态由位置矩阵和速度矩阵抽象表示，矩阵表示法有效地抽象出环境中的主要信息并减少了冗余信息；然后智能体以在有限时间内最大化车辆通行全局速度为目标，根据所选策略对交通环境的影响，利用强化学习算法不断修正其内部参数；最后，通过多次迭代，智能体学会如何有效地控制交通。在微观交通仿真软件Vissim中进行的实验表明，对比其他基于深度强化学习的算法，所提算法在全局平均速度、平均等待队长以及算法稳定性方面展现出更好的结果。其中，与基线相比，平均速度提高9%，平均等待队长降低约13.4%。实验结果证明该方法能够适应动态变化的复杂的交通环境。     

Recursive least-squares temporal difference learning for adaptive traffic signal control at intersection

This paper presents a new method to solve the scheduling problem of adaptive traffic signal control at intersection. The method involves recursive least-squares temporal difference (RLS-TD(λ)) learning that is integrated into approximate dynamic programming. The learning mechanism of RLS-TD(λ) is to make an adaptation of linear function approximation by updating its parameters based on environmental feedback. This study investigates the method implementation after modeling a traffic dynamic system at intersection in discrete time. In the model, different traffic control schemes regarding signal phase sequence are considered, especially the defined adaptive phase sequence (APS). By simulating traffic scenarios, RLS-TD(λ) is superior to TD(λ) for updating functional parameters in the approximation, and APS outperforms other conventional control schemes on reducing traffic delay. By comparing with other traffic signal control algorithms, the proposed algorithm yields satisfying results in terms of traffic delay and computation time.

     

增强学习与神经网络在交通信号控制中的应用

城市交通系统是一个十分复杂的系统,鉴于交通流的多变性和交通控制的实时性,将增强学习应用于交通信号控制问题中,这样就可以根据实时的交通状态信息动态地进行决策,自动地适应环境以便取得更好的控制效果。然而由于交通状态空间太大而难以建立线性表,采用增强学习与人工神经网络相结合的方法,解决了多个路口的交通信号控制问题。通过在仿真环境下的对比,证明该方法的控制效果明显优于传统的固定配时控制策略。     

大规模智慧交通信号控制中的强化学习和深度强化学习方法综述

当前在交通信号控制系统中引入智能化检测和控制已是大势所趋,特别是强化学习和深度强化学习方法在可扩展性、稳定性和可推广性等方面展现出巨大的技术优势,已成为该领域的研究热点。针对基于强化学习的交通信号控制任务进行了研究,在广泛调研交通信号控制方法研究成果的基础上,系统地梳理了强化学习和深度强化学习在智慧交通信号控制领域的分类及应用;并归纳了使用多智能体合作的方法解决大规模交通信号控制问题的可行方案,对大规模交通信号控制的交通场景影响因素进行了分类概述;从提高交通信号控制器性能的角度提出了本领域当前所面临的挑战和未来可能极具潜力的研究方向。     

面向交通信号的两层递阶控制解决方案

针对现有交通信号控制系统的诸多不足,提出了一种用于交通信号控制的两层递阶多Agent系统解决方案。通过将交通网络进行区域划分,利用底层Agent控制各交叉口,顶层Agent控制区域,从而实现两层递阶控制。底层Agent采用经典Q学习同步学习最优策略,顶层Agent利用Tile Coding非凡的连续空间处理能力,实现Q学习的动作值函数逼近方法。仿真实验结果表明,该分层递阶控制不但提高了交通信号控制系统效率,而且也为大规模应用提供了很好的可伸缩解决方案。     

基于agen t 的城市交通信号控制

利用agent技术对城市交通信号控制进行研究．首先给出了区域agent(ARA)的组成和结构，然后给出了城市交通控制的模型和协调算法．基于agent技术的城市交通控制系统能对交通状况进行实时反映和处理．在此模型基础上，应用博弈论的相关知识给出城市交通信号协调控制算法．最后通过仿真程序验证了该模型和算法的有效性和实用性．     

单交叉口交通多目标控制方法

建立了在饱和度约束下以延误、停车次数、通行能力为性能指标的单交叉口多目标控制模型;模型可以根据交通状态的不同对交通控制的目标有所侧重：交通状态趋向拥挤时要确保发挥路口的最大通行能力,非拥挤状态时应尽可能减少路口信号控制的延误和停车次数;最后利用遗传算法对模型进行优化。实验结果表明,该模型能较好地适应实际的交通状态的变化,可有效改善交叉口的交通状况。     

An SVM-based machine learning method for accurate internet traffic classification

Accurate and timely traffic classification is critical in network security monitoring and traffic engineering. Traditional methods based on port numbers and protocols have proven to be ineffective in terms of dynamic port allocation and packet encapsulation. The signature matching methods, on the other hand, require a known signature set and processing of packet payload, can only handle the signatures of a limited number of IP packets in real-time. A machine learning method based on SVM (supporting vector machine) is proposed in this paper for accurate Internet traffic classification. The method classifies the Internet traffic into broad application categories according to the network flow parameters obtained from the packet headers. An optimized feature set is obtained via multiple classifier selection methods. Experimental results using traffic from campus backbone show that an accuracy of 99.42% is achieved with the regular biased training and testing samples. An accuracy of 97.17% is achieved when un-biased training and testing samples are used with the same feature set. Furthermore, as all the feature parameters are computable from the packet headers, the proposed method is also applicable to encrypted network traffic.     

城市交通区域的迭代学习边界控制

已有的边界控制方法主要是基于模型的反馈控制算法,其实际应用效果受制于模型参数的标定和环境的影响.迭代学习控制以完全跟踪为目标,仅利用较少的模型信息就可以沿迭代轴实现对系统期望输出的完全跟踪.基于城市交通流的重复特性,提出一种城市交通区域的迭代学习边界控制方法,给出跟踪误差收敛性分析.以日本横滨区域为对象分别进行3种场景的仿真:早高峰、晚高峰和中心区域拥堵.仿真结果表明,迭代学习控制方法对于各种场景下的区域路网交通均能达到较为理想的控制效果.     

Offline/realtime traffic classification using semi-supervised learning

Identifying and categorizing network traffic by application type is challenging because of the continued evolution of applications, especially of those with a desire to be undetectable. The diminished effectiveness of port-based identification and the overheads of deep packet inspection approaches motivate us to classify traffic by exploiting distinctive flow characteristics of applications when they communicate on a network. In this paper, we explore this latter approach and propose a semi-supervised classification method that can accommodate both known and unknown applications. To the best of our knowledge, this is the first work to use semi-supervised learning techniques for the traffic classification problem. Our approach allows classifiers to be designed from training data that consists of only a few labeled and many unlabeled flows. We consider pragmatic classification issues such as longevity of classifiers and the need for retraining of classifiers. Our performance evaluation using empirical Internet traffic traces that span a 6-month period shows that: (1) high flow and byte classification accuracy (i.e., greater than 90%) can be achieved using training data that consists of a small number of labeled and a large number of unlabeled flows; (2) presence of “mice” and “elephant” flows in the Internet complicates the design of classifiers, especially of those with high byte accuracy, and necessitates the use of weighted sampling techniques to obtain training flows; and (3) retraining of classifiers is necessary only when there are non-transient changes in the network usage characteristics. As a proof of concept, we implement prototype offline and realtime classification systems to demonstrate the feasibility of our approach.     

A signal timing plan formulation for urban traffic control

This paper addresses urban traffic control using an optimization model for signalized areas. The paper modifies and extends a discrete time model for urban traffic networks proposed in the related literature to take into account some real aspects of traffic. The model is embedded in a real time controller that solves an optimization problem from the knowledge of some measurable inputs. Hence, the controller determines the signal timing plan on the basis of technical, physical, and operational constraints. The actuated control strategy is applied to a case study with severe traffic congestion, showing the effectiveness of the technique.     

Offset control of traffic signal using cellular automaton traffic model

This paper deals with an offset control of traffic signals using a cellular automaton traffic model. A stochastic optimal control method for distributed traffic signals is modified to achieve coordinated traffic signal control with the proposed offset control method. In the proposed coordinated traffic signal control method, splits of each cycle and common cycle length are calculated using a modified stochastic optimal control method, and then the offset is calculated using an estimation method based on a modified CA traffic model at intervals. Also, simulations are carried out at multiple intersections using a micro traffic simulator. The effectiveness of the proposed coordinated control method is proved by comparing with other traffic signal control methods such as pre-timed signal control, two types of the traditional coordinated control and distributed control.     

监督交通量变化的多模型预测自适应交通信号灯控制

因信号设定时间和车流量动态行为引起的交通量变化是现代交通控制系统存在高度不确定性的主要因素.根据交通流量具有高峰期、正常期及突发超流量期的特点,本文提出了一种监督多模型交通流量建模方法,结合模型预测控制技术对交通信号灯进行优化式智能控制,对不同交通模式下交通流量的实时变化作出反应,在优化的模式下对关键主干道交叉路口的信号灯进行自适应调节,达到实现通行次数合理,车辆延误时间以及停车时间都减少的目的.仿真示例说明了该方法的有效性.     

基于FCM的文本迁移学习算法

传统的机器学习方法是在训练数据和测试数据分布一致的前提下进行的。然而,在一些现实世界中的应用,训练数据和测试数据来自不同的领域。在不考虑数据分布的情况下,传统的机器学习算法可能会失效,针对这一问题,提出一种基于模糊C均值(FCM)的文本迁移学习算法。首先,通过简单分类器对测试样本分类,接着,利用自然邻算法构建样本初始模糊隶属度;然后,利用FCM算法通过迭代更新样本模糊隶属度,修正样本标签;最后,对样本孤立点进行处理,得到最终分类结果。实验结果表明,该算法具有较好的正确率,有效的解决了在训练数据和测试数据分布不一致的情况下的文本分类问题。     

XY 平台的迭代学习控制初次控制信号选定

当XY运动平台当前期望轨迹与以往轨迹基元的组合相似时,本文提出如何选定迭代学习控制过程的初次控制信号.首先依次提取各个相似轨迹基元的控制信号,对它们进行相应的旋转和平移变换,并在前后轨迹基元拼接处采用线性插值算法进行控制信号无扰切换,从而获得当前操作的迭代学习控制的初次迭代控制信号;最后通过仿真实例验证了所提方法的有效性.     

Autoencoder-based improved deep learning approach for schizophrenic EEG signal classification

Pattern Analysis and Applications - In this paper, deep-stacked error minimized extreme learning machine autoencoder (DSEMELMAE) and sine–cosine monarch butterfly optimization-based minimum...     

迁移学习在医学图像分类中的研究进展

医学影像作为医疗数据的主要载体,在疾病预防、诊断和治疗中发挥着重要作用。医学图像分类是医学影像分析的重要组成部分。如何提高医学图像分类效率是一个持续的研究问题。随着计算机技术进步,医学图像分类方法已经从传统方法转到深度学习,再到目前热门的迁移学习。虽然迁移学习在医学图像分类中得到较广泛应用,但存在不少问题,本文对该领域的迁移学习应用情况进行综述,从中总结经验和发现问题,为未来研究提供线索。1)对基于迁移学习的医学图像分类研究的重要文献进行梳理、分析和总结,概括出3种迁移学习策略,即迁移模型的结构调整策略、参数调整策略和从迁移模型中提取特征的策略;2)从各文献研究设计的迁移学习过程中提炼共性,总结为5种迁移学习模式,即深度卷积神经网络(deep convolution neural network, DCNN)模式、混合模式、特征组合分类模式、多分类器融合模式和二次迁移模式。阐述了迁移学习策略和迁移学习模式之间的关系。这些迁移学习策略和模式有助于从更高的抽象层次展现迁移学习应用于医学图像分类领域的情况;3)阐述这些迁移学习策略和模式在医学图像分类中的具体应用,分析这些策略及模式的优点、局...