基于注意力机制的CNN-GCN模型及其应用

现有多变量时间序列(multivariate time series,MTS)预测方法模型主要采用循环神经网络和注意力机制提取MTS的复杂时空特征,这些方法对MTS变量之间的空间依赖关系的捕获能力不足。图卷积网络对复杂数据的空间特征提取能力较强。为此提出一种融入图卷积网络、注意力机制和深度学习中的卷积神经网络的三通道网络框架模型,将该框架模型用于多变量时间序列预测任务。实验结果表明,该模型在国际汇率这一多变量时间序列数据集上的性能表现要优于目前较先进的几个基线模型。     

基于双路信息时空图卷积网络的交通预测模型

随着深度学习的发展,神经网络在各个领域都有着大量的应用,智慧交通系统也不例外.交通流预测是智慧交通系统的基石,是整个交通预测的核心所在.近年来,图卷积神经网络的利用有效地提高了交通预测的性能,如何进一步提高对图的时空特征进行捕获的能力,将会成为热点.为了提升交通预测的精度,提出了一种基于双路信息时空图卷积网络的交通预测模型.首先,针对图卷积网络的交通预测模型在长距离依赖上建模有所不足,并且没有完全挖掘时空图信息之间的隐藏关系以及在时空图结构上还有信息缺失,提出了一种三重池化注意力机制来建模全局上下文信息.通过对图卷积层和时间卷积层各增加并行的三重池化注意力路径,构造了一个双路信息时空卷积层,提升了卷积层的泛化能力及模型捕获长距离依赖的能力,同时让时空卷积层能够很好地捕获时空图结构上的空间和时间特征,从而有效地提升了交通预测性能.在两个公共交通数据集(METR-LA和PEMS-BAY)上的实验结果表明,该模型具有较好的性能.     

基于图卷积网络的交通路口流量预测模型

交通流量预测是建设智慧城市中一项重要性高且挑战性大的任务。准确预测需要考虑如节假日、相似节点和天气等多种影响因素组成的时空特征。为了准确捕获到路网路口的时空特征,提出了一种基于图卷积神经网络、时序算法Prophet和Pearson相关系数的预测模型,以实现考虑空间结构、相似节点、节假日及其他影响因素对路口流量的准确预测。首先,为降低相似节点影响引入Pearson相关系数,改进时序算法,实现时间特征的捕捉;然后,采用图卷积神经网络实现空间特征的捕捉;最后,通过线性回归确定图卷积网络和时序算法的融合权重,得到时空融合预测的结果。最终基于成都市出租车轨迹数据分析提取出路口流量数据,并进行了流量预测实验。结果表明,提出的模型准确性优于大多现有的基线方法,与T-GCN、ASTGCN、AGCRN模型相比,MAE分别降低了1.623、0.724、0.161,精度分别提高了0.144、0.068、0.021,验证了该模型在交通路口流量预测中的有效性。     

基于多通道时空编码器的交通流量预测模型

传统的交通流量预测模型对历史数据进行时空建模,忽略了交通数据的时间周期性内部潜在关系和交通路网间节点的距离特征和相似性空间特征。据此,提出面向交通流量预测的多通道时空编码器模型MC-STGNN,用来提高交通流量预测的准确率。首先将交通数据处理成三通道的周期性时间序列,并对整体的序列数据进行时间位置编码和自适应的空间位置编码,提取路网节点间的动态相关性;其次引入具有卷积结构的多头自我注意力机制,更大程度地捕获周期数据不同程度的时间相关性;最后提出一种图生成器生成新的时空图,提取路网节点间的相似性和距离特征,并利用门控图卷积网络整合原始图和新时空图的空间信息。在高速公路数据集PEMS03和PEMS08上进行一小时的交通流量综合预测实验,结果表明,MC-STGNN模型与其他的基线模型相比,具有更佳的性能指标,说明MC-STGNN模型具有更优的建模能力。     

面向交通流量预测的多头注意力时空卷积图网络模型

为了充分获取交通流量数据中隐藏的复杂动态时空相关性,提高交通流量预测精度,提出一种多头注意力时空卷积图网络模型MASCGN。首先,采用多头注意力机制为路网中的交通传感器节点自动分配注意力权重,实现对不同邻居节点的权值自适应匹配,充分获取空间相关性;其次,采用带有门控和注意力机制的时空卷积网络充分提取时间序列相关性,并使用残差块结构实现时空卷积层之间的连接,使得模型更具有泛化能力;最后,分别提取周相关、日相关、邻近时间的序列数据,输入三个并行的时空组件以挖掘周、日、邻近三个时间窗口间的时间周期相关性,并通过全连接层获取最终的交通流量预测结果。利用高速公路交通数据集PEMSO4、PEMSO8进行了15 min、30 min、45 min和60 min的交通流量预测实验。实验结果表明MASCGN模型与现有基线模型相比,在未来短期和长期的交通流量预测任务上都具有更优的建模能力。     

基于时序图卷积的动态网络链路预测

动态网络链路预测广泛的应用前景,使得其逐渐成为网络科学研究的热点.动态网络链路演化过程中具有复杂的空间相关性和时间依赖性,导致其链路预测任务极具挑战.提出一个基于时序图卷积的动态网络链路预测模型(dynamic network link prediction based on sequential graph convolution, DNLP-SGC).针对网络快照序列不能有效反映动态网络连续性的问题,采用边缘触发机制对原始网络权重矩阵进行修正,弥补了离散快照表示动态网络存在时序信息丢失的不足.从网络演化过程出发,综合考虑节点间的特征相似性以及历史交互信息,采用时序图卷积提取动态网络中节点的特征,该方法融合了节点时空依赖关系.进一步,采用因果卷积网络捕获网络演化过程中潜在的全局时序特征,实现动态网络链路预测.在2个真实的网络数据集上的实验结果表明,DNLP-SGC在precision, recall, AUC指标上均优于对比的基线模型.     

基于多时空图卷积网络的交通流预测

交通流预测在交通管理和城市规划的应用中具有重要意义,然而现有的预测方法无法充分挖掘其潜在的复杂时空相关性,为进一步挖掘路网道路网络数据的时空特性以提高预测精度,提出一种多时空图卷积网络(multi-spatial-temporal graph convolutional network,MST-GCN)模型。首先,利用切比雪夫图卷积(ChebNet)结合门控循环单元(GRU)构建时空组件以深度挖掘节点的时空相关性;其次,分别提取周相关、日相关、邻近时间的序列数据,输入三个时空组件以深度挖掘不同时间窗口间的时间相关性;最后,将时空组件与编码器—解码器网络结构(encoder-decoder)融合组建MST-GCN模型。利用加利福尼亚州交通局(Caltrans)性能评估系统中高速公路数据集PEMS04和PEMS08进行实验,结果表明新模型的性能明显优于门控循环单元模型和最近提出的扩散卷积循环神经网络(DCRNN)、时间图卷积网络(T-GCN)、基于注意力机制的时空图卷积神经网络(ASTGCN)和时空同步图卷积网络(STSGCN)模型。     

多视角融合的时空动态图卷积网络城市交通流量预测

城市交通流量预测是构建绿色低碳、安全高效的智能交通系统的重要组成部分.时空图神经网络由于具有强大的时空数据表征能力,被广泛应用于城市交通流量预测.当前时空图神经网络在城市交通流量预测中仍存在以下两方面局限性:1)直接构建静态路网拓扑图对城市空间相关性进行表示,忽略了节点的动态交通模式,难以表达节点流量之间的时序相似性,无法捕获路网节点之间在时序上的动态关联.2)只考虑路网节点的局部空间相关性,忽略节点的全局空间相关性,无法建模交通路网中局部区域和全局空间之间的依赖关系.为打破上述局限性,本文提出了一种多视角融合的时空动态图卷积模型用于预测交通流量.首先,从静态空间拓扑和动态流量模式视角出发,构建路网空间结构图和动态流量关联图,并使用动态图卷积学习节点在两种视角下的特征,全面捕获城市路网中多元的空间相关性.其次,从局部视角和全局视角出发,计算路网的全局表示,将全局特征与局部特征融合,增强路网节点特征的表现力,发掘城市交通流量的整体结构特征.接下来,设计了局部卷积多头自注意力机制来获取交通数据的动态时间相关性,实现在多种时间窗口下的准确流量预测.最后,在四种真实交通数据上的实验结果证明了本文模型的有效性和准确性.     

基于周期图卷积与多头注意力GRU组合的交通流量预测模型

为了捕获交通流量数据中复杂的时空动态变化关系以及周期性变化的特征,同时避免道路突发情况引起的误差累计效应,提出一种基于周期图卷积(periodic graph convolution network, PGCN)与多头注意力门控循环单元(multi-head attention gated recurrent unit, MAGRU)组合的交通流量预测模型。首先,模型的时空数据融合模块利用交通流量的周期相似性构建周期图,同时将空间和时间编码信息添加至交通流量序列数据;然后在时空特征提取模块中,GCN子模块捕获周期特征图中的空间特征,MAGRU子模块捕获序列数据中的时间特征;最后通过门控融合机制将两者提取的时空特征进行融合。模型在两个真实的交通流量数据集上进行了实验。结果表明,该模型相较于多个最新基准模型,在MAE、RMSE、MAPE三个预测误差指标上平均降低了5.4%、22.8%、10.3%,R2精确度指标平均提高了11.6%。说明模型在预测精度方面有显著的改进,并能有效减少误差累积效应。     

基于门控循环图卷积网络的交通流预测

交通流预测在智能交通系统的建设中起着关键性的作用,然而现有预测方法无法准确地挖掘其潜在的时空相关性,而且大都采用全连接网络进行单步预测。为了进一步挖掘数据的时空特性以及提升长短期预测的精度,提出了一种门控循环图卷积网络（GR-GCN）模型。首先,利用频域上的图卷积结合门控循环单元（GRU）构建一个时空组件（STC）以同时捕获节点的时空相关性,充分地提取数据的时空特征;然后,利用该时空组件构成编码器单元,并将时间序列数据和路网结构数据输入其中;最后,使用门控循环单元作为解码器单元,并按照时间顺序将两者组成一个编码器—解码器（encoder-decoder）结构,依次解码出每个时刻的预测结果。在加利福尼亚交通局（Caltrans）性能评估系统中高速公路数据集PeMSD4和PeMSD8进行了实验。结果表明,所提模型GR-GCN在预测未来15 min、30 min、45 min和60 min的交通流量方面优于大多数现有基准模型,尤其是在长期预测方面。     

基于时空图卷积循环神经网络的交通流预测

针对交通流预测模型中路网空间结构刻画和交通流时空特性挖掘不充分的问题,构建一种新型的有向时空图,通过定义节点相对临近度来表征路网结构关系,通过学习邻域节点对预测节点的影响权重来表征节点间时空维度的作用关系,从而能更好表达交通流的时空特性.将时空图作为预测模型的输入,采用图卷积获取交通流数据空间依赖关系,采用门控循环神经...     

基于动态扩散卷积交互图神经网络的网络流量预测

现有的网络流量预测模型存在着泛化能力弱和预测准确率低等问题,为了解决此问题,提出了一种结合动态扩散卷积模块和卷积交互模块的预测模型。动态扩散卷积模块可以提取网络流量中复杂的空间特征和动态特性,而卷积交互模块则能捕获到流量中的时间特征,两者的有机结合可以有效预测网络中的流量。通过与其他网络流量预测模型在美国能源科学网（ESnet）流量数据上进行对比实验,验证了提出的动态扩散卷积交互图神经网络模型（DDCIGNN）的有效性。实验结果表明,DDCIGNN模型的均方根误差（RMSE）在最好的情况下优化了大约13.0％,说明该模型能够进行更有效的网络流量预测。     

基于组合模型的短时交通流预测方法

准确、实时的交通流预测对交通规划、交通管理和交通控制具有重要意义.然而,由于道路网络拓扑结构约束和交通流随时间动态变化的空时相关特性,交通流预测仍然具有挑战性.为了同时捕获交通流的空间和时间相关性,提出一种将图卷积网络(GCN)和门控循环单元(GRU)相结合的组合模型方法.利用GCU能够灵活处理图结构数据的优点来捕捉各个路段的空间特征,继而发挥GRU在处理时间序列方面的优势挖掘交通流的内在时间规律,空时融合后得到最终预测结果.利用美国交通研究数据实验室的高速公路交通数据对该模型进行仿真验证,结果表明,所提出的GCN-GRU组合模型方法具有更高的预测精度,预测结果优于自回归积分滑动平均(ARIMA)模型和GRU模型等基准预测方法.     

面向高速公路通行时间分布预测的时空混合密度神经网络

准确的通行时间分布预测可以全面地反映高速公路路网中各个路段在未来的通行状况,辅助实现高速公路中的路径规划,事故事件预警等精细化管理目标.为此,本文提出一种面向高速公路通行时间分布预测的时空混合密度神经网络.具体地,本文利用自适应图卷积通过数据驱动的方式提取路网中的空间特征,有效解决了基于预定义图难以捕获路网信息中完整空间相关性的问题.在时间维度上,不同时间的路网信息存在显著的相关性,因此,本文基于注意力机制自适应建模路网信息的时间相关性,并通过卷积层进一步聚合相邻时间步之间的信息.最后,基于自适应时空相关性建模得到的路段嵌入表示,通过混合密度网络建模通行时间的分布,以实现高速公路中各个路段的通行时间分布预测.     

基于时空依赖性和注意力机制的交通速度预测

交通流精准预测对保障公共安全和解决交通拥堵具有重要的意义,在城市交通规划、交通管理、交通控制等起着重要的作用.交通预测由于其受限制于城市路网并且随着时间动态变化,其中存在着空间依赖与时间依赖,是近些年来具有挑战性的课题之一.为了同时捕获到空间和时间上的依赖,提出了一个新的神经网络:基于注意力机制的时空图卷积网络(A-TGCN).TGCN网络模型用于捕获交通数据中的动态时空特性与相关性,采用注意力机制来增强每个A-TGCN层中关键节点的信息.通过在两组数据上的实验结果表明,A-TGCN在精度以及可解释性方面都有很好的表现.     

基于注意力的时空神经网络城市区域交通流量预测

可靠的交通流量预测在交通管理和公共安全方面具有重要意义.然而,这也是一件具有挑战性的任务,因为它易受到空间依赖性、时间依赖性以及一些额外因素(天气和突发事件等)的影响.现有的大部分工作只考虑了交通数据的部分属性,导致建模不充分,预测性能不理想.因此,提出了一种新的端到端的深度学习模型——时空注意力卷积长短期记忆网络(ST-AttConvLSTM),用于交通流量的预测.ST-AttConvLSTM将整个模型分为三个分支进行建模,每个分支经过残差神经网络提取局部的空间特征,同时进一步结合天气等外部因素,再利用卷积长短时记忆网络(ConvLSTM)和注意力模型两种组件来挖掘流量的潜在规律,捕获时空维度上数据的关联性.使用北京市和纽约市两个真实的移动数据集来评估提出的方法,实验结果表明,该方法比知名的基准方法有更高的预测精度.     

日交通流预测的编码器-解码器深度学习模型研究

精准的日交通流预测是智能交通领域的重要研究内容之一。目前已有的日交通流预测模型大多在短期预测模型的基础上通过多步预测或者多目标预测的方式改进而来。这两种改进方案中,前者对误差的传播更为敏感,而后者则忽视了预测结果的时序关系,导致预测模型精度偏低。提出了一种用于日交通流预测的编码器-解码器深度学习模型,首先将长短时记忆网络（long short-term memory,LSTM）作为编码器-解码器模型的基本单元以提高模型捕捉长期依赖关系的能力,其次引入注意力机制调节编码向量的权重以进一步提高模型的预测精度。新的模型是一种典型的序列到序列预测模型,与传统的序列到点的模型相比更加契合日交通流预测的需求。为验证模型的有效性,取美国5号州际公路西雅图段的实际交通流数据进行实验,实验结果表明,提出的预测模型在平均车流密度大于40?辆/km的时间段中,其预测结果的平均绝对百分比误差（mean absolute percentage error,MAPE）与LSTM、门控循环单元（gated recurrent unit,GRU）、反向传播（back propagation,BP）神经网络、卷积神经网络（convolutional neural network,CNN）、图卷积网络（graph convolution network,GCN）传统预测模型相比,分别减小了19%、20%、25%、16%、25%。     

STGSA: A Novel Spatial-Temporal Graph Synchronous Aggregation Model for Traffic Prediction

The success of intelligent transportation systems relies heavily on accurate traffic prediction, in which how to model the underlying spatial-temporal information from traffic data has come under the spotlight. Most existing frameworks typically utilize separate modules for spatial and temporal correlations modeling. However, this stepwise pattern may limit the effectiveness and efficiency in spatial-temporal feature extraction and cause the overlook of important information in some steps. Furthermore, it is lacking sufficient guidance from prior information while modeling based on a given spatial adjacency graph (e.g., deriving from the geodesic distance or approximate connectivity), and may not reflect the actual interaction between nodes. To overcome those limitations, our paper proposes a spatial-temporal graph synchronous aggregation (STGSA) model to extract the localized and long-term spatial-temporal dependencies simultaneously. Specifically, a tailored graph aggregation method in the vertex domain is designed to extract spatial and temporal features in one graph convolution process. In each STGSA block, we devise a directed temporal correlation graph to represent the localized and long-term dependencies between nodes, and the potential temporal dependence is further fine-tuned by an adaptive weighting operation. Meanwhile, we construct an elaborated spatial adjacency matrix to represent the road sensor graph by considering both physical distance and node similarity in a data-driven manner. Then, inspired by the multi-head attention mechanism which can jointly emphasize information from different representation subspaces, we construct a multi-stream module based on the STGSA blocks to capture global information. It projects the embedding input repeatedly with multiple different channels. Finally, the predicted values are generated by stacking several multi-stream modules. Extensive experiments are constructed on six real-world datasets, and numerical results show that the proposed STGSA model significantly outperforms the benchmarks.