基于图注意力机制的交通流预测模型

针对现有交通流预测模型在预测精度上的不足,提出一种基于注意力机制的图模型。首先,利用多头注意力机制在交通图中编码高阶邻域结构,提取交通网络中的高阶空间特征。然后,嵌入长距离时间结构注意力机制提取长期性的历史周期信息。模型采用注意力机制替代传统的局部卷积核结构,可以有效提取长距离时空依赖关系。在METR-LA(洛杉矶路网)、PeMS-BAY(加州湾区路网)、PeMS-S(加州小型路网)三个真实的交通数据集上进行实验证明,模型在预测未来60 min的交通流精度上较传统深度学习方法,RMSE(均方根误差)平均降低3.1%、3.9%和1.8%,表明所提模型的长时间预测能力优势明显。     

基于双重注意力机制和GRU网络的短期负荷预测模型

电力负荷预测对电力系统的部署、规划和运行影响重大,但目前各输入特征对电网负荷情况影响的程度不稳定,且递归神经网络捕获负荷数据的长期记忆能力差,导致预测精度下降。提出一种基于双重注意力机制和GRU网络的预测新模型,利用特征注意力机制自主分析历史信息与输入特征间的关联关系,提取重要特征,并通过时序注意力机制自主选取GRU网络中关键时间点的历史信息,提升较长时间段预测效果的稳定性。在3个公开数据集上的实验结果表明,该模型在预测精度指标上表现良好,对比SVR、KPCA-ELM、DBN、GRU、Attention-GRU、CNN-LSTM、Attention-CNN-GRU模型预测精度分别提高了2.47、1.14、1.93、1.37、1.04、0.74、0.41个百分点。     

基于图注意力时空神经网络的在线内容流行度预测

现有在线内容流行度预测方法忽略对传播级联演化过程中的结构和时序特征的捕获.针对此问题,文中提出基于图注意力时空神经网络的在线内容流行度预测模型.利用图注意力机制学习在线内容的级联结构表示,利用时序卷积网络捕获传播级联的时序特征,通过全卷积层映射在线内容的流行度.在新浪微博和美国物理学会引文两个不同场景的数据集上的实验表明,文中方法的流行度预测性能较优.     

基于工况知识引导注意力时间卷积网络的烧结终点预测

烧结终点位置的实时准确预测对于优化烧结工艺具有重要的意义.针对烧结过程中强非线性和动态时变性造成烧结终点高精度预测难的问题,本文提出了一种基于工况知识引导注意力时间卷积网络(AM–TCN)模型.首先,构建堆叠的时间卷积模块用于充分提取烧结过程数据中深层次的非线性特征;其次,将历史工况知识引入注意力机制,引导模型在保留过程数据时序特征的同时区分不同特征的重要性;最后,构建预测模型用于烧结终点位置在线预测.工业数据实验表明,所提AM–TCN模型具有较好的烧结终点预测精度,对提升烧结过程热状态稳定性具有重要意义.     

基于注意力的时空神经网络城市区域交通流量预测

可靠的交通流量预测在交通管理和公共安全方面具有重要意义.然而,这也是一件具有挑战性的任务,因为它易受到空间依赖性、时间依赖性以及一些额外因素(天气和突发事件等)的影响.现有的大部分工作只考虑了交通数据的部分属性,导致建模不充分,预测性能不理想.因此,提出了一种新的端到端的深度学习模型——时空注意力卷积长短期记忆网络(ST-AttConvLSTM),用于交通流量的预测.ST-AttConvLSTM将整个模型分为三个分支进行建模,每个分支经过残差神经网络提取局部的空间特征,同时进一步结合天气等外部因素,再利用卷积长短时记忆网络(ConvLSTM)和注意力模型两种组件来挖掘流量的潜在规律,捕获时空维度上数据的关联性.使用北京市和纽约市两个真实的移动数据集来评估提出的方法,实验结果表明,该方法比知名的基准方法有更高的预测精度.     

基于周期图卷积与多头注意力GRU组合的交通流量预测模型

为了捕获交通流量数据中复杂的时空动态变化关系以及周期性变化的特征,同时避免道路突发情况引起的误差累计效应,提出一种基于周期图卷积(periodic graph convolution network, PGCN)与多头注意力门控循环单元(multi-head attention gated recurrent unit, MAGRU)组合的交通流量预测模型。首先,模型的时空数据融合模块利用交通流量的周期相似性构建周期图,同时将空间和时间编码信息添加至交通流量序列数据;然后在时空特征提取模块中,GCN子模块捕获周期特征图中的空间特征,MAGRU子模块捕获序列数据中的时间特征;最后通过门控融合机制将两者提取的时空特征进行融合。模型在两个真实的交通流量数据集上进行了实验。结果表明,该模型相较于多个最新基准模型,在MAE、RMSE、MAPE三个预测误差指标上平均降低了5.4%、22.8%、10.3%,R2精确度指标平均提高了11.6%。说明模型在预测精度方面有显著的改进,并能有效减少误差累积效应。     

基于多通道时空编码器的交通流量预测模型

传统的交通流量预测模型对历史数据进行时空建模,忽略了交通数据的时间周期性内部潜在关系和交通路网间节点的距离特征和相似性空间特征。据此,提出面向交通流量预测的多通道时空编码器模型MC-STGNN,用来提高交通流量预测的准确率。首先将交通数据处理成三通道的周期性时间序列,并对整体的序列数据进行时间位置编码和自适应的空间位置编码,提取路网节点间的动态相关性;其次引入具有卷积结构的多头自我注意力机制,更大程度地捕获周期数据不同程度的时间相关性;最后提出一种图生成器生成新的时空图,提取路网节点间的相似性和距离特征,并利用门控图卷积网络整合原始图和新时空图的空间信息。在高速公路数据集PEMS03和PEMS08上进行一小时的交通流量综合预测实验,结果表明,MC-STGNN模型与其他的基线模型相比,具有更佳的性能指标,说明MC-STGNN模型具有更优的建模能力。     

基于双重注意力机制改进的DA-LSTM时间序列预测模型

为了提高时间序列预测的精确度和收敛速度,提出一种基于双重注意力机制改进的DA-LSTM时序预测模型。通过引入注意力机制重构LSTMcell结构,减少模型参数提高收敛速度;自注意力层对各时间步的输出计算自注意力权重,充分利用细胞记忆信息,提高预测精度。在Beijing PM_2.5和SML2010数据集上,所提出的模型相较于LSTM在均方根误差(RMSE)上分别降低4%和25.4%,相比其他基准方法也有明显提升。     

基于网格划分的城市短时交通流量时空预测模型

准确的交通流量预测在帮助交通管理部门采取有效的交通控制和诱导手段以及帮助出行者合理规划路线等方面具有重要意义。针对传统深度学习模型对交通数据时空特性考虑不足的问题,在卷积神经网络（CNN）和长短时记忆（LSTM）单元的理论框架下,结合城市交通流量的时空特性,建立了一种基于注意力机制的CNN-LSTM预测模型——STCAL。首先,采用细粒度的网格划分方法来构建交通流量的时空矩阵;其次,利用CNN模型作为空间组件来提取城市交通流量不同时期下的空间特性;最后,利用基于注意力机制的LSTM模型作为动态时间组件来捕获交通流量的时序特征和趋势变动性,并实现交通流量的预测。实验结果表明,STCAL模型与循环门单元（GRU）和时空残差网络（ST-ResNet）相比,均方根误差（RMSE）指标分别减小了17.15%和7.37%,均绝对误差（MAE）指标分别减小了22.75%和9.14%,决定系数（R²）指标分别提升了11.27%和2.37%。同时,发现该模型在规律性较高的工作日的预测效果好于周末,且对工作日早高峰的预测效果最好,可见该模型可为短时城市区域交通流量变化监测提供依据。     

基于多时间尺度时空图网络的交通流量预测模型

交通流预测在智能交通系统的建设中起着关键作用。但由于其复杂的时空依赖性和本身的不确定性使得研究变得极具挑战性。现有的一些方法主要是将单一的时间序列输入到循环神经网络以捕获时间依赖性,而且多数模型仅对时间模块和空间模块进行简单的堆叠,导致不能有效地融合时间和空间特征。为了解决以上问题,文中提出了一个多时间尺度时空图网络模型。模型先将序列数据划分为3种时间尺度序列,然后将序列输入到时空块(ST-Block)中提取数据的时空依赖性,最后进行预测。在时空块中使用图卷积网络和变体Transformer分别捕获数据中的时间和空间依赖性,并通过门控融合机制将两者提取到的特征进行融合。在两个真实的数据集上分别进行了短期和长期的预测实验,结果表明了MTSTGNN模型在交通流预测任务上的优秀性能。     

融合超图注意力机制与图卷积网络的信息扩散预测

针对传统的信息预测缺乏对用户全局性依赖挖掘进行研究,提出了一种融合超图注意力机制与图卷积网络的信息扩散预测模型(HGACN)。首先构建用户社交关系子图,采样获得子级联序列,输入图卷积神经网络学习用户社交关系结构特征;其次,综合考虑用户间和级联间的全局依赖,采用超图注意机制(HGAT)学习用户不同时间间隔的交互特征;最后,将学习到的用户表示捕获到嵌入模块,利用门控机制将其融合获得更具表现力的用户表示,利用带掩码的多头注意力机制进行信息预测。在Twitter等五个数据集上的实验结果表明,提出的HGACN模型在hits@N提高了4.4%,map@N提高了2.2%,都显著优于已有的MS-HGAT等扩散预测模型,证明HGACN模型是合理、有效的。这对谣言监测以及恶意账户的检测有非常重大的意义。     

基于时序模体注意力图卷积的动态网络链路预测算法

时序网络中的动态链路预测旨在基于历史连边信息预测未来会产生的连边,是网络分析的重要组成部分,具有极大的理论研究价值和广阔的应用场景.针对现有的动态链路预测算法大多基于一阶连边关系预测未来连边,忽略了对高阶的拓扑信息和时序通联信息的挖掘和利用问题,提出一种基于时序模体注意力图卷积的动态链路预测算法.首先,提出一种时序模体邻接矩阵构建算法,利用时序模体抽取节点间的高阶拓扑和时序关系信息;然后利用隐式调节过程对网络演化过程进行建模,并使用时序模体邻接矩阵作为传输矩阵的图卷积神经网络学习节点的低维向量表示并进行迭代更新;最后以节点间表示向量作为输入,通过计算连边发生的条件密度函数值作为依据完成动态链路预测.在多个真实时序网络数据集上的实验结果表明,所提算法可有效挖掘节点间的高阶拓扑和时序信息,提高动态链路预测效果.     

基于门控循环图卷积网络的交通流预测

交通流预测在智能交通系统的建设中起着关键性的作用,然而现有预测方法无法准确地挖掘其潜在的时空相关性,而且大都采用全连接网络进行单步预测。为了进一步挖掘数据的时空特性以及提升长短期预测的精度,提出了一种门控循环图卷积网络（GR-GCN）模型。首先,利用频域上的图卷积结合门控循环单元（GRU）构建一个时空组件（STC）以同时捕获节点的时空相关性,充分地提取数据的时空特征;然后,利用该时空组件构成编码器单元,并将时间序列数据和路网结构数据输入其中;最后,使用门控循环单元作为解码器单元,并按照时间顺序将两者组成一个编码器—解码器（encoder-decoder）结构,依次解码出每个时刻的预测结果。在加利福尼亚交通局（Caltrans）性能评估系统中高速公路数据集PeMSD4和PeMSD8进行了实验。结果表明,所提模型GR-GCN在预测未来15 min、30 min、45 min和60 min的交通流量方面优于大多数现有基准模型,尤其是在长期预测方面。     

基于多时空图卷积网络的交通流预测

交通流预测在交通管理和城市规划的应用中具有重要意义,然而现有的预测方法无法充分挖掘其潜在的复杂时空相关性,为进一步挖掘路网道路网络数据的时空特性以提高预测精度,提出一种多时空图卷积网络(multi-spatial-temporal graph convolutional network,MST-GCN)模型。首先,利用切比雪夫图卷积(ChebNet)结合门控循环单元(GRU)构建时空组件以深度挖掘节点的时空相关性;其次,分别提取周相关、日相关、邻近时间的序列数据,输入三个时空组件以深度挖掘不同时间窗口间的时间相关性;最后,将时空组件与编码器—解码器网络结构(encoder-decoder)融合组建MST-GCN模型。利用加利福尼亚州交通局(Caltrans)性能评估系统中高速公路数据集PEMS04和PEMS08进行实验,结果表明新模型的性能明显优于门控循环单元模型和最近提出的扩散卷积循环神经网络(DCRNN)、时间图卷积网络(T-GCN)、基于注意力机制的时空图卷积神经网络(ASTGCN)和时空同步图卷积网络(STSGCN)模型。     

结合谓词感知与图注意力机制的链接预测方法

知识图谱补全旨在预测三元组中缺失的部分使知识图谱趋于完整.针对基于神经网络等模型的链接预测方法忽略了实体间的关联信息,导致模型不能覆盖三元组周围局部邻域中固有的隐藏信息,提出图注意力机制与谓词感知结合的方法.首先,利用图注意力机制定义了一个关系嵌入矩阵,描述任意给定实体邻域内实体间的关系;其次,引入谓词增强实体间语义理解程度,构造了基于谓词嵌入向量的注意力值计算公式,以便有效地度量实体间语义联系的强度;此外,利用实体邻居间的边关系预测多跳实体间的直接关系以补全知识图谱.在数据集WN18RR、Kinship、FB15K的实验结果表明了该方法能有效提高三元组的预测精度.     

基于图卷积网络的交通路口流量预测模型

交通流量预测是建设智慧城市中一项重要性高且挑战性大的任务。准确预测需要考虑如节假日、相似节点和天气等多种影响因素组成的时空特征。为了准确捕获到路网路口的时空特征,提出了一种基于图卷积神经网络、时序算法Prophet和Pearson相关系数的预测模型,以实现考虑空间结构、相似节点、节假日及其他影响因素对路口流量的准确预测。首先,为降低相似节点影响引入Pearson相关系数,改进时序算法,实现时间特征的捕捉;然后,采用图卷积神经网络实现空间特征的捕捉;最后,通过线性回归确定图卷积网络和时序算法的融合权重,得到时空融合预测的结果。最终基于成都市出租车轨迹数据分析提取出路口流量数据,并进行了流量预测实验。结果表明,提出的模型准确性优于大多现有的基线方法,与T-GCN、ASTGCN、AGCRN模型相比,MAE分别降低了1.623、0.724、0.161,精度分别提高了0.144、0.068、0.021,验证了该模型在交通路口流量预测中的有效性。     

基于多通道Transformer的交通量预测方法

目前,我国高速公路拥堵程度居高不下,而交通流预测作为实现智能交通系统的重要一环,若能对其实现高精度的预测,那么将能够高效地管理交通,从而缓解拥堵。针对该问题,提出了一种考虑时空关联的多通道交通流预测方法（MCST-Transformer）。首先,将Transformer结构用于不同数据的内在规律提取,然后引入空间关联模块对不同数据间的关联特征进行挖掘,最后,借助通道注意力整合优化全局信息。采用广东省高速公路数据,实现了两小时内92个收费站的高精度流量预测。结果表明：MCST-Transformer优于传统机器学习方法以及部分基于注意力机制的时间序列模型,在120 min预测跨度下,相比贝叶斯回归,MAPE降低了5.1%;对比Seq2Seq-Att以及Seq2Seq这些深度学习算法,所提方法的总体MAPE也能降低0.5%,说明通过多通道的方式能够区分不同数据的特性,进而更好地预测。