基于网格划分的城市短时交通流量时空预测模型

准确的交通流量预测在帮助交通管理部门采取有效的交通控制和诱导手段以及帮助出行者合理规划路线等方面具有重要意义。针对传统深度学习模型对交通数据时空特性考虑不足的问题,在卷积神经网络（CNN）和长短时记忆（LSTM）单元的理论框架下,结合城市交通流量的时空特性,建立了一种基于注意力机制的CNN-LSTM预测模型——STCAL。首先,采用细粒度的网格划分方法来构建交通流量的时空矩阵;其次,利用CNN模型作为空间组件来提取城市交通流量不同时期下的空间特性;最后,利用基于注意力机制的LSTM模型作为动态时间组件来捕获交通流量的时序特征和趋势变动性,并实现交通流量的预测。实验结果表明,STCAL模型与循环门单元（GRU）和时空残差网络（ST-ResNet）相比,均方根误差（RMSE）指标分别减小了17.15%和7.37%,均绝对误差（MAE）指标分别减小了22.75%和9.14%,决定系数（R²）指标分别提升了11.27%和2.37%。同时,发现该模型在规律性较高的工作日的预测效果好于周末,且对工作日早高峰的预测效果最好,可见该模型可为短时城市区域交通流量变化监测提供依据。     

基于深度学习的交通流量预测研究

交通流量序列具有不平稳性、周期性、易受节假日等因素影响的特点，因此交通流量预测是一项困难的任务。针对交通流量序列的预测问题，设计了一种基于深度学习的交通流量预测模型。模型融合了卷积神经网络和长短时记忆神经网络两种网络结构，卷积神经网络用于提取特征分量，长短时记忆神经网络综合提取出来的特征分量做序列预测。通过在贵州省高速公路车流量数据集上的验证，模型比传统的预测方法具有更高的精确度和实时性，在不同数据集上的泛化性能良好。     

基于PSO优化Bi-LSTM的交通流量预测

针对城市交通流量强随机性的问题,为克服非线性和时变特点的影响,提出了基于粒子群（PSO）优化双向长短时记忆网络（Bi-LSTM）的交通流量预测模型,达到城市交通流量高精度预测效果。首先,建立基于Bi-LSTM的交通流量短期预测模型;其次,采用粒子群PSO算法对Bi-LSTM模型的超参数进行寻优,提升预测模型的泛化性。通过对比实验分析,验证了该交通流量预测模型具有更优的性能。     

基于注意力机制的TCN-BiLSTM船舶轨迹预测

针对现有船舶轨迹预测模型预测准确度低的问题,提出一种基于注意力机制的时域卷积网络和双向长短时记忆网络（TCN-ABiLSTM）的船舶轨迹预测模型。首先搭建TCN网络提取船舶轨迹的序列特征,之后将注意力机制引入网络调整不同属性特征的权值,凸出对轨迹预测影响更大的特征,最后搭建Bi-LSTM网络学习轨迹序列的前后状况来提取序列中更多的信息,实现对船舶未来轨迹的预测;通过实际船舶AIS数据对网络进行训练与测试实验,实验结果表明,TCN-ABiLSTM模型相比LSTM、Bi-LSTM、TCN、BiLSTM-Attention、TCN-Attention模型船舶轨迹预测精度更高,拟合程度更好,验证了所设计的TCN-ABiLSTM模型在船舶轨迹预测方面的的有效性和实用性。     

基于双向循环神经网络的金融数据预测研究

近年来,越来越多的人加入到股票投资的队伍当中,金融学家和社会学家也将股票市场的发展作为衡量一个国家或者地区发展水平的一项重要标准.对于股民来讲,若可以准确预测股价变化,就可以及时采取措施达到较高的收益.为此,建立一种基于CBAM注意力机制的神经网络模型实现对未来股票价格的预测.通过与建立的其他模型预测结果对比发现,基于...     

基于图注意力网络的短时交通流量预测

交通流量预测是时间序列分析中的一个重要问题,由于道路网络中存在复杂的动态时空依赖性,实现高精度交通流量预测具有挑战性。为了准确捕捉交通流量的时空动态特性,提出了一种时空注意力模型STBiPGAT。该模型将邻接矩阵和利用节点交通流提取的相关系数矩阵,分别与交通流量特征矩阵送入图注意力网络中,以并行方式提取空间局部动态特征与空间隐藏关系,且进行特征融合。考虑到节点空间特征向量在时间维度的上下文信息和周期性特性,构造双向GRU组件以提取交通流量的前后时间特征。引入自注意力机制解决不同时刻输入特征影响的差异,通过全连接层生成预测结果。在两个真实交通数据集上的实验评估结果表明,STBiPGAT预测误差低于对比模型预测误差,显著提升了预测精度,证明了其有效性。     

基于卷积注意力长短时记忆网络的轴承寿命预测方法EI北大核心CSCD

传统的滚动轴承寿命预测方法缺乏明确的学习机制,无法有效识别不同时序特征之间的差异并突出重要特征,影响其预测精度.为克服上述缺点,本文提出了一种基于卷积注意力长短时记忆网络(CAN-LSTM)的剩余使用寿命预测模型.该模型主要由两部分组成:前端为卷积注意力网络(CAN),学习通道和时间维度中的深层故障特征,提高特征的表征能力;后端为改进LSTM网络,基于退化特征对轴承进行寿命预测.归一化健康指标至[0,1]区间内,得到相同的失效阈值;使用五点平滑法对预测结果进行处理,实现预测结果的输出;利用留一法对轴承全寿命试验数据进行验证,测试模型的准确性和适应性.试验结果表明:所提模型的平均均方根误差和平均绝对值误差比仅用CNN模型预测值低54.12%和59.05%,比仅用LSTM模型预测值低39.06%和43.42%,比卷积长短时记忆网络(CNN-LSTM)低20.41%和25.86%.     

基于注意力机制的混合神经网络关系分类方法

关系分类是自然语言处理领域的一项重要语义处理任务。传统的关系分类方法通过人工设计各类特征以及各类核函数来对句子内部2个实体之间的关系进行判断。近年来,关系分类方法的主要工作集中于通过各类神经网络获取句子的语义特征表示来进行分类,以减少手动构造各类特征。在句子中,不同关键词对关系分类任务的贡献程度是不同的,然而重要的词义有可能出现在句子中的任意位置。为此,提出了一种基于注意力的混合神经网络关系分类模型来捕获重要的语义信息,用来进行关系分类,该方法是一种端到端的方法。实验结果表明了该方法的有效性。     

基于改进时空残差卷积神经网络的城市路网短时交通流预测

城市路网交通流预测受到历史交通流和相邻路口交通流的影响,具有复杂的时空关联性.针对传统时空残差模型缺乏对交通流数据进行相关性分析、捕获微小变化而容易忽略长期时间特征等问题,提出一种基于改进时空残差卷积神经网络(CNN)的城市路网短时交通流预测模型.该模型将原始交通流数据转化成交通栅格数据,利用皮尔逊相关系数(PCC)对...     

基于1D-CNN-LSTM注意力网络的抽油机井故障诊断

针对传统基于示功图的抽油机井故障诊断方法存在特征提取复杂、模型参数量大、诊断效率低的问题,提出一种基于1D-CNN-LSTM注意力网络的故障诊断方法。将示功图转化为载荷位移序列作为网络输入,使用一维卷积神经网络（1D-CNN）在提取序列局部特征的同时减小序列长度;考虑到序列的时序特性,进一步使用长短时记忆网络（LSTM）提取序列的时序特征;为突出关键特征影响,引入Attention机制,对故障类型相关的时序特征赋予更高的注意力权重;最后将加权特征输入全连接层,利用Softmax分类器实现故障诊断。实验结果表明,所提方法的平均准确率、精确率、召回率和F1值分别达到99.13%、99.35%、99.17%和99.25%,模型大小仅为98 kB。相比基于特征工程的方法具有更高的诊断精度和泛化能力,相比基于二维卷积神经网络（2D-CNN）模型的诊断方法,显著减少了模型参数量和训练时间,提高了故障诊断效率。     

基于深度学习的短时交通流预测

针对现有预测方法未能充分揭示交通流内部的本质规律,提出了一种基于深度学习的短时交通流预测方法。该方法结合深度信念网路模型（DBN）与支持向量回归分类器（SVR）作为预测模型,利用差分去除交通流数据的趋势向,用深度信念网络模型进行交通流特征学习,在网络顶层连接支持向量回归模型进行流量预测。实际交通流数据测试结果表明：文中提出的预测模型与传统预测模型相比,具有更高的预测精度,预测性能提高了18.01%,是一种有效的交通流预测方法。     

时空相关的短时交通流宽度学习预测模型

针对深度学习预测模型运算大的问题,在充分挖掘交通大数据的时空相关性的基础上,提出了一种基于K-最邻近（K-nearest neighbor,KNN）与宽度学习系统（broad learning system,BLS）相结合的短时交通流预测模型。利用KNN算法筛选与预测路段时空相关性高的K个路段,将选取路段的交通流数据作为BLS模型的输入分别进行预测,对选取不同路段的预测结果进行加权,以均方根误差（root mean square error,RMSE）为最小时对应K值的结果作为最终的预测值。美国加利福尼亚州交通局PeMs交通数据库实测的交通流量数据的测试结果表明,提出的模型相比于ARIMA、WNN、LSTM、KNN-LSTM模型均方根误差平均降低46.56%,运算效率明显提高,是一种有效的短时交通流预测方法。     

日交通流预测的编码器-解码器深度学习模型研究

精准的日交通流预测是智能交通领域的重要研究内容之一。目前已有的日交通流预测模型大多在短期预测模型的基础上通过多步预测或者多目标预测的方式改进而来。这两种改进方案中,前者对误差的传播更为敏感,而后者则忽视了预测结果的时序关系,导致预测模型精度偏低。提出了一种用于日交通流预测的编码器-解码器深度学习模型,首先将长短时记忆网络（long short-term memory,LSTM）作为编码器-解码器模型的基本单元以提高模型捕捉长期依赖关系的能力,其次引入注意力机制调节编码向量的权重以进一步提高模型的预测精度。新的模型是一种典型的序列到序列预测模型,与传统的序列到点的模型相比更加契合日交通流预测的需求。为验证模型的有效性,取美国5号州际公路西雅图段的实际交通流数据进行实验,实验结果表明,提出的预测模型在平均车流密度大于40辆/km的时间段中,其预测结果的平均绝对百分比误差（mean absolute percentage error,MAPE）与LSTM、门控循环单元（gated recurrent unit,GRU）、反向传播（back propagation,BP）神经网络、卷积神经网络...     

基于CNN-XGBoost混合模型的短时交通流预测

准确、高效的交通流预测是实现交通诱导和交通控制的前提和关键。针对传统机器学习方法需要人工构造特征、无法充分提取交通流的时空特征等问题,提出一种混合预测模型,该模型结合卷积神经网络（Convolutional Neural Network,CNN）和XGBoost（Extreme Gradient Boosting）各自的优势,在网络底层使用CNN对交通流数据进行特征的自动提取和选择,并将得到的高维特征向量输入到XGBoost模型中进行预测。为验证模型有效性,取高速路段的交通流数据对CNN模型、XGBoost模型和CNN-XGBoost模型进行实验对比,结果表明,在预测精度上,CNN-XGBoost模型比CNN模型和XGBoost模型分别提高了约6%和7%,是一种有效的短时交通流预测模型。     

基于Halo注意力机制的双阶段临近降水预报网络

先前基于深度学习进行临近降水预报的方法试图在统一架构中建模雷达回波的时空演变,然而,这些方法可能难以完全捕捉到这种复杂的时空关系.本文提出了一种基于Halo注意力机制的双阶段临近降水预报网络,该网络将降水预测的时空演变过程分为运动趋势预测和空间外观重建两个阶段.首先,可学习光流模块对雷达回波的运动趋势进行建模并生成粗略的预测结果.其次,特征重建模块对历史雷达回波序列的空间外观变化建模并对粗粒度预测结果的空间外观进行特征细化重建,生成精细的雷达回波图.通过在CIKM数据集上的实验表明,本文所提出的方法与主流方法相比,平均的海德克技能得分和关键成功指数分别提高了4.60%和3.63%,达到了0.48和0.45;结构相似性提高了4.84%,达0.52;均方误差降低了6.13%,达70.23.     

一种基于序列到序列时空注意力学习的交通流预测模型

城市交通流预测是研究交通时空序列数据的动态演化并预测未来交通情况的关键技术,对于智能交通预警及管理决策来讲至关重要.但是有效的交通流建模非常具有挑战性,因为它受到很多复杂因素的影响,例如交通网络的时空依赖性和序列突变性等问题.一些研究工作将卷积神经网络(convolutional neural networks, CNN)或循环神经网络(recurrent neural networks, RNN)用于交通流量预测建模.但是,直接使用经典的深度学习模型难以有效捕获与交通流相关的多通道多变量序列数据中的隐含时空依赖性特征.针对上述问题,提出了一种新的序列到序列时空注意力深度学习框架(spatial-temporal attention traffic forecasting, STATF)来处理城市交通流建模任务,它是一种基于卷积LSTM编码层和LSTM解码层,并辅助注意力机制的端到端深度学习模型,可以自适应地学习与城市交通流相关的多通道多变量时空序列数据中的时空依赖性和非线性相关性特征.基于3个真实的交通流数据集实验结果表明：不管是单步预测还是多步预测条件下,STATF模型都具有更优的预测性能.     

面向季节性时空数据的预测式循环网络及其在城市计算中的应用

实际生活中有很多带有季节特征的时空数据,在城市计算领域分布尤广,例如交通流量数据便具有较为明显的以天或周为周期的统计学特征.如何有效利用这种季节特征,如何捕捉历史观测与待预测数据之间的相关性,成为了预测此类时空数据未来变化趋势的关键.传统时序建模方法将时序数据分解为多个信号分量,并使用线性模型来进行预测.此类方法具有较强的理论基础,但对于数据的平稳性要求过于严格,难以预测趋势信息复杂的数据,更不适用于高维的时空数据.然而在真实场景下,季节性时空数据的周期长短可变,且不同周期的对应关系往往并不固定,存在时间、空间上的模式变化与偏移,很难作为理想的周期信号以传统时序方法建模.相比之下,深度神经网络建模能力更强,可拟合更为复杂的数据.近几年有许多工作研究了如何利用卷积神经网络和循环神经网络来处理时空数据,也有一些工作讨论了如何有效利用周期性信息提升预测的准确性.但深度神经网络受困于梯度消失和误差累积,难以捕捉时序数据中的长时间依赖,且少有方法讨论如何在深度神经网络中有效建模上述具有弹性周期对应关系的时空信号.本文针对真实场景下季节性时空数据的上述问题,给出具有弹性周期对应关系的时空数据预测问题的形式化定义,并提出了一种新的季节性时空数据预测模型.该模型包含季节网络、趋势网络、时空注意力模块三个部分,可捕捉短期数据中的临近变化趋势和长期数据中隐含的季节性趋势,并广泛考虑历史周期中的每个时空元素对未来预测值的影响.为了解决深度循环网络难以捕捉时序数据中的长时间依赖的问题,本文提出一种新的循环卷积记忆单元,该单元将上述模块融合于一个可端到端训练的神经网络中,一方面实现了时间和空间信息统一建模,另一方面实现了短期趋势特征与历史周期特征的统一建模.进一步地,为了解决季节性数据中的各周期时空元素对应关系不固定的问题,本文探讨了多种基于注意力模块的时空数据融合方式,创新性地提出一种级联式的时空注意力模块,并将其嵌入于上述循环卷积记忆单元内.该模块建模记忆单元的隐藏状态在不同周期内的弹性时空对应关系,自适应地选取相关度高的季节性特征辅助预测.实验部分,我们选取了两个时空数据预测在城市计算中最为典型的应用:交通流量预测和气象数据预报.本文所提出的时空周期性循环神经网络在北京、纽约的交通流量数据集、美国气象数据集上均取得了目前最高的预测准确性.     

基于双向注意力语境关联建模的论辩关系预测

在线讨论是当下公众表达意见和交流互动的主要方式之一. 参与者不仅发布评论来表述自己的观点, 还会回复已有的表述进行应答, 支持或反驳他人的观点. 识别表述-应答交互文本的论辩关系可以建模公众对话结构, 挖掘群体意见, 进而为企业产品营销、政府舆情监测等提供辅助. 现有的工作大多通过神经网络对交互文本的条件语义信息或者整...