融合多源数据输入具有自注意力机制的LSTM股票价格预测

股票价格预测是金融和计算机学科交叉领域的经典问题,由于股票市场的复杂性和高波动性等特征,及时预测股票价格被认为是最具挑战性的问题之一.长短期记忆(LSTM)神经网络在时间序列预测问题中表现出良好的性能.然而,该模型及其改进模型专注于顺序捕获序列信息,在学习输入数据之间非序列性的内部关联方面没有优势.此外,模型在输入数据的融合方面往往并不全面.针对上述问题,提出了融合多源数据、具有自注意力机制的长短期记忆神经网络(SA-LSTM)股票价格预测模型.SA-LSTM模型具有自注意力单元,在学习序列特征时能够快速捕获长距离依赖关系,有效学习数据之间的相关性.在多源数据的融合方面,同时融合与目标股票直接间接相关的数据,解决输入数据不全面的问题.通过对股票次日收盘价预测的实验表明,与其他基准预测模型相比,该模型取得了最佳性能,在不同数据集上均具有最小预测误差.     

结合残差时空注意力机制的海面温度预测算法

海面温度(SST)与全球气候变化、海洋灾害、海洋生态系统密切相关,因此准确地预测 SST 是一个重要课题。现有区域型 SST 预测方法将 SST 时间序列处理为二维矩阵序列并作为模型输入,每个矩阵对应着特定时刻的区域 SST,通过提取时空特征来实现其预测,但未充分考虑不同时空特征在时间维度和空间维度上对 SST 影响的不均衡性,限制了预测精度地提高。为了解决该问题,提出了一种结合时间注意力机制和空间注意力机制的区域 SST 预测方法(CRA-ConvLSTM),使得模型动态关注不同时刻的时间特征和区域内不同点的空间特征,赋予不同的影响权重,进而提高 SST 预测精度。具体来说,首先将输入的区域 SST 时间序列通过卷积神经网络(CNN）编码为多层特征向量,提取局部特征;然后构建了残差时间注意力模块,自适应地学习不同时刻的注意力权重,提取时间维度上的关键特征,并设计了残差空间注意力模块,提取区域内不同点在空间维度上的关键特征,此外,将注意力机制结合残差结构避免了网络中信息量过少导致的性能下降问题;最后通过卷积长短时记忆神经网络(ConvLSTM)将特征向量映射为 SST 预测结果。实验结果显示,该模型的均方根误差(RMSE)和预测精度(PACC)分别达到了 0.19 和 99.43%,均优于其他方法,有效提高了 SST 的预测精度。     

基于时空注意力Bi-LSTM模型的短时交通流预测

针对目前交通流预测精度不高的问题,提出了一种时空注意力Bi-LSTM的短时交通流预测模型。结合交通流的时空特性,将交通流序列构成时空数据矩阵作为模型的输入,利用Bi-LSTM网络关联预测时刻前后的交通流数据,捕捉交通流数据在时间维度前后潜在的联系。引入注意力机制,解决不同时刻输入特征对预测时刻交通流影响存在差异的问题。实验结果表明,相较于对比模型,所提出预测方法的预测误差低于其他模型的预测误差,其有效地提升了预测精度,体现了新模型对于短时交通流预测的有效性。     

基于CNN和多注意力机制的XSS检测模型

为了解决普通深度学习模型存在的难以区分信息重要性差异,以及单一注意力机制存在的关注维度单一的问题,文中提出了一种基于卷积神经网络和多注意力机制的模型对XSS攻击进行检测。首先,将经过word2vec转换后的数据输入到卷积神经网络提取局部特征;然后,使用自注意力模块学习数据的长距离依赖关系,并加强模型对序列维度上重要特征的关注;接着,经过通道注意力模块从通道维度对不同的通道特征图加权;之后,将经注意力模块处理过的特征输入到池化层进行下采样处理,并使用Dropout层提高模型的泛化能力;最后,利用提取到的特征对样本进行分类。使用测试数据集对文中提出的模型进行实验,结果显示,该模型对XSS攻击的检测效果良好,准确率与F1值相比其他深度学习模型有一定程度提升。     

基于CNN-LSTM的QAR数据特征提取与预测

针对传统数据驱动的故障诊断方法难以从QAR数据中提取有效特征的问题,提出一种融合卷积神经网络（convolutional neural network,CNN）与长短时记忆网络（long short-term memory,LSTM）的双通道融合模型CNN-LSTM。CNN与LSTM分别作为两个通道,通过注意力机制（attention）融合,从而使模型能同时表达数据在空间维度和时间维度上的特征,并以时间序列预测的方式验证融合模型特征提取的有效性。实验结果表明,双通道融合模型与单一的CNN、LSTM相比,能够更有效地提取数据特征,模型单步预测与多步预测误差平均降低35.3%。为基于QAR数据的故障诊断提供一种新的研究思路。     

基于改进RNN和VAR的船舶设备故障预测方法

针对现有的多变量时间序列预测方法不能适用于船舶多设备故障预测的问题,提出一种基于改进的循环神经网络和向量自回归的船舶设备故障预测方法.该方法既能够学习多个变量之间的相互依赖关系和时间序列的长期依赖关系,又有助于减轻传统神经网络对预测时间序列的输入尺度不敏感性.首先,从船舶历史数据库中提取出正常状态数据和故障状态数据,将其多变量时间序列转化为监督学习问题的输入;然后,通过注意力机制捕获船舶多变量之间复杂的相关性;接着,将注意力机制的输出同时作为循环神经网络和向量自回归的输入,分别捕获船舶时间信号的非线性关系和线性关系;最后,将循环神经网络组件和向量自回归组件的输出进行处理后作为最终预测的结果.实验结果表明,提出的预测方法在船舶设备故障预测中训练过程的稳定性高,测试结果的均方根误差低于1.2,从而能更精确地预测船舶设备属性的趋势并避免故障的发生.     

基于注意力机制的CNN-GCN模型及其应用

现有多变量时间序列(multivariate time series,MTS)预测方法模型主要采用循环神经网络和注意力机制提取MTS的复杂时空特征,这些方法对MTS变量之间的空间依赖关系的捕获能力不足。图卷积网络对复杂数据的空间特征提取能力较强。为此提出一种融入图卷积网络、注意力机制和深度学习中的卷积神经网络的三通道网络框架模型,将该框架模型用于多变量时间序列预测任务。实验结果表明,该模型在国际汇率这一多变量时间序列数据集上的性能表现要优于目前较先进的几个基线模型。     

基于改进RNN和VAR的船舶设备故障预测方法

针对现有的多变量时间序列预测方法不能适用于船舶多设备故障预测的问题,提出一种基于改进的循环神经网络和向量自回归的船舶设备故障预测方法.该方法既能够学习多个变量之间的相互依赖关系和时间序列的长期依赖关系,又有助于减轻传统神经网络对预测时间序列的输入尺度不敏感性.首先,从船舶历史数据库中提取出正常状态数据和故障状态数据,将其多变量时间序列转化为监督学习问题的输入;然后,通过注意力机制捕获船舶多变量之间复杂的相关性;接着,将注意力机制的输出同时作为循环神经网络和向量自回归的输入,分别捕获船舶时间信号的非线性关系和线性关系;最后,将循环神经网络组件和向量自回归组件的输出进行处理后作为最终预测的结果.实验结果表明,提出的预测方法在船舶设备故障预测中训练过程的稳定性高,测试结果的均方根误差低于1.2,从而能更精确地预测船舶设备属性的趋势并避免故障的发生.     

RF-BiLSTM神经网络在海浪预测中的应用

由于风浪数据的随机性, 复杂性, 影响因素多, 多为时间序列的特点, 造成了传统预测模型预测难度大, 精确率低, 构建了基于随机森林的注意力机制与双向长短期记忆神经网络相结合的海浪预测模型. 该模型对输入进行优化, 可以使用过去和未来的数据信息进行预测, 提高了海浪波高的预测精度. 该模型利用随机森林对输入变量筛选优化, 降低网络复杂度, 然后将注意力机制与双向长短期记忆神经网络相结合建立预测模型, 并利用实际数据进行验证. 结果显示, 和BP, LSTM, BiLSTM模型比较, RF-BiLSTM模型的预测精度更高, 拟合程度更好, 在海浪数值的预测预报中有重要意义.     

Text-CRNN+attention架构下的多类别文本信息分类

迄今为止,传统机器学习方法依赖人工提取特征,复杂度高;深度学习网络本身特征表达能力强,但模型可解释性弱导致关键特征信息丢失。为此,以网络层次结合的方式设计了CRNN并引入attention机制,提出一种Text-CRNN+attention模型用于文本分类。首先利用CNN处理局部特征的位置不变性,提取高效局部特征信息;然后在RNN进行序列特征建模时引入attention机制对每一时刻输出序列信息进行自动加权,减少关键特征的丢失,最后完成时间和空间上的特征提取。实验结果表明,提出的模型较其他模型准确率提升了2%~3%;在提取文本特征时,该模型既保证了数据的局部相关性又起到强化序列特征的有效组合能力。     

基于时间图注意力的交通流量预测模型

交通状况预测是智能交通系统的一个重要组成部分,而车流量是交通状况最直接的体现,因而对交通流量进行预测具有重要的应用价值。一方面,城市中的道路本身带有空间拓扑性质,另一方面车流量随时间动态变化。因此交通流量预测问题的关键在于对数据中存在的时间和空间依赖进行建模。针对这一特性,使用神经网络模型和注意力机制来探索交通流量数据中的时空依赖关系,提出基于时间图注意力的交通流量预测模型。空间依赖方面,使用图卷积网络与注意力结合的学习算法对不同影响程度节点分配不同的权重,加入节点自适应学习,有效提取空间特征;时间依赖方面,使用时序卷积网络对时间特征进行提取,通过扩张卷积扩大感受域从而捕获较长时间序列数据的特征。由图注意力网络和时间卷积网络构成一个时空网络层,最终连接到输出层输出预测结果。该模型使用图卷积神经网络和注意力机制结合的方式提取空间特征,充分考虑了道路间的空间关系,利用时序卷积网络捕获时间特征。在两个真实的数据集上进行实验后发现,在未来15 min、30 min、60 min的时间段内该模型都有良好表现,结果优于现有基准模型。     

融合时域卷积、残差结构和注意力机制的时序预测

对于具有长、短期的时间关联性、非线性和非平稳性等特点的时序数据,传统时序预测模型对此类数据的预测效果不佳.为进一步提高时序预测模型的准确率和效率,考虑时域卷积提取时间特征的有效性,以及残差结构加快模型收敛的优越性,同时考虑注意力机制对参数的强化作用,提出了一种融合时域卷积、残差结构和注意力机制的时序预测模型(Attention Temporal Convolutional Neural Network,A-TCNN).首先,通过多层残差时域卷积层提取时序数据的长、短期特征;其次,通过注意力机制加强对输出影响较大的参数的权重;最后,通过一个全连接层得到输出结果.在实际医院流水的数据集上,与常规网络对比,比较多种多步预测策略.实验结果表明,该模型与常规模型相比具有更好的预测精度和效率.     

融合注意力机制和BSRU的工业互联网安全态势预测方法

安全态势预测对确保工业互联网平稳可靠运行至关重要.传统的预测模型在面对工业生产过程中产生的海量、高维和时间序列数据时,难以准确、高效地对网络安全态势进行预测,因此提出一种融合注意力机制和双向简单循环单元(BSRU,bi-directional simple recurrent unit)的工业互联网安全态势预测方法,以...     

面向语音谎言检测的智能机器学习特征融合算法研究

针对目前语音谎言检测识别效果差、特征提取不充分等问题,提出了一种基于注意力机制的欺骗语音识别网络。首先,将双向长短时记忆与帧级声学特征相结合,其中帧级声学特征的维数随语音长度的变化而变化,从而有效提取声学特征。其次,采用基于时间注意增强卷积双向长短时记忆模型作为分类算法,使分类器能够从输入中学习与任务相关的深层信息,提高识别性能。最后,采用跳跃连接机制将时间注意增强卷积双向长短时记忆模型的底层输出直接连接到全连接层,从而充分利用了学习到的特征,避免了消失梯度的问题。实验阶段,与LSTM以及其他基准模型进行对比,所提模型性能最优。仿真结果进一步验证了所提模型对语音谎言检测领域发展及提升识别率提供了一定借鉴作用。     

基于时空网络的地铁进出站客流量预测

客流量预测是城市智能交通系统的重要组成部分,对人们出行和交通管控有着重要的指导意义。针对地铁客流量数据具有时间维度和空间维度属性的特点,提出一种可以同时捕获数据时空特征的预测模型。该模型基于编码器解码器架构设计,其中解码器和编码器均由时空预测模块组成,在该模块中利用图卷积学习地铁站的空间拓朴结构、门控循环单元来捕获数据的时间特征。此外,模型将单位时间间隔内进站和出站客流量分别构成的两个时间序列,即进出站双时间序列作为输入,最终协同预测各站点的进站与出站人数。在上海地铁一卡通数据集上进行对比实验,实验结果表明,所提出的模型在进站与出站客流量预测上均取得了更好的效果,这表明考虑空间依赖能够有效地提高模型预测精度。     

基于自适应人体拓扑结构引导的步态识别

不同于基于外形的步态识别方法, 基于关键点的步态识别方法采取人体关键点作为模型的输入, 能够有效避免数据集带来的背景噪声干扰; 其次, 现有的基于关键点的步态识别方法忽略了人体结构先验知识的利用, 且更倾向于提取局部特征, 从而忽略了全局上的关联性. 本文提出了一个基于关键点的步态识别框架GaitBody, 能够从步态关键点序列中提取更有分辨性的特征. 首先, 我们设计了带有较大卷积核的多尺度卷积模块来提取多粒度的时序特征; 其次, 我们利用自注意力机制来提取空间特征, 并在此基础上引入了人体结构拓扑信息来进一步利用人体结构的先验知识; 最后, 为了更好使用时序信息, 我们生成最有代表性的时序特征, 并将其引入到自注意模块来融合时序和空间特征. 在CASIA-B和OUMVLP-Pose数据集上的实验结果表明, 我们的方法在基于关键点的步态识别方法上取得了最优结果, 消融实验也证明了各个模块的有效性.     

面向高速公路通行时间分布预测的时空混合密度神经网络

准确的通行时间分布预测可以全面地反映高速公路路网中各个路段在未来的通行状况,辅助实现高速公路中的路径规划,事故事件预警等精细化管理目标.为此,本文提出一种面向高速公路通行时间分布预测的时空混合密度神经网络.具体地,本文利用自适应图卷积通过数据驱动的方式提取路网中的空间特征,有效解决了基于预定义图难以捕获路网信息中完整空间相关性的问题.在时间维度上,不同时间的路网信息存在显著的相关性,因此,本文基于注意力机制自适应建模路网信息的时间相关性,并通过卷积层进一步聚合相邻时间步之间的信息.最后,基于自适应时空相关性建模得到的路段嵌入表示,通过混合密度网络建模通行时间的分布,以实现高速公路中各个路段的通行时间分布预测.     

多视角融合的时空动态图卷积网络城市交通流量预测

城市交通流量预测是构建绿色低碳、安全高效的智能交通系统的重要组成部分.时空图神经网络由于具有强大的时空数据表征能力,被广泛应用于城市交通流量预测.当前时空图神经网络在城市交通流量预测中仍存在以下两方面局限性:1)直接构建静态路网拓扑图对城市空间相关性进行表示,忽略了节点的动态交通模式,难以表达节点流量之间的时序相似性,无法捕获路网节点之间在时序上的动态关联.2)只考虑路网节点的局部空间相关性,忽略节点的全局空间相关性,无法建模交通路网中局部区域和全局空间之间的依赖关系.为打破上述局限性,本文提出了一种多视角融合的时空动态图卷积模型用于预测交通流量.首先,从静态空间拓扑和动态流量模式视角出发,构建路网空间结构图和动态流量关联图,并使用动态图卷积学习节点在两种视角下的特征,全面捕获城市路网中多元的空间相关性.其次,从局部视角和全局视角出发,计算路网的全局表示,将全局特征与局部特征融合,增强路网节点特征的表现力,发掘城市交通流量的整体结构特征.接下来,设计了局部卷积多头自注意力机制来获取交通数据的动态时间相关性,实现在多种时间窗口下的准确流量预测.最后,在四种真实交通数据上的实验结果证明了本文模型的有效性和准确性.     

多元时序的深度自编码器聚类算法

针对深度聚类算法对多变量时间序列数据（MTS）的特征提取能力不足等问题,提出一种新的深度聚类结构模型（MDTC）。为了提取MTS的关键特征并实现降维,提出一维卷积学习MTS的属性和时序维度的特征表示与循环神经网络等网络层组成的自编码器结构;为了提高模型对时序特征的表示能力,提出了MCBAM时序注意力模块,用于增强MTS序列中不同时间段的表示特征。在九个公开UEA多元时序数据集进行了实验,模型的自编码器结构相较其他自编码器在七个数据集上提升了2%~9%;模型的MCBAM模块相较其他注意力模块在六个数据集上提升了0.3%~2%。实验表明MDTC模型结构和MCBAM模块的有效性,同时模型对比其他聚类算法具有优异的表现。