基于注意力机制的CNN-LSTM模型及其应用

时序数据存在时序性，并且其短序列的特征存在重要程度差异性。针对时序数据特征，提出一种基于注意力机制的卷积神经网络（CNN）联合长短期记忆网络（LSTM）的神经网络预测模型，融合粗细粒度特征实现准确的时间序列预测。该模型由两部分构成：基于注意力机制的CNN，在标准CNN网络上增加注意力分支，以抽取重要细粒度特征；后端为LSTM，由细粒度特征抽取潜藏时序规律的粗粒度特征。在真实的热电联产供热数据上的实验表明，该模型比差分整合移动平均自回归、支持向量回归、CNN以及LSTM模型的预测效果更好，对比目前企业将预定量作为预测量的方法，预测缩放误差平均值（MASE）与均方根误差（RMSE）指标分别提升了89.64%和61.73%。     

基于CNN-LSTM及深度学习的风电场时空组合预测模型

为了更好地预测风电场的风电功率,提取风电场相邻站点之间时空信息和潜在联系,提出了一种基于卷积神经网络（CNN）、互信息（mutual information,MI）法、长短时记忆网络（LSTM）、注意力机制（AT）和粒子群优化（PSO）的短期风电场预测模型（MI-CNN-ALSTM-PSO）。CNN用于提取不同站点的空间特征,LSTM则用于获取多个站点的风电数据的时间依赖信息,据此设计CNN-LSTM时空预测模型,并结合深度学习算法,如MI特征选择、AT注意力机制、PSO参数优化,对模型进一步改进。通过两个海岛风电场的实验数据分析可知,所提模型具有最优的统计误差,CNN-LSTM模型可以高效提取风电场时空信息并进行时间序列预测,而结合深度学习算法（MI、AT和PSO）后的组合模型能进一步提高风电功率预测精度和稳定性。     

基于CNN-LSTM的QAR数据特征提取与预测

针对传统数据驱动的故障诊断方法难以从QAR数据中提取有效特征的问题,提出一种融合卷积神经网络（convolutional neural network,CNN）与长短时记忆网络（long short-term memory,LSTM）的双通道融合模型CNN-LSTM。CNN与LSTM分别作为两个通道,通过注意力机制（attention）融合,从而使模型能同时表达数据在空间维度和时间维度上的特征,并以时间序列预测的方式验证融合模型特征提取的有效性。实验结果表明,双通道融合模型与单一的CNN、LSTM相比,能够更有效地提取数据特征,模型单步预测与多步预测误差平均降低35.3%。为基于QAR数据的故障诊断提供一种新的研究思路。     

基于长-短时序特征融合的资源负载预测模型

高准确率的资源负载预测能够为实时任务调度提供依据,从而降低能源消耗。但是,针对资源负载的时间序列的预测模型,大多是通过提取时间序列的长时序依赖特性来进行短期或者长期预测,忽略了时间序列中的短时序依赖特性。为了更好地对资源负载进行长期预测,提出了一种基于长-短时序特征融合的边缘计算资源负载预测模型。首先,利用格拉姆角场（GAF）将时间序列转变为图像格式数据,以便利用卷积神经网络（CNN）来提取特征;然后,通过卷积神经网络提取空间特征和短期数据的特征,用长短期记忆（LSTM）网络来提取时间序列的长时序依赖特征;最后,将所提取的长、短时序依赖特征通过双通道进行融合,从而实现长期资源负载预测。实验结果表明,所提出的模型在阿里云集群跟踪数据集CPU资源负载预测中的平均绝对误差（MAE）为3.823,均方根误差（RMSE）为5.274,拟合度（R²）为0.815 8,相较于单通道的CNN和LSTM模型、双通道CNN+LSTM和ConvLSTM+LSTM模型,以及资源负载预测模型LSTM-ED和XGBoost,所提模型的预测准确率更高。     

基于CNN-LSTM的短期风电功率预测

短期风电功率预测对电力系统的安全稳定运行和能源的优化配置具有重要意义。鉴于卷积神经网络(CNN)高效的数据特征提取能力,以及长短期记忆网络(LSTM)描述时间序列长期依赖关系的能力。为了提高短期风电功率预测的精度,设计了一种基于CNN和LSTM的风电功率预测模型。该模型利用卷积神经网络对风电功率、风速、风向数据进行多层卷积和池化堆叠计算,提取风电功率相关数据的特征图谱。为了描述风电功率序列的时序依从关系,将图谱特征信息作为长短期记忆网络的输入信息,计算得到风电功率的预测结果。采用西班牙某风电场的实测数据进行模型预测精度验证。结果表明,该模型较LSTM、Elman模型具有更好的预测性能。     

基于多尺度特征和注意力的金融时序预测方法

金融时间序列预测是经济领域中一个非常重要的实际问题,然而,由于金融市场的噪声和波动性,当前存在方法的预测精度尚不能令人满意。为了提高金融时间序列的预测精度,提出了一种融合扩张卷积神经网络（dilated convolutional neural network,DCNN）、长短时记忆神经网络（long short term memory,LSTM）和注意力机制（attention mechanism,AT）的混合预测模型DCNN_LSTM_AT。该模型由两个部分组成：第一部分包含扩张卷积神经网络和基于LSTM的编码器,其功能在于提取原始序列数据中不同时间尺度的有效信息;第二部分由带注意力机制的LSTM解码器构成,其功能在于对第一部分提取的信息进行过滤并利用过滤后的信息进行预测。最后将所提模型在3支股指数据集和3支个股数据集上进行实验,并与其他常见的基准模型进行了对比,实验结果表明该模型相比于其他模型具有更好的预测精度和稳定性。     

基于CNN和LSTM的多通道注意力机制文本分类模型

针对传统的卷积神经网络（Convolutional Neural Network,CNN）和长短时记忆网络（Long Short-Term Memory,LSTM）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于CNN和LSTM的多通道注意力机制文本分类模型。使用CNN和LSTM提取文本局部信息和上下文特征;用多通道注意力机制（Attention）提取CNN和LSTM输出信息的注意力分值;将多通道注意力机制的输出信息进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于CNN、LSTM及其改进模型效果更好,可以有效提高文本分类的效果。     

基于LSTM-Attention与CNN混合模型的文本分类方法

针对传统长短时记忆网络（Long Short-Term Memory,LSTM）和卷积神经网络（Convolution Neural Network,CNN）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于LSTM-Attention与CNN混合模型的文本分类方法。使用CNN提取文本局部信息,进而整合出全文语义;用LSTM提取文本上下文特征,在LSTM之后加入注意力机制（Attention）提取输出信息的注意力分值;将LSTM-Attention的输出与CNN的输出进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于LSTM、CNN及其改进模型效果更好,可以有效提高文本分类的效果。     

基于注意力机制的CNN-LSTM短期股票价格预测

根据股价存在的高频性、长记忆性及不确定性,文章给出了基于注意力机制的卷积神经网络一长短期记忆网络股票价格序列预测方法。首先使用CNN来对数据序列进行卷积操作,以提取其特征分量。然后,利用长短期记忆网络(LSTM)对所抽取出的特征分量做序列预测。最终,注意力模块通过神经网络来自动化拟合权重分配,并对LSTM各个时间节点的隐含层输出向量与对应的权重相乘并求和,为重要的特征分量赋予更大的权重,以此作为模型最终的特征表达。     

基于Attention-BiLSTM-LSTM神经网络的短期电力负荷预测方法

短期电力负荷预测是电力系统中的重要问题之一,准确的预测结果可以提高电力市场的灵活性和资源利用效率,对电力系统高效运行具有重要意义.为了提高预测精度,针对电网负荷数据的时序性特征,提出一种基于Attention-BiLSTM-LSTM神经网络的短期电力负荷预测方法.该方法首先针对电力负荷的影响因素(温度、节假日等)提取特征,并使用双向长短期记忆(BiLSTM)神经网络层进行双向时序的特征学习;将双向时序特征作为长短期记忆(LSTM)神经网络层的输入,用LSTM神经网络建模学习时序数据的内部变化规律;使用attention机制计算LSTM隐层状态的不同权重,以对隐层状态进行选择性地关注;结合注意力权重和LSTM神经网络进行负荷预测,最后使用全连接层输出负荷预测结果.使用EUNIT电力负荷数据集进行实验,采用提前单点预测模式,该方法的平均绝对百分比误差(MAPE)达到1.66％,均方根误差(RMSE)达到814.85.通过与单LSTM网络、基于attention机制的LSTM网络(Attention-LSTM)、前馈神经网络(FFNN)、卷积神经网络联合长短期记忆神经网络(CNN-LSTM)等4种典型的负荷预测模型结果对比,验证了Attention-BiLSTM-LSTM神经网络方法更加准确有效.     

基于多层融合神经网络模型的短期电力负荷预测方法

针对传统的短期电力负荷预测模型存在的预测精度不高和滞后性的问题,本文提出一种基于卷积神经网络、长短时记忆网络和注意力机制下的混合神经网络模型来进行预测。利用卷积层对多维的电力数据影响特征进行提取,过滤筛选其非重要影响因子,完成电力数据相关特征的映射变换,再通过长短时记忆网络层的循环,对时序性电力数据特征选择性提取,最后利用注意力机制添加重要特征的权重,经Adam算法优化后输出电力负荷预测的结果。依靠GPU强大的算力支撑来解决预测数据时的实时性问题,凭借多融合神经网络的手段来提高其预测精度。经由算例验证,所提出模型真实可靠,预测质量显著优于其他传统模型。     

基于注意力机制的CNN-LSTM的ADS-B异常数据检测

广播式自动相关监视(ADS-B)是民航新一代空中交通管理系统的重要组成部分,由于协议没有数据加密和认证,导致容易受到数据攻击.为了准确检测ADS-B数据攻击,基于ADS-B数据的时序性,提出了一种基于注意力机制的卷积神经网络-长短期记忆网络(convolutional neural networks-long short-term memory, CNN-LSTM)异常数据检测模型.首先,利用CNN提取ADS-B数据的特征,然后以时序形式将特征向量输入到LSTM中,最后使用注意力机制进行网络参数优化,实现对ADS-B数据的预测,通过计算预测误差,来进行异常检测.实验表明,该模型能够很好地检测出模拟的4种类型的异常数据,与其他机器学习方法相比,具有更高的准确率和F1分数.     

基于卷积注意力长短时记忆网络的轴承寿命预测方法EI北大核心CSCD

传统的滚动轴承寿命预测方法缺乏明确的学习机制,无法有效识别不同时序特征之间的差异并突出重要特征,影响其预测精度.为克服上述缺点,本文提出了一种基于卷积注意力长短时记忆网络(CAN-LSTM)的剩余使用寿命预测模型.该模型主要由两部分组成:前端为卷积注意力网络(CAN),学习通道和时间维度中的深层故障特征,提高特征的表征能力;后端为改进LSTM网络,基于退化特征对轴承进行寿命预测.归一化健康指标至[0,1]区间内,得到相同的失效阈值;使用五点平滑法对预测结果进行处理,实现预测结果的输出;利用留一法对轴承全寿命试验数据进行验证,测试模型的准确性和适应性.试验结果表明:所提模型的平均均方根误差和平均绝对值误差比仅用CNN模型预测值低54.12%和59.05%,比仅用LSTM模型预测值低39.06%和43.42%,比卷积长短时记忆网络(CNN-LSTM)低20.41%和25.86%.     

基于LSTM-CNN-CBAM模型的股票预测研究

为了更好地对股票价格进行预测,进而为股民提供合理化的建议,提出了一种在结合长短期记忆网络（LSTM）和卷积神经网络（CNN）的基础上引入注意力机制的股票预测混合模型（LSTM-CNN-CBAM）,该模型采用的是端到端的网络结构,使用LSTM来提取数据中的时序特征,利用CNN挖掘数据中的深层特征,通过在网络结构中加入注意力机制--Convolutional Attention Block Module（CBAM）卷积模块,可以有效地提升网络的特征提取能力。基于上证指数进行对比实验,通过对比实验预测结果和评价指标,验证了在LSTM与CNN结合的网络模型中加入CBAM模块的预测有效性和可行性。     

基于CNN-LSTM-CS工业管道腐蚀率预测模型

针对传统工业管道腐蚀率预测模型存在特征提取依赖人工经验和泛化能力不足的问题, 本文将卷积神经网络(convolutional neural network, CNN)和长短期记忆网络(long short-term memory, LSTM)相结合, 提出了基于布谷鸟优化算法(cuckoo search, CS)的CNN-LSTM-CS网络模型, 实现对工业管道腐蚀率预测. 首先, 对采集的管道腐蚀数据集进行归一化预处理; 然后, 利用CNN网络提取影响管道腐蚀率因素的深层次特征信息, 并通过训练LSTM网络构建CNN-LSTM预测模型; 最后, 采用CS算法对预测模型进行参数优化, 减少预测误差, 实现腐蚀率的精准预测. 实验结果表明, 对比几种典型的腐蚀率预测方法, 本文提出的方法具有更高的预测精度, 为工业管道腐蚀率检测提供新的思路.     

PCC-BiLSTM-GRU-Attention组合模型预测方法

传统预测模型在处理多元时间序列时, 常常难以捕捉其非线性动力系统的复杂变化规律导致预测精度较低. 针对此问题, 本文将PCC-BiLSTM-GRU-Attention组合模型的预测方法进行了探讨和验证. 该方法首先使用Pearson相关系数(PCC)进行相关性检验并删除无关特征, 实现了对多元数据的降维选优. 其次使用双向长短期记忆神经网络(BiLSTM)双向提取时序特征. 最后使用GRU神经网络融合注意力机制(Attention), 进一步学习双向时序特征的变化规律, 精准捕捉关键时刻的信息. 为了验证该方法在多元时间序列中的可行性, 本文以股票价格预测作为实验场景, 并与BP模型、LSTM模型、GRU模型、BiLSTM-GRU模型、BiLSTM-GRU-Attention模型进行对比. 验证结果表明: 本文探讨的PCC-BiLSTM-GRU-Attention组合模型的预测方法相比其他模型具有较高的预测精度, 其平均绝对百分比误差(MAPE)达到了2.484%, 决定系数达到了0.966.