基于深度学习的工厂生产节点短期能耗预测

针对工业能耗预测中没有将目标节点和其他节点进行区分，导致目标节点预测精度低，为此提出空间动态预测模型(ARSDM)。选用卷积神经网络(CNN)提取邻接数据空间特征，门控循环单元(GRU)提取邻接数据和目标数据的时序特征，注意力机制(Attention)对时序特征进行筛选，实现对目标数据进行实时监控预测。使用循环神经网络(RNN)、GRU和Attention与ARSDM进行比较，选用平均绝对误差(MAE)、均方根误差(RMSE)、平均绝对百分比误差(MAPE)和准确率(Acc)作为评估指标，实验结果表明，ARSDM误差更小，预测精度更高。     

基于注意力机制的CNN-LSTM模型及其应用

时序数据存在时序性，并且其短序列的特征存在重要程度差异性。针对时序数据特征，提出一种基于注意力机制的卷积神经网络（CNN）联合长短期记忆网络（LSTM）的神经网络预测模型，融合粗细粒度特征实现准确的时间序列预测。该模型由两部分构成：基于注意力机制的CNN，在标准CNN网络上增加注意力分支，以抽取重要细粒度特征；后端为LSTM，由细粒度特征抽取潜藏时序规律的粗粒度特征。在真实的热电联产供热数据上的实验表明，该模型比差分整合移动平均自回归、支持向量回归、CNN以及LSTM模型的预测效果更好，对比目前企业将预定量作为预测量的方法，预测缩放误差平均值（MASE）与均方根误差（RMSE）指标分别提升了89.64%和61.73%。     

基于注意力机制的CNN-BiGRU短期光伏发电功率预测

精确的光伏发电短期预测在微电网智能能源管理系统中起着至关重要的作用;文章提出一种基于注意力机制的CNN-BiGRU短期光伏发电功率预测模型;其核心思想是通过CNN提取光伏数据的空间特征,把CNN提取的这些空间特征送入到BiGRU神经网络中,利用BiGRU模型捕捉光伏时序数据集的双向信息流,学习光伏特征的动态变化规律,引入Attention机制为CNN-BiGRU的隐藏层输出赋予权重,减少因时序过长造成的信息丢失,并且突出强相关特征的影响,减少弱相关特征的影响。在美国俄勒冈州本德市公开数据集上做了验证,并与BP神经网络、GRU、BiGRU、基于Attention机制的BiLSTM以及基于Attention机制的BiGRU进行对比,实验结果表明所提模型在预测精度上更有优越性。     

基于LSTM-CNN-CBAM模型的股票预测研究

为了更好地对股票价格进行预测,进而为股民提供合理化的建议,提出了一种在结合长短期记忆网络（LSTM）和卷积神经网络（CNN）的基础上引入注意力机制的股票预测混合模型（LSTM-CNN-CBAM）,该模型采用的是端到端的网络结构,使用LSTM来提取数据中的时序特征,利用CNN挖掘数据中的深层特征,通过在网络结构中加入注意力机制--Convolutional Attention Block Module（CBAM）卷积模块,可以有效地提升网络的特征提取能力。基于上证指数进行对比实验,通过对比实验预测结果和评价指标,验证了在LSTM与CNN结合的网络模型中加入CBAM模块的预测有效性和可行性。     

基于CNN-BIGRU-ATTENTION的短期电力负荷预测

电价的实时波动,会对负荷预测精度产生一定影响,增加预测的复杂性.针对这一问题,本文构建基于注意力(AT-TENTION)机制的卷积神经网络(CNN)和双向门控循环单元(BIGRU)混合模型对短期电力负荷进行预测.首先用CNN对负荷及电价数据特征进行抽取;其次,利用BIGRU对潜藏的时序规律进行提取;最后结合ATTENT...     

融合时域卷积、残差结构和注意力机制的时序预测

对于具有长、短期的时间关联性、非线性和非平稳性等特点的时序数据,传统时序预测模型对此类数据的预测效果不佳.为进一步提高时序预测模型的准确率和效率,考虑时域卷积提取时间特征的有效性,以及残差结构加快模型收敛的优越性,同时考虑注意力机制对参数的强化作用,提出了一种融合时域卷积、残差结构和注意力机制的时序预测模型(Attention Temporal Convolutional Neural Network,A-TCNN).首先,通过多层残差时域卷积层提取时序数据的长、短期特征;其次,通过注意力机制加强对输出影响较大的参数的权重;最后,通过一个全连接层得到输出结果.在实际医院流水的数据集上,与常规网络对比,比较多种多步预测策略.实验结果表明,该模型与常规模型相比具有更好的预测精度和效率.     

基于模糊信息粒化与混合神经网络的混沌时间序列预测

为了提高对混沌时间序列预测的精准度,提出了一种基于模糊信息粒化和注意力机制的混合神经网络预测模型。首先对数据进行归一化处理,利用模糊信息粒化对数据的复杂度进行简化;然后将经过相空间重构后的样本输入卷积神经网络(CNN)提取空间特征;再利用长短期记忆神经网络(LSTM)进一步提取时间特征;最后将融合特征传递给注意力机制提取关键特征,得出预测结果。选取Logistic、洛伦兹和太阳黑子混沌时间序列进行实验,并与CNN-LSTM-Att模型、CNN-LSTM模型、FIG-CNN模型、FIG-LSTM模型、CNN模型、LSTM模型、支持向量机(SVM)及误差逆传播(BP)模型进行对比分析。结果表明,所提的预测模型预测精度更高,误差更小。     

基于双重注意力机制改进的DA-LSTM时间序列预测模型

为了提高时间序列预测的精确度和收敛速度，提出一种基于双重注意力机制改进的DA-LSTM时序预测模型。通过引入注意力机制重构LSTMcell结构，减少模型参数提高收敛速度；自注意力层对各时间步的输出计算自注意力权重，充分利用细胞记忆信息，提高预测精度。在Beijing PM_2.5和SML2010数据集上，所提出的模型相较于LSTM在均方根误差(RMSE)上分别降低4%和25.4%,相比其他基准方法也有明显提升。     

基于Attention-BiLSTM-LSTM神经网络的短期电力负荷预测方法

短期电力负荷预测是电力系统中的重要问题之一,准确的预测结果可以提高电力市场的灵活性和资源利用效率,对电力系统高效运行具有重要意义.为了提高预测精度,针对电网负荷数据的时序性特征,提出一种基于Attention-BiLSTM-LSTM神经网络的短期电力负荷预测方法.该方法首先针对电力负荷的影响因素(温度、节假日等)提取特征,并使用双向长短期记忆(BiLSTM)神经网络层进行双向时序的特征学习;将双向时序特征作为长短期记忆(LSTM)神经网络层的输入,用LSTM神经网络建模学习时序数据的内部变化规律;使用attention机制计算LSTM隐层状态的不同权重,以对隐层状态进行选择性地关注;结合注意力权重和LSTM神经网络进行负荷预测,最后使用全连接层输出负荷预测结果.使用EUNIT电力负荷数据集进行实验,采用提前单点预测模式,该方法的平均绝对百分比误差(MAPE)达到1.66％,均方根误差(RMSE)达到814.85.通过与单LSTM网络、基于attention机制的LSTM网络(Attention-LSTM)、前馈神经网络(FFNN)、卷积神经网络联合长短期记忆神经网络(CNN-LSTM)等4种典型的负荷预测模型结果对比,验证了Attention-BiLSTM-LSTM神经网络方法更加准确有效.     

基于ATT-IndRNN-CNN的维吾尔语名词指代消解

该文提出一种基于注意力机制(attention mechanism,ATT)、独立循环神经网络(independently recurrent neural network,IndRNN)和卷积神经网络(convolutional neural network,CNN)结合的维吾尔语名词指代消解模型(ATT-IndRNN-CNN)。根据维吾尔语的语法和语义结构,提取17种规则和语义信息特征。利用注意力机制作为模型特征的选择组件计算特征与消解结果的关联度,结果分别输入IndRNN和CNN得到包含上下文信息的全局特征和局部特征,最后融合两类特征并使用softmax进行分类完成消解任务。实验结果表明,该方法优于传统模型,准确率为87.23%,召回率为88.80%,F值为88.04%,由此证明了该模型的有效性。     

基于时间图注意力的交通流量预测模型

交通状况预测是智能交通系统的一个重要组成部分,而车流量是交通状况最直接的体现,因而对交通流量进行预测具有重要的应用价值。一方面,城市中的道路本身带有空间拓扑性质,另一方面车流量随时间动态变化。因此交通流量预测问题的关键在于对数据中存在的时间和空间依赖进行建模。针对这一特性,使用神经网络模型和注意力机制来探索交通流量数据中的时空依赖关系,提出基于时间图注意力的交通流量预测模型。空间依赖方面,使用图卷积网络与注意力结合的学习算法对不同影响程度节点分配不同的权重,加入节点自适应学习,有效提取空间特征;时间依赖方面,使用时序卷积网络对时间特征进行提取,通过扩张卷积扩大感受域从而捕获较长时间序列数据的特征。由图注意力网络和时间卷积网络构成一个时空网络层,最终连接到输出层输出预测结果。该模型使用图卷积神经网络和注意力机制结合的方式提取空间特征,充分考虑了道路间的空间关系,利用时序卷积网络捕获时间特征。在两个真实的数据集上进行实验后发现,在未来15 min、30 min、60 min的时间段内该模型都有良好表现,结果优于现有基准模型。     

基于并行双向时间卷积网络和双向长短期记忆网络的轴承剩余使用寿命预测方法

在基于深度学习的轴承剩余使用寿命(RUL)预测方法中,时间卷积网络(TCN)忽略了振动数据中未来时间信息的重要性,长短期记忆网络(LSTM)难以有效地学习振动数据的长时间序列特征.针对以上问题,提出一种基于并行双向时间卷积网络(Bi-TCN)和双向长短期记忆网络(Bi-LSTM)的轴承RUL预测方法.首先,对多传感器数据进行归一化处理,并将每个传感器数据进行通道合并,实现多传感器数据的高效融合;然后,采用Bi-TCN和Bi-LSTM构建并行的双分支特征学习网络,其中Bi-TCN提取数据的双向长时间序列特征, Bi-LSTM提取数据的时间相关特征;同时,设计一种特征融合注意力机制,该机制分别计算Bi-TCN和Bi-LSTM的输出权重,以实现两种网络输出特征的自适应加权融合;最后,融合特征通过全连接层并输出轴承RUL的预测结果.利用西安交通大学轴承数据集和PHM 2012轴承数据集进行RUL预测实验,实验结果表明,与其他先进的预测方法相比,所提出方法可以准确预测更多类型轴承的RUL,同时具有更低的预测误差.     

基于混合分布注意力机制与混合神经网络的语音情绪识别方法

针对现有语音情绪识别中存在无关特征多和准确率较差的问题,提出一种基于混合分布注意力机制与混合神经网络的语音情绪识别方法。该方法在2个通道内,分别使用卷积神经网络和双向长短时记忆网络进行语音的空间特征和时序特征提取,然后将2个网络的输出同时作为多头注意力机制的输入矩阵。同时,考虑到现有多头注意力机制存在的低秩分布问题,在注意力机制计算方式上进行改进,将低秩分布与2个神经网络的输出特征的相似性做混合分布叠加,再经过归一化操作后将所有子空间结果进行拼接,最后经过全连接层进行分类输出。实验结果表明,基于混合分布注意力机制与混合神经网络的语音情绪识别方法比现有其他方法的准确率更高,验证了所提方法的有效性。     

结合残差时空注意力机制的海面温度预测算法

海面温度(SST)与全球气候变化、海洋灾害、海洋生态系统密切相关,因此准确地预测SST是一个重要课题。现有区域型SST预测方法将SST时间序列处理为二维矩阵序列并作为模型输入,每个矩阵对应着特定时刻的区域SST,通过提取时空特征来实现其预测,但未充分考虑不同时空特征在时间维度和空间维度上对SST影响的不均衡性,限制了预测精度地提高。为了解决该问题,提出了一种结合时间注意力机制和空间注意力机制的区域SST预测方法(CRA-ConvLSTM),使得模型动态关注不同时刻的时间特征和区域内不同点的空间特征,赋予不同的影响权重,进而提高SST预测精度。具体来说,首先将输入的区域SST时间序列通过卷积神经网络(CNN）编码为多层特征向量,提取局部特征;然后构建了残差时间注意力模块,自适应地学习不同时刻的注意力权重,提取时间维度上的关键特征,并设计了残差空间注意力模块,提取区域内不同点在空间维度上的关键特征,此外,将注意力机制结合残差结构避免了网络中信息量过少导致的性能下降问题;最后通过卷积长短时记忆神经网络(ConvLSTM)将特征向量映射为SST预测结果。实验结果显示,该模型的均方根误差(RMS...     

基于TVA-TCN的制造过程关键参数多步预测方法

制造过程关键参数的准确预测对制造过程的精确控制起关键作用,现有预测方法通常未考虑时间动态特性,多步预测性能不佳,无法满足制造过程实际需求.对此,提出一种基于时变注意力时间卷积网络(TVA-TCN)的制造过程关键参数多步预测方法.首先,鉴于普通卷积网络感受野的局限性,利用多通道时间卷积网络提取数据的长期依赖关系,并使用Softplus激活函数降低对数据异常值的敏感度;其次,提出一种时变模型结构,通过提取上一时间步的隐藏层信息和输出信息,使得模型不仅能够随时间动态更新,而且可以缓解梯度消失,从而提高多步预测性能;最后,利用食品加工制造过程的实际数据进行多步预测实验,结果表明所提出方法与传统的方法相比具有明显的优势.     

基于深度视觉注意神经网络的端到端自动驾驶模型

针对现有端到端自动驾驶方法中存在的驾驶指令预测不准确、模型结构体量大和信息冗余多等问题,提出一种新的基于深度视觉注意神经网络的端到端自动驾驶模型。为了更有效地提取自动驾驶场景的特征,在端到端自动驾驶模型中引入视觉注意力机制,将卷积神经网络、视觉注意层和长短期记忆网络进行融合,提出一种深度视觉注意神经网络。该网络模型能够有效提取驾驶场景图像的空间特征和时间特征,并关注重要信息且减少信息冗余,实现用前向摄像机输入的序列图像来预测驾驶指令的端到端自动驾驶。利用模拟驾驶环境的数据进行训练和测试,该模型在乡村路、高速路、隧道和山路四个场景中对方向盘转向角预测的均方根误差分别为0.009 14、0.009 48、0.002 89和0.010 78,均低于对比用的英伟达公司提出的方法和基于深度级联神经网络的方法;并且与未使用视觉注意力机制的网络相比,该模型具有更少的网络层数。     

基于注意力机制修正网络的行人属性识别

针对现有行人属性识别方法模型复杂,识别性能较低的问题,提出一种端到端的行人属性识别方法。构建注意力机制修正网络,在主干网络的不同卷积层后添加注意力分支,以提取注意力特征关注属性相关空域;提出一种注意力机制辅助训练方法,将注意力分支与主网络在预测级进行损失融合,通过梯度反向传播修正主网络权重,实现主网络的有效训练;在预测阶段,利用权重修正后的主网络实现属性识别。在RAP数据集上的实验结果表明,提出方法在没有额外辅助信息、不增加主网络体积和计算量的情况下,提升了行人属性识别性能。     

面向降雨预报的雷达回波预测序列外推方法

雷达回波外推方法广泛应用于降雨预报中。针对雷达回波中的预测精度不够高的问题,提出了一种基于循环神经网络的深度学习模型DIPredRNN。该模型通过引入空间和通道的双注意力机制,将长时间的时间信息和通道信息结合起来,提高了时间记忆的长期依赖;通过引入隐藏状态和输入的交互框架,保留了更多的特征,提高了时间记忆的短期依赖。该模型在HKO-7数据集和四川数据集上同经典模型以及诸多先进模型进行实验对比,该模型从外推图像、MSE、SSIM、CSI-30～50 dbz多个指标对比中都取得最佳效果。实验证明了DIPredRNN提高了雷达回波预测效果,拥有先进的性能。     

炼焦生产过程综合生产指标的改进神经网络预测方法

针对炼焦生产过程综合生产指标 (焦炭质量、产量和焦炉能耗)检测的严重滞后问题,提出一种改进BP神经网络预测方法.首先基于相关过程参数的主元分析和灰色关联分析,确定出预测模型的输入输出变量;然后采用基于改进差分进化算法的BP神经网络建立预测模型,并与基本BP神经网络预测模型进行比较;最后,对改进BP神经网络预测模型进行了验证.实验结果表明,改进BP神经网络预测模型具有较快的收敛速度和较高的预测精度,模型的预测效果可以满足生产工艺要求.