基于Attention-BiLSTM-LSTM神经网络的短期电力负荷预测方法

短期电力负荷预测是电力系统中的重要问题之一,准确的预测结果可以提高电力市场的灵活性和资源利用效率,对电力系统高效运行具有重要意义.为了提高预测精度,针对电网负荷数据的时序性特征,提出一种基于Attention-BiLSTM-LSTM神经网络的短期电力负荷预测方法.该方法首先针对电力负荷的影响因素(温度、节假日等)提取特征,并使用双向长短期记忆(BiLSTM)神经网络层进行双向时序的特征学习;将双向时序特征作为长短期记忆(LSTM)神经网络层的输入,用LSTM神经网络建模学习时序数据的内部变化规律;使用attention机制计算LSTM隐层状态的不同权重,以对隐层状态进行选择性地关注;结合注意力权重和LSTM神经网络进行负荷预测,最后使用全连接层输出负荷预测结果.使用EUNIT电力负荷数据集进行实验,采用提前单点预测模式,该方法的平均绝对百分比误差(MAPE)达到1.66％,均方根误差(RMSE)达到814.85.通过与单LSTM网络、基于attention机制的LSTM网络(Attention-LSTM)、前馈神经网络(FFNN)、卷积神经网络联合长短期记忆神经网络(CNN-LSTM)等4种典型的负荷预测模型结果对比,验证了Attention-BiLSTM-LSTM神经网络方法更加准确有效.     

基于CNN-LSTM的短期风电功率预测

短期风电功率预测对电力系统的安全稳定运行和能源的优化配置具有重要意义。鉴于卷积神经网络(CNN)高效的数据特征提取能力,以及长短期记忆网络(LSTM)描述时间序列长期依赖关系的能力。为了提高短期风电功率预测的精度,设计了一种基于CNN和LSTM的风电功率预测模型。该模型利用卷积神经网络对风电功率、风速、风向数据进行多层卷积和池化堆叠计算,提取风电功率相关数据的特征图谱。为了描述风电功率序列的时序依从关系,将图谱特征信息作为长短期记忆网络的输入信息,计算得到风电功率的预测结果。采用西班牙某风电场的实测数据进行模型预测精度验证。结果表明,该模型较LSTM、Elman模型具有更好的预测性能。     

基于Convolutional-LSTM的蛋白质亚细胞定位研究

蛋白质亚细胞位置预测研究是目前蛋白质组学和生物信息学研究的重点问题之一。蛋白质的亚细胞定位决定了它的生物学功能,故研究亚细胞定位对了解蛋白质功能非常重要。由于蛋白质结构的序列性,考虑使用序列模型来进行亚细胞定位研究。尝试使用卷积神经网络(convolutional neural network,CNN)、长短期记忆神经网络(long short-term memory,LSTM)两种模型挖掘氨基酸序列所包含的信息,从而进行亚细胞定位的预测。随后构建了基于卷积的长短期记忆网络(Convolutional-LSTM)的集成模型进行亚细胞定位。首先通过卷积神经网络对蛋白质数据进行特征抽取,随后进行特征组合,并将其送入长短期记忆神经网络进行特征表征学习,得到亚细胞定位结果。使用该模型能达到0.816 5的分类准确率,比传统方法有明显提升。     

基于LSTM-CNN-CBAM模型的股票预测研究

为了更好地对股票价格进行预测,进而为股民提供合理化的建议,提出了一种在结合长短期记忆网络（LSTM）和卷积神经网络（CNN）的基础上引入注意力机制的股票预测混合模型（LSTM-CNN-CBAM）,该模型采用的是端到端的网络结构,使用LSTM来提取数据中的时序特征,利用CNN挖掘数据中的深层特征,通过在网络结构中加入注意力机制--Convolutional Attention Block Module（CBAM）卷积模块,可以有效地提升网络的特征提取能力。基于上证指数进行对比实验,通过对比实验预测结果和评价指标,验证了在LSTM与CNN结合的网络模型中加入CBAM模块的预测有效性和可行性。     

基于注意力机制的CNN-LSTM模型及其应用

时序数据存在时序性，并且其短序列的特征存在重要程度差异性。针对时序数据特征，提出一种基于注意力机制的卷积神经网络（CNN）联合长短期记忆网络（LSTM）的神经网络预测模型，融合粗细粒度特征实现准确的时间序列预测。该模型由两部分构成：基于注意力机制的CNN，在标准CNN网络上增加注意力分支，以抽取重要细粒度特征；后端为LSTM，由细粒度特征抽取潜藏时序规律的粗粒度特征。在真实的热电联产供热数据上的实验表明，该模型比差分整合移动平均自回归、支持向量回归、CNN以及LSTM模型的预测效果更好，对比目前企业将预定量作为预测量的方法，预测缩放误差平均值（MASE）与均方根误差（RMSE）指标分别提升了89.64%和61.73%。     

基于AM-LSTM的风电场内多点位风电功率预测

为了提高大型风电场的风电功率预测的准确性,构建基于多点位的注意力机制(AM)和长短期记忆神经网络(LSTM)混合预测模型.对于风电功率影响因素特征提取模块,利用属性简约方法,在保证不影响原有的分类效果上,去掉多余属性,大幅度提高预测效率.对于风电功率预测模块,首先,利用15分钟数据间隔,不同高度的风速等作为模型输入,然后通过LSTM处理输入的时间序列与风电功率之间的非线性关系,接下来通过AM进一步优化LSTM的权重,最终得到风电功率的预测结果.通过国外某电场数据的验证:将数据集按照季度分开,各个模型预测结果最为优的是第四季度,对于基于多点位的注意力机制和长短期记忆混合预测模型的均方根误差和平均绝对误差分别比前馈神经网络预测模型降低48.8％和17.4％,比单一长短期记忆神经网络预测模型降低37.2％和7.8％.     

基于模糊信息粒化与混合神经网络的混沌时间序列预测

为了提高对混沌时间序列预测的精准度,提出了一种基于模糊信息粒化和注意力机制的混合神经网络预测模型。首先对数据进行归一化处理,利用模糊信息粒化对数据的复杂度进行简化;然后将经过相空间重构后的样本输入卷积神经网络(CNN)提取空间特征;再利用长短期记忆神经网络(LSTM)进一步提取时间特征;最后将融合特征传递给注意力机制提取关键特征,得出预测结果。选取Logistic、洛伦兹和太阳黑子混沌时间序列进行实验,并与CNN-LSTM-Att模型、CNN-LSTM模型、FIG-CNN模型、FIG-LSTM模型、CNN模型、LSTM模型、支持向量机(SVM)及误差逆传播(BP)模型进行对比分析。结果表明,所提的预测模型预测精度更高,误差更小。     

基于行为轮廓矩阵增强的业务流程结果预测方法

预测性过程监控依赖于预测效果,针对如何增强预测性过程监控预测效果的问题,提出了一种基于行为轮廓矩阵增强的业务流程结果预测方法。首先,通过分析活动间的行为关系提取行为轮廓矩阵,并将其与事件序列一同输入到模型中。随后,结合卷积神经网络（CNN）和长短期记忆网络（LSTM）分别学习矩阵图像特征和序列特征。最后,引入注意力机制以整合图像特征和序列特征进行预测。通过真实事件日志进行验证,在预测事件日志结果方面,提出的增强方法对比基准的LSTM预测方法提高了预测效果,验证了方法的可行性。该方法结合行为轮廓矩阵增强了预测模型对事件日志中行为之间关系的理解,进而提升了预测效果。     

基于VMD-CNN-LSTM的农业大棚园区用电负荷短期预测

针对农业大棚用电负荷受农村供电能力、气象因素等的影响,具有强波动性和高非线性的问题,综合大棚短期负荷的气象特征和时序特征,提出了一种基于变分模态分解(variational mode decomposition, VMD)的长短期记忆(long short-term memory, LSTM)网络与卷积神经网络(convolutional neural network, CNN)相融合的VMD-CNN-LSTM的短期负荷预测模型架构。首先,基于VMD方法分解负荷序列,降低负荷波动性;其次,采用CNN方法提取负荷的气象特征,采用LSTM方法提取负荷时序特征,进行负荷分量预测,并将模态分量的预测结果重构;最后,以山东省寿光市农业大棚负荷数据为基础开展仿真实验。结果表明,VMD-CNN-LSTM模型与传统神经网络模型相比,可有效提高农业大棚短期负荷预测的精度。     

改进PSO-LSTM的水文时间序列预测

为更准确地预测中小河流水文时间序列变化,建立改进粒子群优化算法(PSO)与长短期记忆神经网络(LSTM)结合的预测模型.提出利用非线性惯性权重变化,加入自适应变异等操作的方法,改善PSO的寻优能力;实现LSTM与注意力机制(attention mechanism)的结合,建立PSO-LSTM组合模型,改变传统LSTM在...     

基于自注意力长短期记忆网络的Web软件系统实时剩余寿命预测方法

为了能够实时准确对Web软件系统的剩余使用寿命（RUL）进行预测,考虑Web系统健康状态性能指标的时序特性和指标间的相互依赖特性,提出了一种基于自注意力长短期记忆（Self-Attention-LSTM）网络的Web软件系统实时剩余寿命预测方法。首先,搭建加速寿命测试实验平台来收集反映Web软件系统老化趋势的性能指标数据;然后,根据该性能指标数据的时序特性来构建长短期记忆（LSTM）循环神经网络以提取性能指标的隐含层特征,并使用自注意力机制建模特征间的依赖关系;最后,得到系统RUL的实时预测值。在三组测试集上,把所提模型与反向传播（BP）网络和常规的循环神经网络（RNN）做了对比。实验结果表明,所提模型的平均绝对误差（MAE）比长短期记忆（LSTM）网络平均低16.92%,相对准确率（Accuracy）比LSTM网络平均高5.53%,验证了Self-Attention-LSTM网络剩余寿命预测模型的有效性。可见所提方法能为优化系统抗衰决策提供技术支撑。     

基于CNN_BiLSTM网络的入侵检测方法

网络攻击事件频发,正确高效地检测攻击行为对网络安全至关重要.该方法基于一维卷积神经网络和双向长短期记忆网络引入自注意力机制来检测恶意行为.首先借助随机森林来选择重要的特征作为模型输入以减少输入数据的冗余问题,之后利用一维卷积神经网络和双向长短期记忆网络分别提取空间特征和时间特征,将二者提取的特征"并联"得到融合特征,为...     

深度学习的双人交互行为识别与预测算法研究

基于卷积神经网络的双人交互行为识别算法存在提取的深度特征无法有效表征交互行为序列特性的问题,本文将长短期记忆网络与卷积神经网络模型相结合,提出了一种基于深度学习的双人交互行为识别与预测一体化方法。该方法在训练过程中,完成对卷积神经网络和长短期记忆网络模型的参数训练。在识别与预测过程中,将不同时间比例长度的未知动作类别的视频图像分别送入已经训练好的卷积神经网络模型提取深度特征,再将卷积神经网络提取的深度特征送入长短期记忆网络模型完成对双人交互行为的识别与预测。在国际公开的UT-interaction双人交互行为数据库进行测试的结果表明,该方法在保证计算量适当的同时对交互行为的正确识别率达到了92.31%,并且也可完成对未知动作的初步预测。     

基于mRMR和VMD-AM-LSTM的短期风功率预测

为了提高模型预测风功率的准确率,提出了一种基于最大相关-最小冗余筛选、变分模态分解、注意力机制和长短期记忆神经网络的短期风功率预测方法.首先使用变分模态分解算法将风功率序列分解成几个中心频率不同的分量;再对各个分量结合最大相关-最小冗余筛选出的气象特征分别建立注意力机制和长短期记忆混合预测模型;最后将各个分量的预测结果...     

基于TG–LSTM神经网络的非完整时间序列预测

针对传统模型对含数据缺失的非完整时间序列预测精度不高的问题,利用长短期记忆(LSTM)神经网络强大的时序建模能力,提出一种带时间门的长短期记忆(TG–LSTM)神经网络.首先,提出一种能同时对输入值在线估计和输出值实时预测的TG–LSTM单元结构;其次,基于TG–LSTM结构设计一种网络的前向传播算法,实现输入填补和输出预测同步进行;然后,建立TG–LSTM神经网络的学习算法来对输入填补和输出预测任务整体训练;最后,通过在Mackey-glass基准数据集,月平均气温数据集和污水处理出水氨氮预测中的实验结果表明:与传统方法相比,TG–LSTM神经网络模型能以更高精度对非完整时间序列进行填补和预测.     

基于改进的自注意力长短期记忆网络的传感器故障预检测方法

针对传感器故障检测方法对早期微弱故障信息不敏感以及抗异常值干扰能力差的问题,提出了一种基于因果卷积改进的自注意力长短期记忆网络(CCALSTM)模型和Shapiro-Wilk检验与阈值比较法相结合的故障预检测方法.首先在长短期记忆网络(LSTM)模型中引入基于因果卷积的自注意力机制,以提取局部信息特征,减少异常值对预测精度的影响;然后将预测结果与测量值进行残差计算,并利用滑动窗口选取合适长度的残差序列;最后将残差序列通过Shapiro-Wilk检验和阈值比较法相结合的故障检测方法进行故障预检测.通过传感器原始数据进行仿真实验,并与支持向量机(SVM)、误差反向传播网络(BP)、双向长短期记忆网络(Bi-LSTM)等常见预测模型进行对比,结果表明CCALSTM模型取得了更高的预测精度结果,且具有更高的鲁棒性;同时,所提出的故障预检测方法表现出对传感器早期微弱故障敏感,能够在故障潜伏期及时检测出故障.     

基于并行双向时间卷积网络和双向长短期记忆网络的轴承剩余使用寿命预测方法

在基于深度学习的轴承剩余使用寿命(RUL)预测方法中,时间卷积网络(TCN)忽略了振动数据中未来时间信息的重要性,长短期记忆网络(LSTM)难以有效地学习振动数据的长时间序列特征.针对以上问题,提出一种基于并行双向时间卷积网络(Bi-TCN)和双向长短期记忆网络(Bi-LSTM)的轴承RUL预测方法.首先,对多传感器数据进行归一化处理,并将每个传感器数据进行通道合并,实现多传感器数据的高效融合;然后,采用Bi-TCN和Bi-LSTM构建并行的双分支特征学习网络,其中Bi-TCN提取数据的双向长时间序列特征, Bi-LSTM提取数据的时间相关特征;同时,设计一种特征融合注意力机制,该机制分别计算Bi-TCN和Bi-LSTM的输出权重,以实现两种网络输出特征的自适应加权融合;最后,融合特征通过全连接层并输出轴承RUL的预测结果.利用西安交通大学轴承数据集和PHM 2012轴承数据集进行RUL预测实验,实验结果表明,与其他先进的预测方法相比,所提出方法可以准确预测更多类型轴承的RUL,同时具有更低的预测误差.     

基于人类演示视频的机器人指令生成框架

为了提高机器人学习技能的能力,免除人工示教过程,本文基于对无特殊标记的人类演示视频的观察,提出了一种基于序列到序列模式的机器人指令自动生成框架。首先,使用Mask R-CNN（区域卷积神经网络）来缩小操作区域的范围,并采用双流I3D网络（膨胀3D卷积网络）从视频中提取光流特征和RGB特征;其次,引入双向LSTM（长短期记忆）网络从先前提取的特征中获取上下文信息;最后,使用自我注意力机制和全局注意力机制,学习视频帧序列和命令序列的关联性,序列到序列模型最终输出机器人的命令。在扩展后的MPII烹饪活动2数据集和IIT-V2C数据集上进行了大量的实验,与现有的方法进行比较,本文提出的方法在BLEU_4（0.705）和METEOR（0.462）等指标上达到目前最先进性能水平。结果表明,该方法能够从人类演示视频中学习操作任务。此外,本框架成功应用于Baxter机器人。     

基于神经网络的LncRNA与蛋白质互作关系预测算法

论文提出一种基于注意力机制(Attention)的融合神经网络预测方法预测LncRNA与蛋白质的相互作用,命名为PIPAFNN.通过栈式自编码器和融合神经网络(CNN)-长短期记忆网络(LSTM)分别对LncRNA和蛋白质的序列进行特征提取,在模型学习过程中使用注意向量,使得训练出的模型能够关注不同样本中对预测方法具有...     

结合双流I3D和注意力机制的视频异常事件检测

为了减少视频异常事件检测过程中冗余帧对检测效果的影响,更好地利用视频中关键帧包含的有用信息,提出了一种结合双流膨胀卷积神经网络（Two-stream Inflated 3D ConvNets,I3D）模型和压缩-激励注意力机制多示例异常检测算法。首先,利用双流膨胀卷积神经网络提取视频时空特征;其次,通过双向长短期记忆（Bidirectional Long Short Term Memory,Bidirectional LSTM）神经网络获取视频特征长时序信息;再次,借助压缩-激励注意力机制分配特征权重;最后,通过多示例排序损失函数得到异常排序模型,并在排序损失函数中加入稀疏损失和平滑损失,更好地预测视频异常分数。实验表明,在公开数据集UCF-Crime上检测准确率达到了82.84%,高于基线模型7.43%。