基于CNN-LSTM及深度学习的风电场时空组合预测模型

为了更好地预测风电场的风电功率,提取风电场相邻站点之间时空信息和潜在联系,提出了一种基于卷积神经网络(CNN)、互信息(mutual information, MI)法、长短时记忆网络(LSTM)、注意力机制(AT)和粒子群优化(PSO)的短期风电场预测模型(MI-CNN-ALSTM-PSO)。CNN用于提取不同站点的空间特征,LSTM则用于获取多个站点的风电数据的时间依赖信息,据此设计CNN-LSTM时空预测模型,并结合深度学习算法,如MI特征选择、 AT注意力机制、 PSO参数优化,对模型进一步改进。通过两个海岛风电场的实验数据分析可知,所提模型具有最优的统计误差,CNN-LSTM模型可以高效提取风电场时空信息并进行时间序列预测,而结合深度学习算法(MI、 AT和PSO)后的组合模型能进一步提高风电功率预测精度和稳定性。     

基于AM-LSTM的风电场内多点位风电功率预测

为了提高大型风电场的风电功率预测的准确性,构建基于多点位的注意力机制(AM)和长短期记忆神经网络(LSTM)混合预测模型.对于风电功率影响因素特征提取模块,利用属性简约方法,在保证不影响原有的分类效果上,去掉多余属性,大幅度提高预测效率.对于风电功率预测模块,首先,利用15分钟数据间隔,不同高度的风速等作为模型输入,然后通过LSTM处理输入的时间序列与风电功率之间的非线性关系,接下来通过AM进一步优化LSTM的权重,最终得到风电功率的预测结果.通过国外某电场数据的验证:将数据集按照季度分开,各个模型预测结果最为优的是第四季度,对于基于多点位的注意力机制和长短期记忆混合预测模型的均方根误差和平均绝对误差分别比前馈神经网络预测模型降低48.8％和17.4％,比单一长短期记忆神经网络预测模型降低37.2％和7.8％.     

基于注意力机制的CNN-LSTM短期股票价格预测

根据股价存在的高频性、长记忆性及不确定性,文章给出了基于注意力机制的卷积神经网络一长短期记忆网络股票价格序列预测方法。首先使用CNN来对数据序列进行卷积操作,以提取其特征分量。然后,利用长短期记忆网络(LSTM)对所抽取出的特征分量做序列预测。最终,注意力模块通过神经网络来自动化拟合权重分配,并对LSTM各个时间节点的隐含层输出向量与对应的权重相乘并求和,为重要的特征分量赋予更大的权重,以此作为模型最终的特征表达。     

采用LSTM的风电功率预测方法研究

为实现风电功率的有效预测,本文提出了一种基于长短期记忆神经网络的风电功率预测方法,并建立了基于长短期记忆的风电功率预测模型。在公开的数据集中对该风电功率预测方法进行分析与验证。结果表明,该方法有较好的预测精度。     

基于Convolutional-LSTM的蛋白质亚细胞定位研究

蛋白质亚细胞位置预测研究是目前蛋白质组学和生物信息学研究的重点问题之一。蛋白质的亚细胞定位决定了它的生物学功能,故研究亚细胞定位对了解蛋白质功能非常重要。由于蛋白质结构的序列性,考虑使用序列模型来进行亚细胞定位研究。尝试使用卷积神经网络(convolutional neural network,CNN)、长短期记忆神经网络(long short-term memory,LSTM)两种模型挖掘氨基酸序列所包含的信息,从而进行亚细胞定位的预测。随后构建了基于卷积的长短期记忆网络(Convolutional-LSTM)的集成模型进行亚细胞定位。首先通过卷积神经网络对蛋白质数据进行特征抽取,随后进行特征组合,并将其送入长短期记忆神经网络进行特征表征学习,得到亚细胞定位结果。使用该模型能达到0.816 5的分类准确率,比传统方法有明显提升。     

基于模糊信息粒化与混合神经网络的混沌时间序列预测

为了提高对混沌时间序列预测的精准度,提出了一种基于模糊信息粒化和注意力机制的混合神经网络预测模型。首先对数据进行归一化处理,利用模糊信息粒化对数据的复杂度进行简化;然后将经过相空间重构后的样本输入卷积神经网络(CNN)提取空间特征;再利用长短期记忆神经网络(LSTM)进一步提取时间特征;最后将融合特征传递给注意力机制提取关键特征,得出预测结果。选取Logistic、洛伦兹和太阳黑子混沌时间序列进行实验,并与CNN-LSTM-Att模型、CNN-LSTM模型、FIG-CNN模型、FIG-LSTM模型、CNN模型、LSTM模型、支持向量机(SVM)及误差逆传播(BP)模型进行对比分析。结果表明,所提的预测模型预测精度更高,误差更小。     

基于LSTM-CNN模型的RNA碱基不成对概率预测研究

预测核糖核酸（Ribonucleic Acid,RNA）结构是生物信息领域的热门问题。笔者提出一种长短期记忆（Long Short-Term Memory,LSTM）和卷积神经网络（Convolutional Neural Networks,CNN）相结合的LSTM-CNN深度神经网络模型。该模型基于RNA的一级序列和由LinearFold算法算出的能量最低的二级结构来预测RNA中碱基的不成对概率。最后,使用RNA数据集进行实验。实验结果表明,相对于LSTM模型和CNN模型,LSTM-CNN混合模型有较好的预测效果。     

基于长-短时序特征融合的资源负载预测模型

高准确率的资源负载预测能够为实时任务调度提供依据,从而降低能源消耗。但是,针对资源负载的时间序列的预测模型,大多是通过提取时间序列的长时序依赖特性来进行短期或者长期预测,忽略了时间序列中的短时序依赖特性。为了更好地对资源负载进行长期预测,提出了一种基于长-短时序特征融合的边缘计算资源负载预测模型。首先,利用格拉姆角场（GAF）将时间序列转变为图像格式数据,以便利用卷积神经网络（CNN）来提取特征;然后,通过卷积神经网络提取空间特征和短期数据的特征,用长短期记忆（LSTM）网络来提取时间序列的长时序依赖特征;最后,将所提取的长、短时序依赖特征通过双通道进行融合,从而实现长期资源负载预测。实验结果表明,所提出的模型在阿里云集群跟踪数据集CPU资源负载预测中的平均绝对误差（MAE）为3.823,均方根误差（RMSE）为5.274,拟合度（R²）为0.815 8,相较于单通道的CNN和LSTM模型、双通道CNN+LSTM和ConvLSTM+LSTM模型,以及资源负载预测模型LSTM-ED和XGBoost,所提模型的预测准确率更高。     

基于VMD-CNN-LSTM的农业大棚园区用电负荷短期预测

针对农业大棚用电负荷受农村供电能力、气象因素等的影响,具有强波动性和高非线性的问题,综合大棚短期负荷的气象特征和时序特征,提出了一种基于变分模态分解(variational mode decomposition, VMD)的长短期记忆(long short-term memory, LSTM)网络与卷积神经网络(convolutional neural network, CNN)相融合的VMD-CNN-LSTM的短期负荷预测模型架构。首先,基于VMD方法分解负荷序列,降低负荷波动性;其次,采用CNN方法提取负荷的气象特征,采用LSTM方法提取负荷时序特征,进行负荷分量预测,并将模态分量的预测结果重构;最后,以山东省寿光市农业大棚负荷数据为基础开展仿真实验。结果表明,VMD-CNN-LSTM模型与传统神经网络模型相比,可有效提高农业大棚短期负荷预测的精度。     

改进Informer网络的风电功率短期预测

准确预测风电功率对于提高电力系统的效率和安全性具有重要意义, 而风能的间歇性和随机性特点导致风电功率难以准确预测. 因此, 提出一种改进Informer的风电功率预测模型PCI-Informer (PATCH-CNN-IRFFN-Informer). 将序列数据划分为子序列级补丁, 并进行特征提取和整合, 提高模型对序列数据的处理能力和效果; 采用多尺度因果卷积自注意力机制, 实现多尺度局部特征融合, 提高模型对局部信息的理解和建模能力; 引入反向残差前馈网络 (IRFFN), 增强模型对局部结构信息的提取和保留能力. 某风电场数据实验结果表明, 与主流预测模型相比, PCI-Informer模型在不同预测步长下均取得了更好的预测效果, 在MAE指标上相比Informer模型平均降低了11.1%, 有效提高了短期风电功率的预测精度.     

基于CNN-LSTM-CS工业管道腐蚀率预测模型

针对传统工业管道腐蚀率预测模型存在特征提取依赖人工经验和泛化能力不足的问题, 本文将卷积神经网络(convolutional neural network, CNN)和长短期记忆网络(long short-term memory, LSTM)相结合, 提出了基于布谷鸟优化算法(cuckoo search, CS)的CNN-LSTM-CS网络模型, 实现对工业管道腐蚀率预测. 首先, 对采集的管道腐蚀数据集进行归一化预处理; 然后, 利用CNN网络提取影响管道腐蚀率因素的深层次特征信息, 并通过训练LSTM网络构建CNN-LSTM预测模型; 最后, 采用CS算法对预测模型进行参数优化, 减少预测误差, 实现腐蚀率的精准预测. 实验结果表明, 对比几种典型的腐蚀率预测方法, 本文提出的方法具有更高的预测精度, 为工业管道腐蚀率检测提供新的思路.     

基于多层融合神经网络模型的短期电力负荷预测方法

针对传统的短期电力负荷预测模型存在的预测精度不高和滞后性的问题,本文提出一种基于卷积神经网络、长短时记忆网络和注意力机制下的混合神经网络模型来进行预测。利用卷积层对多维的电力数据影响特征进行提取,过滤筛选其非重要影响因子,完成电力数据相关特征的映射变换,再通过长短时记忆网络层的循环,对时序性电力数据特征选择性提取,最后利用注意力机制添加重要特征的权重,经Adam算法优化后输出电力负荷预测的结果。依靠GPU强大的算力支撑来解决预测数据时的实时性问题,凭借多融合神经网络的手段来提高其预测精度。经由算例验证,所提出模型真实可靠,预测质量显著优于其他传统模型。     

基于融合式神经网络的微生物生长环境关系抽取

为了构建完整的微生物生长环境关系数据库,提出基于卷积神经网络-长短时记忆(CNN-LSTM)的关系抽取系统.结合卷积神经网络(CNN)和长短时记忆(LSTM),实现对隐含特征的深度学习,提取分布式词向量特征和实体位置特征作为模型的特征输入.对比实验验证加入特征后CNN-LSTM模型的优势,并将CNN模型的特征输出作为LSTM模型的特征输入.在Bio-NLP 2016共享任务发布的BB-event语料集上得到目前最好的结果.     

VMD和混合深度学习框架融合的短期风速预测

风速预测是影响风电场效率和稳定性的重要因素.文中基于风速的时空特征,融合变分模态分解(VMD)和混合深度学习框架进行短期风速预测,即VHSTN (VMD-based hybrid spatio-temporal network).其中,混合深度学习框架由卷积神经网络(CNN)、长短时记忆网络(LSTM)以及自注意力机制(SAM)组成.该算法对原始数据清洗后,采用VMD将多站点风速的时空数据分解为固有模态函数(intrinsic mode functions, IMF)分量,去除风速数据的不稳定性;然后针对各IMF分量,应用底部的CNN抽取空域特征;再用顶层LSTM提取时域特征,之后用SAM通过自适应加权加强对隐藏特征的提取并得到各分量的预测结果;最后合并获得最终预测风速.在数据集WIND上进行实验,并和相关典型算法对比,实验结果表明了该算法的有效性和优越性.     

基于LMD-PE与神经网络的刀具故障诊断方法

针对刀具故障诊断信号信噪比低、诊断结果不准确等问题,采用局域均值分解(LMD)结合排列熵(PE)来处理采集到的刀具加工时的振动信号,然后将提取到的特征向量输入到训练好的长短期记忆神经网络(LSTM)中得到诊断结果,为了提高LSTM的诊断效率,结合卷积神经网络(CNN)对LSTM进行了改造;试验表明,文章提出的方法诊断准确率比BP神经网络提高了将近12%,改进LSTM网络比传统LSTM的诊断时间缩短了50%。     

基于DAM和CNN-LSTM的辅助动力装置性能参数预测模型

针对辅助动力装置(auxiliary power unit, APU)性能参数难以准确预测的问题，提出一种基于特征与时序的双阶段注意力机制(dual-stage attention mechanism,DAM)和卷积神经网络(CNN)-长短期记忆网络(LSTM)的混合模型。所提的方法在特征提取阶段加入了通道注意力机制(Channel attention mechanism ,CAM)；输出阶段加入了时序注意力机制(Temporal attention mechanism ,TAM)，加强了CNN对重要特征的提取能力和历史关键信息对预测输出的影响，并利用改进的粒子群算法对模型关键参数寻优，提高预测精度。实验结果表明，所提出的新方法在多变量输入和多步长的APU排气温度(exhaust gas temperature，EGT)预测中均取得了很好的效果，预测精度大幅提高。     

短文本分类的ResLCNN模型

短文本分类是互联网文本数据处理中的关键任务之一.长短时记忆网络LSTM（long short-term memory）和卷积神经网络CNN（convolutional neural network）是广泛应用于短文本分类任务的两种深度学习模型.在计算机视觉和语音识别领域的深度学习研究表明,深层次的神经网络模型具有较好的表达数据特征的能力.受此启发,面向文本深度学习分类问题,提出基于3层LSTM和CNN网络结构的ResLCNN（residual-LSTM-CNN）深度学习模型.该模型有效结合LSTM获取文本序列数据的长距离依赖特征和CNN通过卷积操作获取句子局部特征的优势,同时借鉴残差模型理论,在第1层LSTM层与CNN层之间加入恒等映射,构建残差层,缓解深层模型梯度消失问题.为了探究深层短文本分类中ResLCNN模型的文本分类能力,在多种数据集上将其与LSTM、CNN及其组合模型进行对比实验.结果表明,相比于单层LSTM与CNN组合模型,ResLCNN深层模型在MR、SST-2和SST-5数据集上分别提高了1.0%、0.5%、0.47%的准确率,取得了更好的分类效果.     

基于CNN-LSTM-PSO的私有云故障检测

有效对私有云系统进行故障检测对于保障IT系统稳定性及开展可靠性信息活动具有重要的实际意义。为此从私有云系统的历史趋势数据出发,将卷积网络(CNN)和长短期记忆(LSTM)循环神经网络结合,提出了基于粒子群优化算法(PSO)的CNN-LSTM-PSO的混合模型,实现对私有云的故障检测。采用X11算法等技术对数据进行预处理,使用CNN网络提取监控指标时序数据的相关特征信息,并通过训练LSTM网络参数建立CNN-LSTM预测模型,设计了PSO算法对预测模型进行参数选优,减小预测误差,并以高斯正态分布确定阈值范围,实现故障的精准检测。通过和传统单一预测模型以及现有的一些组合预测模型的对比,CNN-LSTM-PSO模型预测后结果的均方根误差、平均绝对误差和平均百分比误差都低于其余模型。实验结果验证了模型在预测效果上具备更高的精度和更快的预测速度,在私有云的故障检测中精确性和实时性都具有良好效果。