基于模糊信息粒化与混合神经网络的混沌时间序列预测

为了提高对混沌时间序列预测的精准度,提出了一种基于模糊信息粒化和注意力机制的混合神经网络预测模型。首先对数据进行归一化处理,利用模糊信息粒化对数据的复杂度进行简化;然后将经过相空间重构后的样本输入卷积神经网络(CNN)提取空间特征;再利用长短期记忆神经网络(LSTM)进一步提取时间特征;最后将融合特征传递给注意力机制提取关键特征,得出预测结果。选取Logistic、洛伦兹和太阳黑子混沌时间序列进行实验,并与CNN-LSTM-Att模型、CNN-LSTM模型、FIG-CNN模型、FIG-LSTM模型、CNN模型、LSTM模型、支持向量机(SVM)及误差逆传播(BP)模型进行对比分析。结果表明,所提的预测模型预测精度更高,误差更小。     

融合卷积注意力机制的图像描述生成模型

图像描述模型需要提取出图像中的特征,然后通过自然语言处理（NLP）技术将特征用语句表达出来。现有的基于卷积神经网络（CNN）和循环神经网络（RNN）搭建的图像描述模型在提取图像关键信息时精度不高且训练速度缓慢。针对这个问题,提出了一种基于卷积注意力机制和长短期记忆（LSTM）网络的图像描述生成模型。采用Inception-ResNet-V2作为特征提取网络,在注意力机制中引入全卷积操作替代传统的全连接操作,减少了模型参数的数量。将图像特征与文本特征有效融合后送入LSTM单元中完成训练,最终产生描述图像内容的语义信息。模型采用MSCOCO数据集进行训练,使用多种评价指标（BLEU-1、BLEU-4、METEOR、CIDEr等）对模型进行验证。实验结果表明,提出的模型能够对图像内容进行准确描述,在多种评价指标上均优于基于传统注意力机制的方法。     

基于CNN和LSTM的多通道注意力机制文本分类模型

针对传统的卷积神经网络（Convolutional Neural Network,CNN）和长短时记忆网络（Long Short-Term Memory,LSTM）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于CNN和LSTM的多通道注意力机制文本分类模型。使用CNN和LSTM提取文本局部信息和上下文特征;用多通道注意力机制（Attention）提取CNN和LSTM输出信息的注意力分值;将多通道注意力机制的输出信息进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于CNN、LSTM及其改进模型效果更好,可以有效提高文本分类的效果。     

基于ACGRU模型的短时交通流预测

针对现有交通流预测模型未能充分利用交通流数据的时空特征以实现准确预测的问题,提出一种结合注意力机制的卷积门控循环单元预测模型（ACGRU）。该模型利用卷积神经网络（CNN）和门控循环单元（GRU）提取交通流的时空特征,然后使用注意力机制生成含有注意力概率分布的交通流特征表示,同时利用交通流的周相似性提取周期特征,将所有特征相互融合进行回归预测。在真实交通流数据集上的实验表明,提出的ACGRU模型具有更高的预测精度,预测误差相比其他预测模型平均降低了9%。     

基于LSTM-CNN-CBAM模型的股票预测研究

为了更好地对股票价格进行预测,进而为股民提供合理化的建议,提出了一种在结合长短期记忆网络（LSTM）和卷积神经网络（CNN）的基础上引入注意力机制的股票预测混合模型（LSTM-CNN-CBAM）,该模型采用的是端到端的网络结构,使用LSTM来提取数据中的时序特征,利用CNN挖掘数据中的深层特征,通过在网络结构中加入注意力机制--Convolutional Attention Block Module（CBAM）卷积模块,可以有效地提升网络的特征提取能力。基于上证指数进行对比实验,通过对比实验预测结果和评价指标,验证了在LSTM与CNN结合的网络模型中加入CBAM模块的预测有效性和可行性。     

面向预测的长短时神经网络记忆增强机制

基于时序数据建模的长短时神经网络（LSTM）可用于预测类问题。现实场景中,LSTM预测精度往往与输入序列长度相关,有效的历史信息会被新输入的数据淹没。针对此问题,提出在LSTM节点中构建强化门实现对遗忘信息的提取,并与记忆信息按比例选取、融合、输入记忆单元,增加学习过程中的梯度传导能力,使网络对相对较远的信息保持敏感以提升记忆能力。实验采用工业故障数据,当序列长度超过100时,具有强化门机制的改进模型预测误差低于其他LSTM模型。预测精度的差距随序列增加而增大,当序列长度增至200时,改进模型的预测误差（RMSE/MAE）较原模型分别降低了26.98%与35.85%。     

基于多层融合神经网络模型的短期电力负荷预测方法

针对传统的短期电力负荷预测模型存在的预测精度不高和滞后性的问题,本文提出一种基于卷积神经网络、长短时记忆网络和注意力机制下的混合神经网络模型来进行预测。利用卷积层对多维的电力数据影响特征进行提取,过滤筛选其非重要影响因子,完成电力数据相关特征的映射变换,再通过长短时记忆网络层的循环,对时序性电力数据特征选择性提取,最后利用注意力机制添加重要特征的权重,经Adam算法优化后输出电力负荷预测的结果。依靠GPU强大的算力支撑来解决预测数据时的实时性问题,凭借多融合神经网络的手段来提高其预测精度。经由算例验证,所提出模型真实可靠,预测质量显著优于其他传统模型。     

SDAE-LSTM模型在金融时间序列预测中的应用

针对金融时间序列预测的复杂性和长期依赖性，提出了一种基于深度学习的LSTM神经网络预测模型。利用堆叠去噪自编码从金融时间序列的基本行情数据和技术指标中提取特征，将其作为LSTM神经网络的输入对金融时间序列进行预测；通过LSTM神经网络的长期依赖特性来提高金融时间序列的预测精度。利用股价指数数据，与传统的神经网络的预测结果进行比较，结果表明基于深度学习的LSTM神经网络具有比较高的预测精度。     

基于LSTM-Attention与CNN混合模型的文本分类方法

针对传统长短时记忆网络（Long Short-Term Memory,LSTM）和卷积神经网络（Convolution Neural Network,CNN）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于LSTM-Attention与CNN混合模型的文本分类方法。使用CNN提取文本局部信息,进而整合出全文语义;用LSTM提取文本上下文特征,在LSTM之后加入注意力机制（Attention）提取输出信息的注意力分值;将LSTM-Attention的输出与CNN的输出进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于LSTM、CNN及其改进模型效果更好,可以有效提高文本分类的效果。     

基于CNN-LSTM的QAR数据特征提取与预测

针对传统数据驱动的故障诊断方法难以从QAR数据中提取有效特征的问题,提出一种融合卷积神经网络（convolutional neural network,CNN）与长短时记忆网络（long short-term memory,LSTM）的双通道融合模型CNN-LSTM。CNN与LSTM分别作为两个通道,通过注意力机制（attention）融合,从而使模型能同时表达数据在空间维度和时间维度上的特征,并以时间序列预测的方式验证融合模型特征提取的有效性。实验结果表明,双通道融合模型与单一的CNN、LSTM相比,能够更有效地提取数据特征,模型单步预测与多步预测误差平均降低35.3%。为基于QAR数据的故障诊断提供一种新的研究思路。     

结合深度学习和分解算法的股票价格预测研究

针对股票价格预测问题,实现对非平稳、非线性股票价格序列的预测,提出一种结合深度学习和分解算法的股票价格预测模型.该模型引入自适应噪声的完整集成经验模态分解(CEEMDAN)算法提取股票价格时间序列在时间尺度上的特征,利用注意力机制捕获输入特征参数的权重并结合门控循环单元(GRU)网络进行股票价格预测.实验对苹果、贵州茅...     

E-V-ALSTM模型的股价预测

针对股票价格非平稳、非线性、高复杂和随机波动等特性使其预测难度大的问题,提出一种基于E-V-ALSTM混合深度模型的股票价格预测方法。使用经验模态分解（EMD）对股票价格数据进行第一次分解,得到若干固有模态函数（IMFs）和一个残差（Res）,降低了股票价格数据的非平稳性和非线性;使用样本熵（SampEn）对这些IMFs进行复杂性评估;将复杂度高于一定阈值的IMFs使用变分模态分解（VMD）进行二次分解,以降低股票价格数据的复杂性;通过加入注意力机制的长短期记忆神经网络（LSTM）模型进行预测,捕捉关键时间点特征信息,重新赋予权重,以解决股票价格数据的随机波动性,提升预测方法的精确度。对沪深300指数和德国DAX指数等数据集上的实验结果表明,该模型比其他对比模型能进一步提高股票价格预测的准确性。     

基于CNN-LSTM的短期风电功率预测

短期风电功率预测对电力系统的安全稳定运行和能源的优化配置具有重要意义。鉴于卷积神经网络(CNN)高效的数据特征提取能力,以及长短期记忆网络(LSTM)描述时间序列长期依赖关系的能力。为了提高短期风电功率预测的精度,设计了一种基于CNN和LSTM的风电功率预测模型。该模型利用卷积神经网络对风电功率、风速、风向数据进行多层卷积和池化堆叠计算,提取风电功率相关数据的特征图谱。为了描述风电功率序列的时序依从关系,将图谱特征信息作为长短期记忆网络的输入信息,计算得到风电功率的预测结果。采用西班牙某风电场的实测数据进行模型预测精度验证。结果表明,该模型较LSTM、Elman模型具有更好的预测性能。     

基于CNN和GRU的混合股指预测模型研究

针对股票数据共线性和非线性的特点,提出了一种基于卷积神经网络（Convolutional Neural Network,CNN）和门控循环单元（Gated Recurrent Unit,GRU）神经网络的混合预测模型,并对沪深300指数、上证综指和深证成指进行了预测。该模型首先采用CNN提取特征向量,对原始数据进行降维,然后利用GRU神经网络学习特征动态变化规律进行股指预测。仿真结果表明,与GRU神经网络、长短时记忆（Long-Short-Term Memory,LSTM）神经网络和CNN相比,该模型能够挖掘历史数据中蕴含的信息,有效提高股指预测的准确率,并可为股指交易提供一些参考。     

结合图卷积的深层神经网络用于文本分类

随着图卷积网络的发展,图卷积网络已经应用到很多任务中,其中就包含文本分类任务.通过将文本数据表示成图数据,进而在图上应用图卷积,从而捕获文本的结构信息和单词间的长距离依赖关系获得了良好的分类效果.但将文本建模成图模型后,图卷积网络面临着文本上下文语义信息和局部特征信息表示不充分的问题.提出一种新的模型,利用双向长短时记...     

基于注意力机制的CNN-LSTM模型及其应用

时序数据存在时序性，并且其短序列的特征存在重要程度差异性。针对时序数据特征，提出一种基于注意力机制的卷积神经网络（CNN）联合长短期记忆网络（LSTM）的神经网络预测模型，融合粗细粒度特征实现准确的时间序列预测。该模型由两部分构成：基于注意力机制的CNN，在标准CNN网络上增加注意力分支，以抽取重要细粒度特征；后端为LSTM，由细粒度特征抽取潜藏时序规律的粗粒度特征。在真实的热电联产供热数据上的实验表明，该模型比差分整合移动平均自回归、支持向量回归、CNN以及LSTM模型的预测效果更好，对比目前企业将预定量作为预测量的方法，预测缩放误差平均值（MASE）与均方根误差（RMSE）指标分别提升了89.64%和61.73%。     

基于CNN-LSTM及深度学习的风电场时空组合预测模型

为了更好地预测风电场的风电功率,提取风电场相邻站点之间时空信息和潜在联系,提出了一种基于卷积神经网络(CNN)、互信息(mutual information, MI)法、长短时记忆网络(LSTM)、注意力机制(AT)和粒子群优化(PSO)的短期风电场预测模型(MI-CNN-ALSTM-PSO)。CNN用于提取不同站点的空间特征,LSTM则用于获取多个站点的风电数据的时间依赖信息,据此设计CNN-LSTM时空预测模型,并结合深度学习算法,如MI特征选择、 AT注意力机制、 PSO参数优化,对模型进一步改进。通过两个海岛风电场的实验数据分析可知,所提模型具有最优的统计误差,CNN-LSTM模型可以高效提取风电场时空信息并进行时间序列预测,而结合深度学习算法(MI、 AT和PSO)后的组合模型能进一步提高风电功率预测精度和稳定性。     

日交通流预测的编码器-解码器深度学习模型研究

精准的日交通流预测是智能交通领域的重要研究内容之一。目前已有的日交通流预测模型大多在短期预测模型的基础上通过多步预测或者多目标预测的方式改进而来。这两种改进方案中,前者对误差的传播更为敏感,而后者则忽视了预测结果的时序关系,导致预测模型精度偏低。提出了一种用于日交通流预测的编码器-解码器深度学习模型,首先将长短时记忆网络（long short-term memory,LSTM）作为编码器-解码器模型的基本单元以提高模型捕捉长期依赖关系的能力,其次引入注意力机制调节编码向量的权重以进一步提高模型的预测精度。新的模型是一种典型的序列到序列预测模型,与传统的序列到点的模型相比更加契合日交通流预测的需求。为验证模型的有效性,取美国5号州际公路西雅图段的实际交通流数据进行实验,实验结果表明,提出的预测模型在平均车流密度大于40辆/km的时间段中,其预测结果的平均绝对百分比误差（mean absolute percentage error,MAPE）与LSTM、门控循环单元（gated recurrent unit,GRU）、反向传播（back propagation,BP）神经网络、卷积神经网络...