基于LSTM-CNN-CBAM模型的股票预测研究

为了更好地对股票价格进行预测,进而为股民提供合理化的建议,提出了一种在结合长短期记忆网络（LSTM）和卷积神经网络（CNN）的基础上引入注意力机制的股票预测混合模型（LSTM-CNN-CBAM）,该模型采用的是端到端的网络结构,使用LSTM来提取数据中的时序特征,利用CNN挖掘数据中的深层特征,通过在网络结构中加入注意力机制--Convolutional Attention Block Module（CBAM）卷积模块,可以有效地提升网络的特征提取能力。基于上证指数进行对比实验,通过对比实验预测结果和评价指标,验证了在LSTM与CNN结合的网络模型中加入CBAM模块的预测有效性和可行性。     

基于CNN和LSTM的多通道注意力机制文本分类模型

针对传统的卷积神经网络（Convolutional Neural Network,CNN）和长短时记忆网络（Long Short-Term Memory,LSTM）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于CNN和LSTM的多通道注意力机制文本分类模型。使用CNN和LSTM提取文本局部信息和上下文特征;用多通道注意力机制（Attention）提取CNN和LSTM输出信息的注意力分值;将多通道注意力机制的输出信息进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于CNN、LSTM及其改进模型效果更好,可以有效提高文本分类的效果。     

基于CNN-LSTM及深度学习的风电场时空组合预测模型

为了更好地预测风电场的风电功率,提取风电场相邻站点之间时空信息和潜在联系,提出了一种基于卷积神经网络(CNN)、互信息(mutual information, MI)法、长短时记忆网络(LSTM)、注意力机制(AT)和粒子群优化(PSO)的短期风电场预测模型(MI-CNN-ALSTM-PSO)。CNN用于提取不同站点的空间特征,LSTM则用于获取多个站点的风电数据的时间依赖信息,据此设计CNN-LSTM时空预测模型,并结合深度学习算法,如MI特征选择、 AT注意力机制、 PSO参数优化,对模型进一步改进。通过两个海岛风电场的实验数据分析可知,所提模型具有最优的统计误差,CNN-LSTM模型可以高效提取风电场时空信息并进行时间序列预测,而结合深度学习算法(MI、 AT和PSO)后的组合模型能进一步提高风电功率预测精度和稳定性。     

基于模糊信息粒化与混合神经网络的混沌时间序列预测

为了提高对混沌时间序列预测的精准度,提出了一种基于模糊信息粒化和注意力机制的混合神经网络预测模型。首先对数据进行归一化处理,利用模糊信息粒化对数据的复杂度进行简化;然后将经过相空间重构后的样本输入卷积神经网络(CNN)提取空间特征;再利用长短期记忆神经网络(LSTM)进一步提取时间特征;最后将融合特征传递给注意力机制提取关键特征,得出预测结果。选取Logistic、洛伦兹和太阳黑子混沌时间序列进行实验,并与CNN-LSTM-Att模型、CNN-LSTM模型、FIG-CNN模型、FIG-LSTM模型、CNN模型、LSTM模型、支持向量机(SVM)及误差逆传播(BP)模型进行对比分析。结果表明,所提的预测模型预测精度更高,误差更小。     

基于LSTM-Attention与CNN混合模型的文本分类方法

针对传统长短时记忆网络（Long Short-Term Memory,LSTM）和卷积神经网络（Convolution Neural Network,CNN）在提取特征时无法体现每个词语在文本中重要程度的问题,提出一种基于LSTM-Attention与CNN混合模型的文本分类方法。使用CNN提取文本局部信息,进而整合出全文语义;用LSTM提取文本上下文特征,在LSTM之后加入注意力机制（Attention）提取输出信息的注意力分值;将LSTM-Attention的输出与CNN的输出进行融合,实现了有效提取文本特征的基础上将注意力集中在重要的词语上。在三个公开数据集上的实验结果表明,提出的模型相较于LSTM、CNN及其改进模型效果更好,可以有效提高文本分类的效果。     

基于CNN-LSTM的QAR数据特征提取与预测

针对传统数据驱动的故障诊断方法难以从QAR数据中提取有效特征的问题,提出一种融合卷积神经网络（convolutional neural network,CNN）与长短时记忆网络（long short-term memory,LSTM）的双通道融合模型CNN-LSTM。CNN与LSTM分别作为两个通道,通过注意力机制（attention）融合,从而使模型能同时表达数据在空间维度和时间维度上的特征,并以时间序列预测的方式验证融合模型特征提取的有效性。实验结果表明,双通道融合模型与单一的CNN、LSTM相比,能够更有效地提取数据特征,模型单步预测与多步预测误差平均降低35.3%。为基于QAR数据的故障诊断提供一种新的研究思路。     

基于CNN-LSTM-PSO的私有云故障检测

有效对私有云系统进行故障检测对于保障IT系统稳定性及开展可靠性信息活动具有重要的实际意义。为此从私有云系统的历史趋势数据出发,将卷积网络(CNN)和长短期记忆(LSTM)循环神经网络结合,提出了基于粒子群优化算法(PSO)的CNN-LSTM-PSO的混合模型,实现对私有云的故障检测。采用X11算法等技术对数据进行预处理,使用CNN网络提取监控指标时序数据的相关特征信息,并通过训练LSTM网络参数建立CNN-LSTM预测模型,设计了PSO算法对预测模型进行参数选优,减小预测误差,并以高斯正态分布确定阈值范围,实现故障的精准检测。通过和传统单一预测模型以及现有的一些组合预测模型的对比,CNN-LSTM-PSO模型预测后结果的均方根误差、平均绝对误差和平均百分比误差都低于其余模型。实验结果验证了模型在预测效果上具备更高的精度和更快的预测速度,在私有云的故障检测中精确性和实时性都具有良好效果。     

基于词向量技术和混合神经网络的情感分析

情感分析是近些年自然语言处理的一个研究热点,一方面以word2vec为代表的预处理词向量技术得到了广泛应用,本文通过融合情感标签获得word2vec-ST词向量来提取句子的语义和情感信息并达到了较好的效果,另一方面,LSTM作为RNN的衍生模型已经成熟的应用到自然语言处理的模型构建当中,但LSTM在短文本和训练语料相对有限的情况下并没有展现出应有的优势,因此,借助于CNN在捕捉局部信息上的优势,本文提出了一种融合LSTM和CNN的注意力模型网络来提取文本的上下文信息,并通过实现attention机制的BILSTM来替代LSTM得到AT-BL C模型进而达到了更好的效果。本文对比分析了LSTM和CNN的两种融合方式并在标准数据集上进行了比较。实验结果表明,以融合情感信息的word2vec-ST为词向量层基础,AT-BL C确实获得了更好的准确率和F值。     

基于CNN-LSTM-CS工业管道腐蚀率预测模型

针对传统工业管道腐蚀率预测模型存在特征提取依赖人工经验和泛化能力不足的问题, 本文将卷积神经网络(convolutional neural network, CNN)和长短期记忆网络(long short-term memory, LSTM)相结合, 提出了基于布谷鸟优化算法(cuckoo search, CS)的CNN-LSTM-CS网络模型, 实现对工业管道腐蚀率预测. 首先, 对采集的管道腐蚀数据集进行归一化预处理; 然后, 利用CNN网络提取影响管道腐蚀率因素的深层次特征信息, 并通过训练LSTM网络构建CNN-LSTM预测模型; 最后, 采用CS算法对预测模型进行参数优化, 减少预测误差, 实现腐蚀率的精准预测. 实验结果表明, 对比几种典型的腐蚀率预测方法, 本文提出的方法具有更高的预测精度, 为工业管道腐蚀率检测提供新的思路.     

基于DAM和CNN-LSTM的辅助动力装置性能参数预测模型

针对辅助动力装置(auxiliary power unit, APU)性能参数难以准确预测的问题，提出一种基于特征与时序的双阶段注意力机制(dual-stage attention mechanism,DAM)和卷积神经网络(CNN)-长短期记忆网络(LSTM)的混合模型。所提的方法在特征提取阶段加入了通道注意力机制(Channel attention mechanism ,CAM)；输出阶段加入了时序注意力机制(Temporal attention mechanism ,TAM)，加强了CNN对重要特征的提取能力和历史关键信息对预测输出的影响，并利用改进的粒子群算法对模型关键参数寻优，提高预测精度。实验结果表明，所提出的新方法在多变量输入和多步长的APU排气温度(exhaust gas temperature，EGT)预测中均取得了很好的效果，预测精度大幅提高。     

Generative adversarial network (GAN) and enhanced root mean square error (ERMSE): deep learning for stock price movement prediction

The prediction of stock price movement direction is significant in financial circles and academic. Stock price contains complex, incomplete, and fuzzy information which makes it an extremely difficult task to predict its development trend. Predicting and analysing financial data is a nonlinear, time-dependent problem. With rapid development in machine learning and deep learning, this task can be performed more effectively by a purposely designed network. This paper aims to improve prediction accuracy and minimizing forecasting error loss through deep learning architecture by using Generative Adversarial Networks. It was proposed a generic model consisting of Phase-space Reconstruction (PSR) method for reconstructing price series and Generative Adversarial Network (GAN) which is a combination of two neural networks which are Long Short-Term Memory (LSTM) as Generative model and Convolutional Neural Network (CNN) as Discriminative model for adversarial training to forecast the stock market. LSTM will generate new instances based on historical basic indicators information and then CNN will estimate whether the data is predicted by LSTM or is real. It was found that the Generative Adversarial Network (GAN) has performed well on the enhanced root mean square error to LSTM, as it was 4.35% more accurate in predicting the direction and reduced processing time and RMSE by 78 s and 0.029, respectively. This study provides a better result in the accuracy of the stock index. It seems that the proposed system concentrates on minimizing the root mean square error and processing time and improving the direction prediction accuracy, and provides a better result in the accuracy of the stock index.

     

MDT-CNN-LSTM模型的股价预测研究

股价预测一直是投资者在股票市场中关注的焦点.近年来,深度学习技术在这一领域得到广泛应用.在融合卷积神经网络(CNN)和长短时记忆网络(LSTM),构建CNN-LSTM模型的基础上,引入多向延迟嵌入的张量处理技术MDT(mutiway-delay-embedding),对每日股票因子向量进行因子重构,生成汉克尔矩阵,按时...     

基于生成式对抗神经网络的股票预测研究

针对股票价格具有非线性、非平稳的特点,提出一种结合自注意力机制和残差网络的生成式对抗神经网络模型（SAR-GAN）。该模型的生成器（generator）由长短期记忆网络（LSTM）层、自注意力机制层、残差层等构建而成,用于生成所预测股票的价格;判别器（discriminator）用于鉴别生成的股票价格与真实的股票价格。为验证模型良好的泛化性,选取上证指数及不同股票市场的热点行业龙头股票进行预测实验。实验结果表明,与LSTM、GRU、CNN-LSTM、CNN-GRU等模型相比,SAR-GAN模型能不同程度地减少预测误差。     

结合深度学习和分解算法的股票价格预测研究

针对股票价格预测问题,实现对非平稳、非线性股票价格序列的预测,提出一种结合深度学习和分解算法的股票价格预测模型。该模型引入自适应噪声的完整集成经验模态分解（CEEMDAN）算法提取股票价格时间序列在时间尺度上的特征,利用注意力机制捕获输入特征参数的权重并结合门控循环单元（GRU）网络进行股票价格预测。实验对苹果、贵州茅台等国内外四家公司的股票价格和上证指数进行预测,结果表明与RNN、LSTM等模型相比,所提模型能有效减少预测误差,提高模型拟合能力。