基于长短期记忆多维主题情感倾向性分析模型

针对中文微博全局性情感倾向分类的准确性不高的问题,提出基于长短期记忆模型的多维主题模型（MT-LSTM）。该模型是一个多层多维序列计算模型,由多维长短期记忆（LSTM）细胞网络组成,适用于处理向量、数组以及更高维度的数据。该模型首先将微博语句分为多个层次进行分析,纵向以三维长短期记忆模型（3D-LSTM）处理词语及义群的情感倾向,横向以多维长短期记忆模型（MD-LSTM）多次处理整条微博的情感倾向;然后根据主题标签的高斯分布判断情感倾向;最后将几次判断结果进行加权得到最终的分类结果。实验结果表明,该算法平均查准率达91%,最高可达96.5%;中性微博查全率高达50%以上。与递归神经网络（RNN）模型相比,该算法F-测量值提升40%以上;与无主题划分的方法相比,细致的主题划分可将F-测量值提升11.9%。所提算法具有较好的综合性能,能够有效提升中文微博情感倾向分析的准确性,同时减少训练数据量,降低匹配计算的复杂度。     

基于经验模态分解与投资者情绪的长短期记忆网络股票价格涨跌预测模型

针对传统的基于统计学的回归股票预测模型难以表征多个变量之间的关系,预测出的股票价格趋势误差较大,提出一种基于经验模态分解（EMD）与投资者情绪的长短期记忆（LSTM）神经网络股票价格涨跌预测模型。首先,将股票收盘价通过EMD分解得到若干个具有不同时间尺度的局部特征信号的本征模函数（IMF）;其次,通过引入改进的股票领域情感词典,对东方财富网股吧的帖子,进行上一个股票交易日收盘后和下一个股票交易日开盘前的投资者情感分析,得到下一个股票交易日的投资者情绪指标;最后,将基础的股票基本行情数据、经过EMD得到的IMF以及投资者情绪指标加入LSTM神经网络预测下一个交易日的股票涨跌。仿真实验结果表明,在2019年1月至2021年9月的牧原股份（002714）股票数据上,与单独使用LSTM模型相比,改进后的LSTM模型的预测准确率提高了12.25个百分点,在预测为涨的F1值和预测为跌的F1值上分别提高了1.2个百分点和25.21个百分点。由此可见,基于EMD与投资者情绪的LSTM股票价格涨跌预测模型有效提高了预测精度,为股票市场的涨跌预测提供了一种有效的实验方法。     

基于用户兴趣词典和LSTM的个性化情感分类方法

微博是一个可以分享生活、发表看法、发泄情感的社交平台,由于数据量大且易于获取,微博数据已被广泛用于网络用户情感分析.传统对微博进行情感预测的研究没有考虑用户的用词喜好、语言风格等个性化因素的影响,使得情感分类结果的准确性不高.首先通过分析用户兴趣特征构建用户兴趣词典,在此基础上提出基于用户兴趣词典的情感分类模型;然后利用长短期记忆网络(Long Short-Term Memory,LSTM)分类准确性高的特点训练一个通用的LSTM分类模型;最后利用支持向量机融合不同模型以得到最终的情感分类结果.实验结果表明,与支持向量机、朴素贝叶斯等传统分类器相比,基于用户兴趣词典与LSTM的个性化情感分类方法在分类精度上有较大提升;与LSTM、循环神经网络等深度学习方法相比,该方法在保证运行效率的前提下能获得更高的分类精度.     

基于自注意力长短期记忆网络的Web软件系统实时剩余寿命预测方法

为了能够实时准确对Web软件系统的剩余使用寿命（RUL）进行预测,考虑Web系统健康状态性能指标的时序特性和指标间的相互依赖特性,提出了一种基于自注意力长短期记忆（Self-Attention-LSTM）网络的Web软件系统实时剩余寿命预测方法。首先,搭建加速寿命测试实验平台来收集反映Web软件系统老化趋势的性能指标数据;然后,根据该性能指标数据的时序特性来构建长短期记忆（LSTM）循环神经网络以提取性能指标的隐含层特征,并使用自注意力机制建模特征间的依赖关系;最后,得到系统RUL的实时预测值。在三组测试集上,把所提模型与反向传播（BP）网络和常规的循环神经网络（RNN）做了对比。实验结果表明,所提模型的平均绝对误差（MAE）比长短期记忆（LSTM）网络平均低16.92%,相对准确率（Accuracy）比LSTM网络平均高5.53%,验证了Self-Attention-LSTM网络剩余寿命预测模型的有效性。可见所提方法能为优化系统抗衰决策提供技术支撑。     

LSTM模型在电力系统负荷预测中的应用

为解决数据随时间变化的电力系统短期负荷预测问题,本文阐述、采用和总结线性回归,普通BP神经网络,GRU神经网络,LSTM神经网络在电力系统短期负荷预测中应用的理论基础和方法,分别针对神经网络的多种预测方法进行归纳总结.LSTM即长短期记忆网络,拥有门机制,可以选择性的遗忘和记忆过去的信息,特别能记忆一个序列时间段的信息...     

基于树结构长短期记忆神经网络的金融时间序列预测

针对传统方法对多噪声、非线性的时间序列无法进行有效预测的问题,以多尺度特征融合为切入点,提出并验证了基于树结构长短期记忆（LSTM）神经网络的预测方法。首先,提出了实现预测目标的核心方法,并分析了方法的内在优势;其次,构建了基于树结构长短期记忆神经网络的预测模型;最后,基于最近十年的国际黄金现货交易数据对模型进行了验证。实验结果表明,所提算法预测准确率高出最小成功率近10个百分点,证实了所提方法的有效性。     

融合多源数据输入具有自注意力机制的LSTM股票价格预测

股票价格预测是金融和计算机学科交叉领域的经典问题,由于股票市场的复杂性和高波动性等特征,及时预测股票价格被认为是最具挑战性的问题之一.长短期记忆(LSTM)神经网络在时间序列预测问题中表现出良好的性能.然而,该模型及其改进模型专注于顺序捕获序列信息,在学习输入数据之间非序列性的内部关联方面没有优势.此外,模型在输入数据的融合方面往往并不全面.针对上述问题,提出了融合多源数据、具有自注意力机制的长短期记忆神经网络(SA-LSTM)股票价格预测模型.SA-LSTM模型具有自注意力单元,在学习序列特征时能够快速捕获长距离依赖关系,有效学习数据之间的相关性.在多源数据的融合方面,同时融合与目标股票直接间接相关的数据,解决输入数据不全面的问题.通过对股票次日收盘价预测的实验表明,与其他基准预测模型相比,该模型取得了最佳性能,在不同数据集上均具有最小预测误差.     

基于TG–LSTM神经网络的非完整时间序列预测

针对传统模型对含数据缺失的非完整时间序列预测精度不高的问题,利用长短期记忆(LSTM)神经网络强大的时序建模能力,提出一种带时间门的长短期记忆(TG–LSTM)神经网络.首先,提出一种能同时对输入值在线估计和输出值实时预测的TG–LSTM单元结构;其次,基于TG–LSTM结构设计一种网络的前向传播算法,实现输入填补和输出预测同步进行;然后,建立TG–LSTM神经网络的学习算法来对输入填补和输出预测任务整体训练;最后,通过在Mackey-glass基准数据集,月平均气温数据集和污水处理出水氨氮预测中的实验结果表明:与传统方法相比,TG–LSTM神经网络模型能以更高精度对非完整时间序列进行填补和预测.     

基于Attention-BiLSTM-LSTM神经网络的短期电力负荷预测方法

短期电力负荷预测是电力系统中的重要问题之一,准确的预测结果可以提高电力市场的灵活性和资源利用效率,对电力系统高效运行具有重要意义.为了提高预测精度,针对电网负荷数据的时序性特征,提出一种基于Attention-BiLSTM-LSTM神经网络的短期电力负荷预测方法.该方法首先针对电力负荷的影响因素(温度、节假日等)提取特征,并使用双向长短期记忆(BiLSTM)神经网络层进行双向时序的特征学习;将双向时序特征作为长短期记忆(LSTM)神经网络层的输入,用LSTM神经网络建模学习时序数据的内部变化规律;使用attention机制计算LSTM隐层状态的不同权重,以对隐层状态进行选择性地关注;结合注意力权重和LSTM神经网络进行负荷预测,最后使用全连接层输出负荷预测结果.使用EUNIT电力负荷数据集进行实验,采用提前单点预测模式,该方法的平均绝对百分比误差(MAPE)达到1.66％,均方根误差(RMSE)达到814.85.通过与单LSTM网络、基于attention机制的LSTM网络(Attention-LSTM)、前馈神经网络(FFNN)、卷积神经网络联合长短期记忆神经网络(CNN-LSTM)等4种典型的负荷预测模型结果对比,验证了Attention-BiLSTM-LSTM神经网络方法更加准确有效.     

基于深度长短期记忆网络的地表温度预测

研究利用美国宇航局获取的2000年1月至2021年8月共260个月份的模拟网格数据，提取得到美国德克萨斯州的休斯顿地区地表温度时间序列。在长短期记忆网络（LSTM）结构的基础上，通过深层次构建LSTM网络结构得到深度长短期记忆网络的模型结构，对得到的地表温度数据进行预测。同时，利用遗传算法优化选取最优网络层数，预测时间步长等超参数值。深度LSTM网络模型的实验结果表明，深层LSTM误差均低于百分之一，且比单层模型性能表现优异。     

基于BiLSTM-CNN串行混合模型的文本情感分析

针对现有文本情感分析方法准确率不高、实时性不强以及特征提取不充分的问题,构建了双向长短时记忆神经网络和卷积神经网络（BiLSTM-CNN）的串行混合模型。首先,利用双向循环长短时记忆（BiLSTM）神经网络提取文本的上下文信息;然后,对已提取的上下文特征利用卷积神经网络（CNN）进行局部语义特征提取;最后,使用Softmax得出文本的情感倾向。通过与CNN、长短时记忆神经网络（LSTM）、BiLSTM等单一模型对比,所提出的文本情感分析模型在综合评价指标F1上分别提高了2.02个百分点、1.18个百分点和0.85个百分点;与长短时记忆神经网络和卷积神经网络（LSTM-CNN）、BiLSTM-CNN并行特征融合等混合模型对比,所提出的文本情感分析模型在综合评价指标F1上分别提高了1.86个百分点和0.76个百分点。实验结果表明,基于BiLSTM-CNN的串行混合模型在实际应用中具有较大的价值。     

基于情感词典和堆叠残差的双向长短期记忆网络的情感分析

情感分析作为自然语言处理（NLP）的细分研究方向经历了使用情感词典、机器学习和深度学习分析的发展过程。针对使用一般化的深度学习模型作为文本分类器对于特定领域的网络评论类型的文本的分析的精准度较低,训练时发生过拟合现象以及情感词典覆盖率低、编纂工作量大的问题,提出了基于情感词典和堆叠残差的双向长短期记忆（Bi-LSTM）网络的情感分析模型。首先,借助情感词典中情感词的设计覆盖“教育机器人”研究领域内的专业词汇,从而弥补Bi-LSTM模型在分析此类文本时精准度的不足;然后,使用Bi-LSTM和SnowNLP来降低情感词典的编纂体量。长短期记忆（LSTM）网络的“记忆门”“遗忘门”结构可以在保证充分考虑评论文本中的前后词语的关联性的同时,适时选择遗忘一些已分析词语,从而避免反向传播时的梯度爆炸问题。而在将堆叠残差的Bi-LSTM引入后,不仅使得模型的层数加深至8层,而且还使残差网络避免了叠加LSTM时会导致的“退化”问题;最后,通过适当设置和调整两部分的得分权重,并将总分使用Sigmoid激活函数标准化到［0,1］的区间上,按照［0,0.5］,（0.5,1］的区间划分分别表示负面和正面情绪,完成情感分类。实验结果表明,在“教育机器人”评论数据集中,所提模型对于情感分类准确率相较于标准的LSTM模型提升了约4.5个百分点,相较于BERT提升了约2.0个百分点。综上,所提模型将基于情感词典和深度学习模型的情感分类方法一般化;而通过修改情感词典中的情感词汇并适当调整深度学习模型的结构和层数,所提模型可以应用于电子商务平台中各类商品的购物评价的精确情感分析,从而帮助企业洞悉消费者的购物心理和市场需求,同时也可以为消费者提供商品质量的一种参考标准。     

基于ISSA-LSTM的热舒适短期预测模型

为解决在测试日内的短期预测过程中,农村城镇人体热舒适中建筑惰性及人员等随机因素使人体感受变化的样本对预测结果影响大而导致预测精准度低的问题,提出基于改进麻雀搜索算法（Improvement Sparrow Search Algorithm, ISSA）优化长短期记忆神经网络（Long Short-Term Memory Neural Network, LSTM）的方法建立新型户用空调热舒适短期预测模型。首先,对测试日气象数据进行动态性分析,对数据进行有效性验证并构建多种热舒适预测模型;随后选用新型户用热舒适短期预测模型（ISSA-LSTM）对热舒适进行预测。结果表明,模型的最高预测均方误差（Mean Squared Error,MSE）比麻雀搜索算法（Sparrow Search Algorithm,SSA）和蜣螂优化算法（Dung beetle optimizer,DBO）优化LSTM分别提高了0.02296和0.10827,采用ISSA-LSTM方法后改善了短期热舒适预测的精度问题,并提高了分体式空调通过热舒适来控制温度的性能。     

多源异构数据融合驱动的股票指数预测研究

现代信息技术的广泛应用使得资本市场投资者能够获得更及时、更有价值的信息,也更容易受到金融论坛、专业投资网站的影响。融合资本市场的多源异构数据对股票指数进行预测成为该领域的研究热点。提出了一种基于多源异构数据的长短期神经网络（Long Short-Term Memory,LSTM）模型,通过对融合资本市场交易数据、技术指标数据、投资者情绪三种源数据的量化来预测股票指数的走势。提出了一种可以提取深度情感特征的卷积神经网络（Convolutional Neural Networks,CNN）情感分析模型,构建了投资者情绪特征模型。利用“上证50指数”数据进行实验,结果显示：LSTM模型的预测准确率比传统模型更为优秀,数据源的增加也对模型准确率的提升有较大贡献,验证了该方法的可行性和有效性。     

基于多注意力长短时记忆的实体属性情感分析

属性情感分析是细粒度的情感分类任务。针对传统神经网络模型无法准确构建属性情感特征的问题，提出了一种融合多注意力和属性上下文的长短时记忆（LSTM-MATT-AC）神经网络模型。在双向长短时记忆（LSTM）的不同位置加入不同类型的注意力机制，充分利用多注意力机制的优势，让模型能够从不同的角度关注句子中特定属性的情感信息，弥补了单一注意力机制的不足；同时，融合双向LSTM独立编码的属性上下文语义信息，获取更深层次的情感特征，有效识别特定属性的情感极性；最后在SemEval2014 Task4和Twitter数据集上进行实验，验证了不同注意力机制和独立上下文处理方式对属性情感分析模型的有效性。实验结果表明，模型在Restaurant、Laptop和Twitter领域数据集上的准确率分别达到了80.6%、75.1%和71.1%，较之前基于神经网络的情感分析模型在准确率上有了进一步的提高。     

K-Similarity降噪的LSTM神经网络水质多因子预测模型

针对水质预测问题,以地表水水质监测因子作为研究对象,提出了一种基于长短期记忆（LSTM）神经网络的水质多因子预测模型,同时利用提出的K-Similarity降噪法对模型的输入数据进行降噪,提高模型预测性能.通过与BP神经网络、RNN和传统的LSTM神经网络预测模型进行对比实验,证明了所提出的方法均方误差最小,预测结果更准确.     

消费者偏好预测的深度学习神经网络模型

通过对于人类大脑活动的研究来分析消费者对广告和产品的反应的神经营销正在受到新的关注。针对基于脑电波（EEG）的神经营销，提出了一种基于深度学习神经网络的消费者对产品的偏好预测方法。首先，为了提取消费者EEG的特征，采用短时傅里叶变换（STFT）与双调和样条插值，从多通道脑电信号中得到了5个不同频带的EEG形图视频；然后，提出了一种结合5个三维卷积神经网络（3D CNN）与多层长短期记忆（LSTM）神经网络的预测模型，用于从脑电地形图视频预测到消费者的偏好。与卷积神经网络（CNN）模型和LSTM神经网络模型相比，消费者依赖模型的平均准确度分别提高了15.05个百分点和19.44个百分点，消费者独立模型的平均准确度分别提高了16.34个百分点和17.88个百分点。理论分析与实验结果表明，所提出的消费者偏好预测系统可以以低成本提供有效的营销策略开发和营销管理。     

基于注意力机制的卷积-双向长短期记忆模型跨领域情感分类方法

针对现有跨领域情感分类方法中文本表示特征忽略了重要单词的情感信息，且在迁移过程中存在负迁移的问题，提出一种基于注意力机制的卷积-双向长短期记忆（AC-BiLSTM）模型的知识迁移方法。首先，利用低维稠密的词向量对文本进行向量表示；其次，采用卷积操作获取局部上下文特征之后，通过双向长短期记忆（BiLSTM）网络充分考虑特征之间的长期依赖关系；然后，通过引入注意力机制考虑不同词汇对文本的贡献程度，同时为了避免迁移过程中出现负迁移现象，在目标函数中引入正则项约束；最后，将在源领域产品评论训练得到的模型参数迁移到目标领域产品评论中，并在少量目标领域有标注数据上进行微调。实验结果表明，与AE-SCL-SR方法和对抗记忆网络（AMN）方法相比，AC-BiLSTM方法的平均准确率分别提高了6.5%和2.2%，AC-BiLSTM方法可以有效地提高跨领域情感分类性能。