基于TG–LSTM神经网络的非完整时间序列预测

针对传统模型对含数据缺失的非完整时间序列预测精度不高的问题,利用长短期记忆(LSTM)神经网络强大的时序建模能力,提出一种带时间门的长短期记忆(TG–LSTM)神经网络.首先,提出一种能同时对输入值在线估计和输出值实时预测的TG–LSTM单元结构;其次,基于TG–LSTM结构设计一种网络的前向传播算法,实现输入填补和输出预测同步进行;然后,建立TG–LSTM神经网络的学习算法来对输入填补和输出预测任务整体训练;最后,通过在Mackey-glass基准数据集,月平均气温数据集和污水处理出水氨氮预测中的实验结果表明:与传统方法相比,TG–LSTM神经网络模型能以更高精度对非完整时间序列进行填补和预测.     

一种简化门控结构的增强序列文本语义匹配模型研究

在自然语言处理的文本相似度匹配方面,针对长短期记忆网络拥有多个控制门层,导致其在训练过程中需要一定的硬件计算能力和计算时间成本,提出一种基于Bi-GRU的改进ESIM文本相似度匹配模型。该模型在双向LSTM(BiLSTM)的ESIM模型的基础上,通过Bi-GRU神经网络进行数据训练,提高模型的训练性能。实验表明,在公开数据集QA_corpus和LCQMC上分别进行测试,改进后的ESIM模型较之原先模型,在结果数据对比图中,绝大部分组的损失函数数值均小于原先模型,准确率数值均大于原先模型。     

基于PF-LSTM网络的高效网络流量预测方法

传统网络流量预测模型存在泛化能力弱和预测准确度低等缺点。为解决此问题,提出一种基于长短期记忆（LSTM）循环神经网络的网络流量预测模型。首先,用距离比较和优化组合策略改进粒子滤波算法（PF）的重采样过程;然后搭建PF-LSTM网络的网络流量预测模型,将改进的PF算法用于模型训练,提高其训练速率,克服传统LSTM网络中收敛于局部最优的缺点;最后将提出的模型用于网络流量预测。实验结果表明,相比传统的LSTM模型,提出的PF-LSTM模型具有较好的预测精度和收敛效率,能够更好地描述网络流量的变化趋势。     

基于自注意力长短期记忆网络的Web软件系统实时剩余寿命预测方法

为了能够实时准确对Web软件系统的剩余使用寿命（RUL）进行预测,考虑Web系统健康状态性能指标的时序特性和指标间的相互依赖特性,提出了一种基于自注意力长短期记忆（Self-Attention-LSTM）网络的Web软件系统实时剩余寿命预测方法。首先,搭建加速寿命测试实验平台来收集反映Web软件系统老化趋势的性能指标数据;然后,根据该性能指标数据的时序特性来构建长短期记忆（LSTM）循环神经网络以提取性能指标的隐含层特征,并使用自注意力机制建模特征间的依赖关系;最后,得到系统RUL的实时预测值。在三组测试集上,把所提模型与反向传播（BP）网络和常规的循环神经网络（RNN）做了对比。实验结果表明,所提模型的平均绝对误差（MAE）比长短期记忆（LSTM）网络平均低16.92%,相对准确率（Accuracy）比LSTM网络平均高5.53%,验证了Self-Attention-LSTM网络剩余寿命预测模型的有效性。可见所提方法能为优化系统抗衰决策提供技术支撑。     

基于极性转移和LSTM的树结构网络与句子分类

长短期记忆网络(long short term memory,LSTM)是一种能长久储存序列信息的循环神经网络,在语言模型、语音识别、机器翻译等领域都得到了广泛的应用。先研究了前人如何将LSTM中的记忆模块拓展到语法树得到LSTM树结构网络模型,以获取和储存句子深层次的语义结构信息;然后针对句子词语间的极性转移在LSTM树结构网络模型中添加了极性转移信息提出了极性转移LSTM树结构网络模型,更好获取情感信息来进行句子分类。实验表明在Stanford sentiment tree-bank数据集上,提出的极性转移LSTM树结构网络模型的句子分类效果优于LSTM、递归神经网络等模型。     

基于IPSO-LSTM神经网络的短期负荷预测

在电网负荷预测方面,LSTM模型有较好的预测精度.但模型参数需要手动设置,网络训练时间长.提出一种改进粒子群算法(IPSO)与长短期记忆网络(LSTM)相结合的预测模型(IPSO-LSTM).利用IPSO对LSTM网络的神经元数,学习率等参数进行优化,自动寻找合适参数,提高预测精度和收敛速度.以某地电力公司的历史负荷数据作为输入数据,迭代训练网络.对比IPSO-LSTM模型和由经验公式所得的LSTM模型的预测结果,发现新模型的MAPE比LSTM网络降低了0.8％,最大相对误差比LSTM网络降低了 4％,收敛速度更快.实验表明所提新模型拥有更高的预测精度和收敛速度.     

基于CNN-LSTM的短期风电功率预测

短期风电功率预测对电力系统的安全稳定运行和能源的优化配置具有重要意义。鉴于卷积神经网络(CNN)高效的数据特征提取能力,以及长短期记忆网络(LSTM)描述时间序列长期依赖关系的能力。为了提高短期风电功率预测的精度,设计了一种基于CNN和LSTM的风电功率预测模型。该模型利用卷积神经网络对风电功率、风速、风向数据进行多层卷积和池化堆叠计算,提取风电功率相关数据的特征图谱。为了描述风电功率序列的时序依从关系,将图谱特征信息作为长短期记忆网络的输入信息,计算得到风电功率的预测结果。采用西班牙某风电场的实测数据进行模型预测精度验证。结果表明,该模型较LSTM、Elman模型具有更好的预测性能。     

非饱和区扩展的RNN算法优化

针对长短时记忆网络(LSTM)型循环神经网络(RNN)收敛速度慢,提出了扩展激活函数非饱和区的RNN算法优化.针对LSTM型RNN的训练过程收敛速度慢的原因以及激活函数的性质,提出了加快RNN训练过程收敛的解决方法.通过字符级语言模型对优化方法进行了验证,结果表明:非饱和区扩展的RNN算法优化有效地加快了RNN训练过程的收敛.     

基于深度学习的藏文分词方法

重点研究将深度学习技术应用于藏文分词任务,采用多种深度神经网络模型,包括循环神经网络(RNN)、双向循环神经网络(Bi RNN)、层叠循环神经网络(Stacked RNN)、长短期记忆模型(LSTM)和编码器-标注器长短期记忆模型(Encoder-Labeler LSTM)。多种模型在以法律文本、政府公文、新闻为主的分词语料中进行实验,实验数据表明,编码器-标注器长短期记忆模型得到的分词结果最好,分词准确率可以达到92.96%,召回率为93.30%,F值为93.13%。     

结合模糊控制的时序数据预测循环神经网络

时序数据处理任务中,循环神经网络模型以及相关衍生模型有较好的性能,如长短期记忆模型(LSTM),门限循环单元(GRU)等.模型的记忆层能够保存每个时间步的信息,但是无法高效处理某些领域的时序数据中的非等时间间隔和不规律的数据波动,如金融数据.本文提出了一种基于模糊控制的新型门限循环单元(GRU-Fuzzy)来解决这些问题.本文在GRU的基础上对记忆层增加了一个子空间分解,由模糊控制模块和一个启发式的失效函数组成,根据数据波动和时间间隔决定记忆层保留的信息量,从而提升模型性能.实验表明,相比于其他的循环神经网络模型,在标普500和上证50中选出股票的股价预测任务中,本文提出的模型有较好的表现.