结合模糊控制的时序数据预测循环神经网络

时序数据处理任务中,循环神经网络模型以及相关衍生模型有较好的性能,如长短期记忆模型(LSTM),门限循环单元(GRU)等.模型的记忆层能够保存每个时间步的信息,但是无法高效处理某些领域的时序数据中的非等时间间隔和不规律的数据波动,如金融数据.本文提出了一种基于模糊控制的新型门限循环单元(GRU-Fuzzy)来解决这些问题.本文在GRU的基础上对记忆层增加了一个子空间分解,由模糊控制模块和一个启发式的失效函数组成,根据数据波动和时间间隔决定记忆层保留的信息量,从而提升模型性能.实验表明,相比于其他的循环神经网络模型,在标普500和上证50中选出股票的股价预测任务中,本文提出的模型有较好的表现.     

采用CNN和Bidirectional GRU的时间序列分类研究

时间序列数据具有非离散性、数据之间的时序相关性、特征空间维度大等特点,当前大多数分类方法需要经过复杂的数据处理或特征工程,未考虑到时间序列具有不同时间尺度特征以及序列数据之间的时序依赖。通过结合卷积神经网络和循环神经网络中的双向门控循环单元,提出了一个新的端对端深度学习神经网络模型BiGRU-FCN,不需要对数据进行复杂的预处理,并且通过不同的网络运算来获取多种特征信息,如卷积神经网络在时序信息上的空间特征以及双向循环神经网络在序列上的双向时序依赖特征,对单维时间序列进行分类。在大量的基准数据集上对模型进行实验与评估,实验结果表明,与现有的多种方法相比,所提出的模型具有更高的准确率,具有很好的分类效果。     

用于机器人轨迹定位纠正系统的回声状态神经网络研究

循环神经网络(RecurrentNeuralNetworks)是人工神经网络(ArtificialNeuralNetworks)中重要的分支,与前馈神经网络(ForwardNeuralNetworks)相比具有更好的时间序列学习能力。但长期以来其学习法一直不能脱离前馈神经网络而自成一体,回声状态神经网络(EchoStateNetworks(ESN))是打破这一局面的全新学习方法。其独特的结构,良好的短期记忆能力,方便的学习方法,不俗的非线性特性是以前循环神经网络所不可比的。本文在介绍了回声状态神经网络之后将其用于四轮机器人的位置测量系统中,有良好的表现。     

循环神经网络研究综述

循环神经网络是神经网络序列模型的主要实现形式,近几年得到迅速发展,其是机器翻译、机器问题回答、序列视频分析的标准处理手段,也是对于手写体自动合成、语音处理和图像生成等问题的主流建模手段.鉴于此,循环神经网络的各分支按照网络结构进行详细分类,大致分为3大类:一是衍生循环神经网络,这类网络是基于基本RNNs模型的结构衍生变体,即对RNNs的内部结构进行修改;二是组合循环神经网络,这类网络将其他一些经典的网络模型或结构与第一类衍生循环神经网络进行组合,得到更好的模型效果,是一种非常有效的手段;三是混合循环神经网络,这类网络模型既有不同网络模型的组合,又在RNNs内部结构上进行修改,是同属于前两类网络分类的结构.为了更加深入地理解循环神经网络,进一步介绍与循环神经网络经常混为一谈的递归神经网络结构以及递归神经网络与循环神经网络的区别和联系.在详略描述上述模型的应用背景、网络结构以及模型变种后,对各个模型的特点进行总结和比较,并对循环神经网络模型进行展望和总结.     

一种序列文字识别方法

随着人工智能的发展,文字识别技术一方面有助于存储文本信息,一方面有助于机器对文本内容理解。文字识别技术在不断改进的同时,也被寄予更高的要求。相对于传统字符识别,一种序列文字识别方法将会更有效。因此,提出一种基于深度学习的端到端序列文字识别方法。为提取序列文本中的信息,也考虑到深度学习的运算量和运算资源,序列文本中的时序信息使用GRU网络提取,有效利用了文本中的时序关系。通过该方法,获得了非常好的识别效果。     

一种基于Attention-GRU和iForest的周期性时间序列异常检测算法

对数据中异常模式的检测（异常检测）是数据分析领域一个非常重要的研究方向,尤其对时间序列的异常检测是其中的一个难点。目前,关于时序数据异常检测的研究有很多,如利用滑动窗口、小波分析、概率图模型、循环神经网络等不同技术来进行检测,但是在处理问题时还存在或多或少的不足,无法保证实际工程中的实时效率和准确性。针对周期性时间序列异常检测问题,提出一种基于Attention-GRU和iForest的异常检测算法,根据带有注意力机制的循环神经网络构建模型,实现预测长序列数据,保证工程检测效率,并通过iForest建立正常数据波动区间,避免了使用假设检验造成的误差。经实践验证,该算法能够提高实际工程中的周期性时序数据异常检测效率,并有较好的召回率和准确率。     

基于知识图谱嵌入与多神经网络的序列推荐算法

循环神经网络在序列推荐中占有重要地位,但在推荐中,用户的行为序列远比自然语言处理中的句子或计算机视觉中的图像要复杂得多。单一的循环神经网络结构难以充分地挖掘用户偏好,因此提出一种新型的序列推荐算法,同时考虑序列的时间信息以及内容信息。主要分为2个部分：改进的项目嵌入和序列偏好学习。首先,提出一种融合知识图谱的项目嵌入方法,用于生成高质量的项目向量;其次,提出一种卷积神经网络结合长短时记忆神经网络的序列建模方法。更进一步地提出一个基于注意力的框架,动态地结合用户的兴趣点。在公开数据集MovieLens10M上与传统方法以及现有的同类型方法进行了比较。实验结果表明,所提算法在推荐评价指标平均倒数排名MRR@N以及召回率Recall@N上有显著的提升,验证了该算法的有效性。     

基于SMOTE和RNN的肾移植排斥反应预测

肾移植手术在当今的应用越来越广泛,对于排斥反应的预测变得更加重要。针对排斥反应数据特点中存在的数据的维度高、数据时序性、样本不均衡等问题,将循环神经网络应用于肾移植排斥反应的预测,本文提出一种结合SMOTE(Synthetic Minority Over-sampling Technique)以及RNN(Recurrent Neural Network)的算法。该方法先处理数据,降低正负样本的不平衡度,且解决样本量不足的问题,再根据RNN的学习过程进行关键参数调整、优化。经过实验发现,该方法可以有效提升正负分类的准确率,与传统的马尔可夫时间序列预测算法相比,准确率提高了16.7%,传统RNN训练经过优化后,相对错误率下降了5.03%,可以使用该方法进行肾移植排斥反应的有效预测。     

基于循环神经网络的Modbus/TCP模糊测试算法

Modbus/TCP安全漏洞挖掘的相关协议包常采用随机方式生成,易产生过多无效包,降低漏洞挖掘效率。为此,基于循环神经网络(RNN)提出结构性模糊算法Fuzzy-RNN。从Modbus/TCP训练集中学习协议包各部分的概率分布,并考虑极端参数条件,实现针对性的模糊生成。实验结果表明,与通用模糊测试器GPF相比,Fuzzy-RNN算法在Modbus Slave、xMasterSlave等多种仿真软件上能以更高概率实现合法协议包的模糊生成,测试时间缩减50%以上,测试效率明显提高。     

基于分层编码的深度增强学习对话生成

面向对话生成问题,提出一种构建对话生成模型的方法--基于分层编码的深度增强学习对话模型（EHRED）,用以解决当前标准序列到序列（seq2seq）结构采用最大似然函数作为目标函数所带来的易生成通用回答的问题。该方法结合了分层编码和增强学习技术,利用分层编码来对多轮对话进行建模,在标准seq2seq的基础上新增了中间层来加强对历史对话语句的记忆,而后采用了语言模型来构建奖励函数,进而用增强学习中的策略梯度方法代替原有的最大似然损失函数进行训练。实验结果表明EHRED能生成语义信息更丰富的回答,在标准的人工测评中,其效果优于当前广泛采用的标准seq2seq循环神经网络（RNN）模型5.7~11.1个百分点。     

基于随机失活的循环神经网络交通事件预测

智能交通是现代交通发展的前沿领域,交通事件预测是其中的一个研究热点.传统BP神经网络模型是交通事件分析中常用的模型分析方法之一,但易陷入局部极值,不适合处理长期且连续的交通事件数据.为解决上述问题,提出使用循环神经网络处理交通事件数据,利用循环神经网络模型的有限时间长度记忆优势,构建序列数据分类模型来训练数据,采用随机失活方法去除模型的过拟合问题,通过达拉斯地区的实际流量数据验证,将预测结果与传统BP神经网络模型方法作对比.实验对比结果表明,该综合算法在预测精度和损失值方面均有较明显提升,验证了方法的有效性.     

基于循环神经网络的语义完整性分析

本文提出了一种基于循环神经网络的语义完整性分析方法,通过判断句子是否语义完整,将长文本切分成多个语义完整句.首先,对文本进行分词,映射为相应的词向量并进行标注,然后将词向量和标注信息通过循环窗口和欠采样方法处理后,作为循环神经网络的输入,经过训练最后得到模型.实验结果表明,该方法可以达到91.61%的准确率,为主观题自动评分工作提供了基础,同时对语义分析、问答系统和机器翻译等研究有一定的帮助.     

基于周期性建模的时间序列预测方法及电价预测研究

时间序列数据广泛存在于人类的生产生活中, 通常具有复杂的非线性动态和一定的周期性. 与传统的时间序列分析方法相比, 基于深度学习的方法更能捕捉数据的深层特性, 对具有复杂非线性的时间序列有较好的建模效果. 为了在神经网络中显式地建模时间序列数据的周期性和趋势性, 本文在循环神经网络的基础上引入了周期损失和趋势损失, 建立了基于周期性建模和多任务学习的时间序列预测模型. 将模型应用到欧洲能源交易所法国市场的能源市场价格预测中, 结果表明周期损失和趋势损失能够提高神经网络的泛化能力, 并提高预测时间序列趋势的精度.     

基于改进深度信念网络的农业温室温度预测方法

针对浅层神经网络面对温室复杂多变环境因子表征能力低、学习时间长的问题，提出一种基于改进深度信念网络并结合经验模态分解与门控循环单元的温室预测方法。首先，通过经验模态分解将温度环境因子进行信号分解，之后将分解出来的固有模态函数与残差信号进行不同程度的预测；然后，引入神经胶质改进深度信念网络，并将分解信号结合光照和二氧化碳进行多属性的特征提取；最后，将门控循环单元预测的信号分量相加获得最终的预测结果。仿真实验结果表明，与经验模态分解-深度信念网络（EMD-DBN）和深度信念网络-神经胶质链（DBN-g）相比，所提方法的预测误差分别降低了6.25%和5.36%，验证了其在强噪声、强耦合的温室时序环境下预测的有效性和可行性。     

基于序列输入的神经网络模型算法及应用

为提高神经网络的逼近能力,提出一种基于序列输入的神经网络模型及算法。模型隐层为序列神经元,输出层为普通神经元。输入为多维离散序列,输出为普通实值向量。先将各维离散输入序列值按序逐点加权映射,再将这些映射结果加权聚合之后映射为隐层序列神经元的输出,最后计算网络输出。采用Levenberg-Marquardt算法设计了该模型学习算法。仿真结果表明,当输入节点和序列长度比较接近时,模型的逼近能力明显优于普通神经网络。