神经网络的预测性能的优化分析

神经网络的应用广泛领域就是预测,主要是利用它的函数逼近映射能力进行预测。分析了影响神经网络预测精度的因素,提出了几种提高神经网络预测性能的方法,为提高神经网络预测精度提供了一定的思想和方法。     

基于混合遗传神经网络的百米跑成绩预测方法

在遗传算法(Genetic ALgorithm)与BP(Back Propagation)网络结构模型相结合的基础上,设计了用遗传算法训练神经网络权重的新方法,并把这种方法用于运动员百米跑成绩预测。与BP算法和LM(Levenberg Marquardt)算法相比,基于混合遗传算法的神经网络不仅有较快的学习速度和较好的学习精度,而且网络的泛化能力(Generalization Ability)得到了很大提高。     

对一种递归神经网络算法的修正

本文指出了Ｃｈａｏ－ｃｈｅｅ Ｋｕ等人提出的对角递归神经网络算法中存在的不足，并给出了修正算法，数学分析及仿真结果表明，本文所做的修正是合理的。     

基于随机失活的循环神经网络交通事件预测

智能交通是现代交通发展的前沿领域,交通事件预测是其中的一个研究热点.传统BP神经网络模型是交通事件分析中常用的模型分析方法之一,但易陷入局部极值,不适合处理长期且连续的交通事件数据.为解决上述问题,提出使用循环神经网络处理交通事件数据,利用循环神经网络模型的有限时间长度记忆优势,构建序列数据分类模型来训练数据,采用随机...     

小波神经网络在粮食产量预测中的应用

文章提出一种基于小波神经网络的粮食产量预测模型。给出具体的网络学习算法,并结合算法对我国粮食产量进行预测。为验证模型有效性,进行了对比测试。分析结果表明,小波神经网络模型比传统的BP神经网络模型具有收敛速度快,预测精度高的特点。     

联合无监督词聚类的递归神经网络语言模型

研究表明,在递归神经网络语言模型的输入层加入词性标注信息,可以显著提高模型的效果. 但使用词性标注需要手工标注的数据训练,耗费大量的人力物力,并且额外的标注器增加了模型的复杂性. 为了解决上述问题,本文尝试将布朗词聚类的结果代替词性标注信息加入到递归神经网络语言模型输入层. 实验显示,在Penn Treebank语料上,加入布朗词类信息的递归神经网络语言模型相比原递归神经网络语言模型困惑度下降8~9%.     

应用模糊神经网络预测油田产量

为了研究受多变量、时变和不确定因素影响的油田产量预测问题,将模糊逻辑推理技术与人工神经网络相结合,构建具有模糊逻辑推理和学习功能的模糊神经网络(FNN)系统。该系统基于现有的油田开发历史数据,建立相应的规则集,使用神经网络的训练方法(如梯度下降学习算法),在训练过程中调整参数,并自适应增加规则,以使系统的输出最佳地逼近于目标样本。通过对某油田的实际开发历史数据的拟合与测试,结果表明该模糊神经网络能够较精确地预测未来的油产量,与常规的BP神经网络相比,其预测精度更高、训练速度更快。因此,基于模糊神经网络(FNN)的油田产量预测方法研究具有较好的实际应用价值。     

混合预测模型在网络性能预测中的应用

分析比较不同预测模型的特点及应用条件,基于一次指数平滑模型、二次指数平滑模型和灰色系统模型GM（1,1）,提出并设计能适应网络性能数据序列的混合预测模型。实际应用证明,该模型预测效果良好,能够较好地实现一段时间内的网络性能预测任务。     

BP神经网络预测全国私人汽车拥有量

利用前向多层神经网络的反向传播算法，即BP算法。采用MATLAB软件建立用于预测的BP神经网络(4-5-2)，将已知私人汽车拥有量对BP神经网络进行训练，建立私人汽车拥有量时间序列的预测模型，此BP神经网络可以成功对私人汽车拥有量进行预测计算。     

BP神经网络在水质参数预测中的应用

介绍了如何使用BP神经网络在已经有大量历史数据的基础上来预测未来的水质参数和如何使用函数来实现BP算法来预测未来水质参数的程序。     

模糊神经网络在电力短期负荷预测中的应用

提出用于电力短期负荷预测(SILF)的一种模糊神经网络(FNN)方法，该方法针对BP网络收敛速度慢、易导致局部极小值的缺点，将考虑气候、温度、星期类型等影响因素的模糊技术与快速二阶BP网络相结合，并以南方电网负荷预测为例，应用MATLAB蚀语言对系统进行仿真训练，测试结果表明，该方法具有较高的预测精度。     

反馈神经网络在入侵检测系统中的应用

对基于网络的入侵检测系统进行了研究,提出了将反馈网络应用于入侵检测系统中,使用一种改进的Jordan神经网络算法,借助于反馈神经网络提取描述攻击模式的特征和进行规则推导,然后用神经网络建立的规则集进行入侵检测,实验证明利用反馈神经网络提高了入侵检测系统的性能。     

Testing Forecast Accuracy of Foreign Exchange Rates: Predictions from Feed Forward and Various Recurrent Neural Network Architectures

In this research, we work with data of futures contracts on foreign exchange rates for British pound (BP), Canadian dollar (CD), and Japanese yen (JY) that are traded at the Chicago Mercantile Exchange (CME) against US dollars. We model relationships between exchange rates in these currencies using linear models, feed forward artificial neural networks (ANN), and three versions of recurrent neural networks (RNN1, RNN2 and RNN3) for predicting exchange rates in these currencies against the US dollar. Our results on forecast evaluations based on AGS test the tests of forecast equivalence between any two competing models among the entire models employed for each of the series show that ANN and the three versions of RNN models offer superior forecasts for predicting BP, CD and JY exchange rates although the forecast evaluations based on MGN test are in sharp contrast. On the other hand forecast based on SIGN test shows that ANN and all the versions of RNN models offer superior forecasts for BP and CD in exception of JY exchange rates. The results for forecast evaluation for all the models for each of the series based on summary measures of forecast evaluations show that RNN3 model appears to offer the most accurate predictions of BP and RNN1 for JP exchange rates. However, none of the RNN models appear to be statistically superior to the benchmark (i.e., linear model) for predicting CD exchange rates.      

基于动态递归网络的PID自适应控制器的设计与应用

本文分析了改进的ELMAN网络的结构,并讨论了神经网络的学习算法,针对BP算法的缺陷,提出了用遗传算法修正网络权值的学习算法。本文不仅将采用遗传算法进行训练的改进ELMAN网络应用于汽车磷化加热系统的建模,而且针对该系统的特点提出了一种带预测模型的神经网络PID自适应控制器,并最后将该控制器应用于磷化温度控制,取得了良好的控制效果。     

时频联合长时循环神经网络

时间序列建模问题因有着重要的应用价值已经成为机器学习领域的研究热点之一.循环神经网络(recurrent neural network, RNN)是近年来时间序列建模的一个重要工具.但是,现有循环神经网络无法处理长时依赖关系的时序数据,也没有在频域对时间序列数据的特征模式进行建模.对于那些包含长时依赖且频率成分丰富的时序数据,这2个问题大大限制了现有循环神经网络的性能.针对这些问题,提出了时频联合长时循环神经网络(long term recurrent neural network with state-frequency memory, LTRNN-SFM),通过将传统循环神经网络隐藏层的状态向量替换为状态-频率矩阵,实现对时间序列的时域特征和频域特征的联合建模.同时,通过解耦隐藏层神经元、引入ReLU(rectified linear unit)激活函数和权重裁剪,该模型可以有效避免梯度消失和梯度爆炸问题的干扰,使得深层网络训练更加容易、网络记忆周期更长.实验表明：时频联合长时循环神经网络在处理长时依赖且频率成分丰富的时序数据上,取得了最好的性能.     

基于循环神经网络的语义完整性分析

本文提出了一种基于循环神经网络的语义完整性分析方法,通过判断句子是否语义完整,将长文本切分成多个语义完整句.首先,对文本进行分词,映射为相应的词向量并进行标注,然后将词向量和标注信息通过循环窗口和欠采样方法处理后,作为循环神经网络的输入,经过训练最后得到模型.实验结果表明,该方法可以达到91.61%的准确率,为主观题自动评分工作提供了基础,同时对语义分析、问答系统和机器翻译等研究有一定的帮助.     

Robust Recurrent Neural Network Control of Biped Robot

In this paper, a recurrent neural network (RNN) control scheme is proposed for a biped robot trajectory tracking system. An adaptive online training algorithm is optimized to improve the transient response of the network via so-called conic sector theorem. Furthermore, L ₂-stability of weight estimation error of RNN is guaranteed such that the robustness of the controller is ensured in the presence of uncertainties. In consideration of practical applications, the algorithm is developed in the discrete-time domain. Simulations for a seven-link robot model are presented to justify the advantage of the proposed approach. We give comparisons between the standard PD control and the proposed RNN compensation method.     

基于循环神经网络的多阶段图像去噪方法

图像在采集和传输过程中往往受到噪声污染,去噪任务是图像预处理中的重要步骤.现有的基于深度学习的图像去噪方法往往只进行单次的去噪,容易产生过于平滑或者太多噪点未去除的结果且无法恢复.因此,本文提出了一种基于循环神经网络的多阶段图像去噪方法.该方法包括两个去噪阶段,通过调整两个阶段的训练权重可以使得第1阶段的去噪结果包含部...     

基于循环神经网络的数据库查询开销预测

数据库负载管理、性能调优中,开销预测模型是提高其效率的关键技术。首先,由于数据库系统的复杂性和计算机资源的竞争,很难精确地估计不同操作的开销。其次,由于查询计划结构的复杂性,现有研究更多使用笼统的查询信息,而很少利用查询计划中操作层面的信息,并依据这些信息来获得开销模型。另外,现有的研究大多没有真正预测查询的执行时间,而是预测了类似查询优化器中开销模型生成的开销。为了减少负载管理的复杂性,本文提出了基于循环神经网络的精细模型来预测查询开销,以查询计划中的操作行为和其实际运行时间作为特征提取的来源。特别地,考虑到查询计划结构的复杂性,本文采用一种特殊的循环神经网络,长短期记忆（Long-Short Term Memory,LSTM）。给一个特定的查询计划,在该计划实际执行之前,模型就能产生其预测的执行时间。这会比现有数据库的查询优化器产生的开销预估结果（任意单位）更具有参考性;也优于需要在执行开始之后才能预测的查询进度指示器。本文提出的这种创新方法来预测查询执行时间,可以用于解决数据库负载管理中的关键问题。通过实验验证,模型的正确率高于71%,一定程度上证明了方法的可行性。