基于核映射极限学习机的入口氮氧化物预测

针对在线贯序极限学习机(OS-ELM)算法隐含层输出不稳定、易产生奇异矩阵和在线贯序更新时没有考虑训练样本时效性的问题,提出一种基于核函数映射的正则化自适应遗忘因子(FFOS-RKELM)算法.该算法利用核函数代替隐含层,能够产生稳定的输出结果.在初始阶段加入正则化方法,通过构造非奇异矩阵提高模型的泛化能力;在贯序更新阶段,通过新到的数据自动更新遗忘因子.将FFOS-RKELM算法应用到混沌时间序列预测和入口氮氧化物时间序列预测中,相比于OS-ELM、FFOS-RELM、OS-RKELM算法,可有效地提高预测精度和泛化能力.     

污水处理过程出水水质稀疏鲁棒建模

污水处理过程中, 出水水质参数是衡量污水处理性能的最重要指标, 需要进行严格监测, 但现有传感技术难以对其进行实时准确地在线测量. 因此, 提出一种新型的基于随机权神经网络(Random vector functional-link networks, RVFLNs)与Schweppe型广义M估计(Generalized M-estimation, GM-estimation)的稀疏鲁棒建模方法, 用于水质指标的在线鲁棒预测. 首先, 针对常规RVFLNs隐含层矩阵存在多重共线性而导致最小二乘估计失效的问题, 利用稀疏偏最小二乘(Sparse partial least squares, SPLS)代替RVFLNs输出权值求解的最小二乘估计, 从而提出SPLS-RVFLNs. 该算法不仅可有效解决传统RVFLNs的多重共线性问题, 还可以进行建模变量选择, 提高模型的可解释性和最终的预测精度. 同时, 考虑到SPLS-RVFLNs在求解输出权值时会同时受到隐含层矩阵和输出层矩阵两个方向离群点的影响, 进一步采用Schweppe型广义M估计对SPLS-RVFLNs进行鲁棒改进, 从而提出GM-SPLS-RVFLNs, 可显著提高模型的稀疏鲁棒性能. 最后, 将提出的GM-SPLS-RVFLNs用于污水处理过程出水水质指标预测建模, 数据实验结果表明所提方法不仅解决了常规RVFLNs多重共线性和鲁棒性差的问题, 而且具有很好的预测精度和泛化性能.     

高炉铁水质量鲁棒正则化随机权神经网络建模

高炉炼铁过程运行优化与控制依赖于可靠、稳定的难测铁水质量(Molten iron quality, MIQ)指标模型.针对现有MIQ建模方法的不足, 本文提出一种新型的数据驱动鲁棒正则化随机权神经网络(Random vector functional-link networks, RVFLNs)算法, 用于实现MIQ指标在线估计的鲁棒建模.首先, 为了提高建模效率和降低计算复杂度, 采用数据驱动典型相关性分析方法从众多变量中提取与MIQ相关性最强的变量作为建模输入变量; 其次, 由于传统RVFLNs网络的输出权值由最小二乘估计获得, 易受离群数据影响而鲁棒性差, 引入基于Gaussian分布加权的M估计技术, 提出新型鲁棒RVFLNs算法建立多元MIQ指标的鲁棒模型; 同时, 在鲁棒加权后的最小二乘损失函数基础上, 进一步引入${L_1}$和${L_2}$两个正则化项以构成优化目标函数的Elastic net, 用于稀疏化RVFLNs网络的输出权值矩阵, 解决RVFLNs网络多重共线性和过拟合的问题.最后, 基于某大型高炉工业数据, 进行充分数据实验, 结果表明所提方法具有更高的建模与估计精度以及较强的鲁棒性能.     

基于鱼群优化算法和Cholesky分解的RELM的基因表达数据分类

提出一种基于鱼群优化算法和Cholesky分解的改进的正则极限学习机算法(FSC-RELM)来对基因表达数据进行分类。FSC-RELM算法中,首先用鱼群优化算法对RELM输入层权值进行优化,其中目标函数定义为误差函数的倒数;再对RELM输出层权值矩阵进行分解,采用Cholesky分解法进行优化,以提高算法速度,减少训练时间。为了评价算法性能,对若干标准基因数据集进行了实验,结果表明,FSC-RELM算法在较短的时间内可以获得较高的分类精度,性能优异。     

基于自组织模糊神经网络的出水总磷预测

针对污水处理过程出水总磷预测问题,本文提出一种基于改进Levenberg--Marquardt(improved Levenberg--Marquardt,ILM)学习算法和奇异值分解(singular value decomposition,SVD)的适于在线建模的自组织模糊神经网络(fuzzy neural network,FNN)预测方法.ILM-SVDFNN采用改进LM学习算法对隶属函数中心、宽度和输出权值进行训练.在参数自适应学习的同时,采用单边Jacobi变换实现规则层输出阵的奇异值分解,根据奇异值定义增长和修剪指标实现规则层神经元在线动态调整.此外,证明了所提方法在网络结构固定和调整阶段的收敛性.最后,利用典型非线性系统辨识、Mackey-Glass时间序列预测和实际污水处理过程出水总磷预测实验进行验证.仿真结果显示所设计的自组织模糊神经网络结构紧凑且预测精度较高,较好地满足了污水处理厂对出水总磷检测精度和实时性的要求.     

基于随机奇异值分解的快速矩阵补全算法及其应用

为了在保证结果精度的情况下加快运算速度,改进了矩阵补全的代表性算法——奇异值门限(SVT)算法.首先对于输入矩阵进行规整化处理,之后在每一步的迭代中使用奇异值分解算法对矩阵进行恢复.由于每个迭代步中奇异值分解的计算量很大,文中借鉴随机矩阵奇异值分解算法,提出使用块克雷洛夫迭代近似奇异值分解算法和子空间复用技术的快速SVT算法.使用彩色图像和电影评分矩阵对算法进行实验的结果表明,快速SVT算法在不影响图像恢复和评分数据预测效果的同时显著地缩短了计算时间;在图像恢复和电影评分预测的实验中,分别取得了高达7.1倍和3.2倍的加速比.     

拟合矩阵与两阶融合迭代加速推荐算法

传统的矩阵分解模型无法充分探索用户与物品在均值、偏置和特征之间的内在联系,提出拟合矩阵模型,通过构建用户与物品矩阵分别代表用户与物品特性来提高预测性能。矩阵分解模型在推荐系统领域有精度优势,但求解模型参数最常用的梯度下降法收敛速度缓慢,因此考虑与拟牛顿法融合,加快收敛速度。提出的算法命名为拟合矩阵与两阶融合迭代加速推荐算法（fitting matrix and two orders fusion iterative,FAST）,实验表明,FAST算法比传统的非负矩阵分解（NMF）、奇异值矩阵分解（SVD）、正则化奇异值矩阵分解（RSVD）在平均绝对误差（MAE）与均方根误差（RMSE）上有下降,在迭代效率上有显著提高,缓解了精度与迭代效率难以平衡的问题。     

基于贝叶斯正则化BP人工神经网络的煤与瓦斯突出预测的研究

文章介绍了BP人工神经网络和贝叶斯正则化算法的原理,探讨了贝叶斯正则化BP人工神经网络模型的建立,通过改变隐含层神经元个数的实验建立了只含1个隐含层且隐含层仅需1个神经元的煤与瓦斯突出预测模型的最佳网络结构。对该网络采用煤与瓦斯突出的预测指标进行训练、检测的结果表明,该网络预测的煤与瓦斯突出的危险程度与实际情况完全吻合;对该网络输入层输入的煤与瓦斯突出的预测指标、对输出层输出的预测结果的权值进行分析的结果表明,煤层地质构造类型对煤与瓦斯突出的影响为最大。上述研究结果对煤与瓦斯突出的预测预防研究、提高煤与瓦斯突出预测的准确性具有一定的参考价值。     

正则化的加权不完全鲁棒主成分分析方法及其在 无线传感器网络节点轨迹拟合中的应用

针对稀疏矩阵奇异值分解（SRSVD）方法和半精确增广拉格朗日（SEALM）算法在采样比例小且稀疏噪声大,以及存在高斯噪声时不能准确拟合无线传感器网络（WSN）节点轨迹的问题,提出一种正则化的加权不完全鲁棒主成分分析（RWIRPCA）方法。首先,将不完全鲁棒主成分分析（IRPCA）应用于节点轨迹拟合;然后,在IRPCA的基础上,为了更好地刻画矩阵的低秩性和稀疏性,以及增强模型的抗高斯噪声性能,分别对低秩矩阵和稀疏矩阵进行加权;最后,将高斯噪声矩阵的F范数作为正则项,应用于节点轨迹拟合。仿真结果表明,IRPCA和RWIRPCA在采样比例小且稀疏噪声大时拟合效果均优于SRSVD和SEALM方法,特别是所提的RWIRPCA在稀疏噪声和高斯噪声同时存在时,仍能取得准确且稳定的拟合效果。     

在线鲁棒最小二乘支持向量机回归建模

鉴于工业过程的时变特性以及现场采集的数据通常具有非线性特性且包含离群点,利用最小二乘支持向量机回归（least squares support vector regression,LSSVR）建模易受离群点的影响.针对这一问题,结合鲁棒学习算法（robust learning algorithm,RLA）,本文提出了一种在线鲁棒最小二乘支持向量机回归建模方法.该方法首先利用LSSVR模型对过程输出进行预测,与真实输出相比较得到预测误差;然后利用RLA方法训练LSSVR模型的权值,建立鲁棒LSSVR模型;最后应用增量学习方法在线更新鲁棒LSSVR模型,从而得到在线鲁棒LSSVR模型.仿真研究验证了所提方法的有效性.     

基于ELM-PNN算法的第24周太阳黑子预测预报

为了提高太阳黑子预测预报的精度,提出固定型极限学习过程神经网络(FELM-PNN)和增量型极限学习过程神经网络(IELM-PNN)两种学习算法.FELM-PNN的隐层节点数目固定,使用SVD求解隐层输出矩阵的Moore-Penrose广义逆,通过最小二乘法计算隐层输出权值;IELM-PNN逐次增加隐层节点,根据隐层输出矩阵和网络误差计算增加节点的输出权值.通过Henon时间序列预测验证了两种方法的有效性,并实际应用于第24周太阳黑子平滑月均值的中长期预测预报中.实验结果表明,两种方法的预测精度均有一定程度的提高,IELM-PNN的训练收敛性优于FELM-PNN.     

Modes decomposition method in fusion with robust random vector functional link network for crude oil price forecasting

This paper proposes a decomposition based method in fusion with the non-iterative approach for crude oil price forecasting. In this approach, the robust random vector functional link network (RVFLN), a non-iterative approach in fusion with the most efficient decomposition technique called variational mode decomposition (VMD) is proposed which is executed with two links — fixed assigned random weights and direct link from input to output, and the iterative learning process is not involved in its functioning which makes it faster in execution as compared to many existing techniques proposed for forecasting. The fusion of VMD and robust RVFLN called VMD-RVFLN is implemented for crude oil price forecasting where the crude oil price series is decomposed using VMD into a linear smoother series by extracting useful information and the decomposed modes pass through the robust RVFLN model which produces the final forecasting values. The analysis performed in the study approves its efficiency and reports improvement in forecasting accuracy and execution time as compared to some of the traditional iterative techniques like BPNN (back propagation neural network), ARIMA (auto-regressive integrated moving average), LSSVR (least squares support vector regression), ANFIS (adaptive neuro-fuzzy inference system), IT2FNN (interval type-2 fuzzy neural network) and RNN (recurrent neural network), etc. However, both ELM and RVFLN without modes decomposition fusion exhibit less execution time at the cost of reduction in prediction accuracy.     

递归最小二乘循环神经网络

针对循环神经网络(Recurrent neural networks, RNNs)一阶优化算法学习效率不高和二阶优化算法时空开销过大,提出一种新的迷你批递归最小二乘优化算法.所提算法采用非激活线性输出误差替代传统的激活输出误差反向传播,并结合加权线性最小二乘目标函数关于隐藏层线性输出的等效梯度,逐层导出RNNs参数的迷你批递归最小二乘解.相较随机梯度下降算法,所提算法只在RNNs的隐藏层和输出层分别增加了一个协方差矩阵,其时间复杂度和空间复杂度仅为随机梯度下降算法的3倍左右.此外,本文还就所提算法的遗忘因子自适应问题和过拟合问题分别给出一种解决办法.仿真结果表明,无论是对序列数据的分类问题还是预测问题,所提算法的收敛速度要优于现有主流一阶优化算法,而且在超参数的设置上具有较好的鲁棒性.     

A fast multilayer neural-network training algorithm based on thelayer-by-layer optimizing procedures

A faster new learning algorithm to adjust the weights of the multilayer feedforward neural network is proposed. In this new algorithm, the weight matrix (W(2)) of the output layer and the output vector (Y) of the previous layer are treated as two variable sets. An optimal solution pair (W(2)*,Y(P)*) is found to minimize the sum-square-error of the patterns input. Y(P)* is then used as the desired output of the previous layer. The optimal weight matrix and layer output vector of the hidden layers in the network is found with the same method as that used for the output layer. In addition, the dynamic forgetting factors method makes the proposed new algorithm even more powerful in dynamic system identification. Computer simulation shows that the new algorithm outmatches other learning algorithms both in converging speed and in computation time required.     

基于多级神经元的神经网络及其在分类中的应用

为了提高前向神经网络的分类能力,该文将多级神经元扩展使用到多层感知器的输出层和隐含层中,并提出了量子神经网络的学习算法。通过一个实际的分类问题实验验证了该方法的有效性。实验表明,无论输出层或隐含采用多级神经元,都可以带来分类能力的提高。而当输出层采用多级神经元时,还可以导致连接的减少和训练速度的加快。     

An integrated chaotic time series prediction model based on efficient extreme learning machine and differential evolution

In this paper, an integrated model based on efficient extreme learning machine (EELM) and differential evolution (DE) is proposed to predict chaotic time series. In the proposed model, a novel learning algorithm called EELM is presented and used to model the chaotic time series. The EELM inherits the basic idea of extreme learning machine (ELM) in training single hidden layer feedforward networks, but replaces the commonly used singular value decomposition with a reduced complete orthogonal decomposition to calculate the output weights, which can achieve a much faster learning speed than ELM. Moreover, in order to obtain a more accurate and more stable prediction performance for chaotic time series prediction, this model abandons the traditional two-stage modeling approach and adopts an integrated parameter selection strategy which employs a modified DE algorithm to optimize the phase space reconstruction parameters of chaotic time series and the model parameter of EELM simultaneously based on a hybrid validation criterion. Experimental results show that the proposed integrated prediction model can not only provide stable prediction performances with high efficiency but also achieve much more accurate prediction results than its counterparts for chaotic time series prediction.     

Adaptive Control of Discrete-time Nonlinear Systems Using ITF-ORVFL

Random vector functional ink(RVFL) networks belong to a class of single hidden layer neural networks in which some parameters are randomly selected. Their network structure in which contains the direct links between inputs and outputs is unique, and stability analysis and real-time performance are two difficulties of the control systems based on neural networks. In this paper, combining the advantages of RVFL and the ideas of online sequential extreme learning machine(OS-ELM) and initial-trainin...     

基于影响度剪枝的极端学习机分类算法研究

针对极端学习机(ELM)网络规模控制问题,从剪枝思路出发,提出了一种基于影响度剪枝的ELM分类算法。利用ELM网络单个隐节点连接输入层和输出层的权值向量、该隐节点的输出、初始隐节点个数以及训练样本个数,定义单个隐节点相对于整个网络学习的影响度,根据影响度判断隐节点的重要性并将其排序,采用与ELM网络规模相匹配的剪枝步长删除冗余节点,最后更新隐含层与输入层和输出层连接的权值向量。通过对多个UCI机器学习数据集进行分类实验,并将提出的算法与EM-ELM、PELM和ELM算法相比较,结果表明,该算法具有较高的稳定性和测试精度,训练速度较快,并能有效地控制网络规模。