高炉铁水质量鲁棒正则化随机权神经网络建模

高炉炼铁过程运行优化与控制依赖于可靠、稳定的难测铁水质量(Molten iron quality, MIQ)指标模型.针对现有MIQ建模方法的不足, 本文提出一种新型的数据驱动鲁棒正则化随机权神经网络(Random vector functional-link networks, RVFLNs)算法, 用于实现MIQ指标在线估计的鲁棒建模.首先, 为了提高建模效率和降低计算复杂度, 采用数据驱动典型相关性分析方法从众多变量中提取与MIQ相关性最强的变量作为建模输入变量; 其次, 由于传统RVFLNs网络的输出权值由最小二乘估计获得, 易受离群数据影响而鲁棒性差, 引入基于Gaussian分布加权的M估计技术, 提出新型鲁棒RVFLNs算法建立多元MIQ指标的鲁棒模型; 同时, 在鲁棒加权后的最小二乘损失函数基础上, 进一步引入${L_1}$和${L_2}$两个正则化项以构成优化目标函数的Elastic net, 用于稀疏化RVFLNs网络的输出权值矩阵, 解决RVFLNs网络多重共线性和过拟合的问题.最后, 基于某大型高炉工业数据, 进行充分数据实验, 结果表明所提方法具有更高的建模与估计精度以及较强的鲁棒性能.     

集成自编码与PCA的高炉多元铁水质量随机权神经网络建模

针对随机权神经网络（Random vector functional-link networks，RVFLNs）建模存在的过拟合和泛化能力差的问题，集成自编码（Autoencoder）和主成分分析（Principal component analysis，PCA）技术，提出一种新型的改进RVFLNs算法，即AE-P-RVFLNs算法，用于建立高炉多元铁水质量在线估计的NARX（Nonlinear autoregressive exogenous）模型.首先，为了尽可能挖掘实际复杂工业数据中的有用信息和充分揭示输入数据之间的内在关系，采用Autoencoder前馈随机网络技术训练建模输入数据，并将训练得到的输出权值作为后续RVFLNs的输入权值；然后，引入PCA技术对RVFLNs的高维隐层输出矩阵进行降维，避免隐层输出矩阵多重共线性问题，从而解决由于隐层节点过多导致模型过拟合的问题；最后，基于所提AE-P-RVFLNs算法建立某大型高炉多元铁水质量在线估计的NARX模型.工业实验和比较分析表明:采用本文算法建立的多元铁水质量在线估计模型可有效提高运算效率和估计精度，尤其是避免常规RVFLNs建模存在的过拟合问题.     

奇异值分解下在线鲁棒正则化随机网络

在线鲁棒随机权神经网络(OR-RVFLN)具有较好的逼近性、较快的收敛速度、较高的鲁棒性能以及较小的存储空间.但是, OR-RVFLN算法计算过程中会产生矩阵的不适定问题,使得隐含层输出矩阵的精度较低.针对这个问题,本文提出了奇异值分解下在线鲁棒正则化随机网络(SVD-OR-RRVFLN).该算法在OR-RVFLN算法的基础上,将正则化项引入到权值的估计中,并且对隐含层输出矩阵进行奇异值分解;同时采用核密度估计(KDE)法,对整个SVD-OR-RRVFLN网络的权值矩阵进行更新,并分析了所提算法的必要性和收敛性.最后,将所提的方法应用于Benchmark数据集和磨矿粒度的指标预测中,实验结果证实了该算法不仅可以有效地提高模型的预测精度和鲁棒性能,而且具有更快的训练速度.     

基于极限学习机的风电输出功率预测

针对风电网中电机的精确估计及电网的动态调整问题,提出了基于极限学习机(ELM)的风电机组功率预测实现方法.首先对EML中的隐含层激励函数进行建模,其次通过预处理样本数据、确定激活函数、最大隐含层节点数和最大主成分数、判断RMSECV均值、输出权值及输出矩阵计算等步骤来预测风电机组输出功率,最后通过系统仿真和数据对比分析验证了论文所提出的方法在电机的精确估计及电网的动态调整方面的性能增益.     

在线鲁棒最小二乘支持向量机回归建模

鉴于工业过程的时变特性以及现场采集的数据通常具有非线性特性且包含离群点,利用最小二乘支持向量机回归（least squares support vector regression,LSSVR）建模易受离群点的影响.针对这一问题,结合鲁棒学习算法（robust learning algorithm,RLA）,本文提出了一种在线鲁棒最小二乘支持向量机回归建模方法.该方法首先利用LSSVR模型对过程输出进行预测,与真实输出相比较得到预测误差;然后利用RLA方法训练LSSVR模型的权值,建立鲁棒LSSVR模型;最后应用增量学习方法在线更新鲁棒LSSVR模型,从而得到在线鲁棒LSSVR模型.仿真研究验证了所提方法的有效性.     

基于稀疏表示剪枝集成建模的烧结终点位置智能预测

烧结终点位置(BTP)是烧结过程至关重要的参数,直接决定着最终烧结矿的质量.由于BTP难以直接在线检测,因此,通过智能学习建模来实现BTP的在线预测并在此基础上进行操作参数调节对提高烧结矿质量具有重要意义.针对这一实际工程问题,首先提出一种基于遗传优化的Wrapper特征选择方法,可选取使后续预测建模性能最优的特征组合;在此基础上,为了解决单一学习器容易过拟合的问题,提出了基于随机权神经网络(RVFLNs)的稀疏表示剪枝(SRP)集成建模算法,即SRP-ERVFLNs算法.所提算法采用建模速度快、泛化性能好的RVFLNs作为个体基学习器,采用对基学习器基函数与隐层节点数等参数进行扰动的方式来增加集成学习子模型间的差异性;同时,为了进一步提高集成模型的泛化性能与计算效率,引入稀疏表示剪枝算法,实现对集成模型的高效剪枝;最后,将所提算法用于烧结过程BTP的预测建模.工业数据实验表明,所提方法相比于其他方法具有更好的预测精度、泛化性能和计算效率.     

基于ELM-PNN算法的第24周太阳黑子预测预报

为了提高太阳黑子预测预报的精度,提出固定型极限学习过程神经网络(FELM-PNN)和增量型极限学习过程神经网络(IELM-PNN)两种学习算法.FELM-PNN的隐层节点数目固定,使用SVD求解隐层输出矩阵的Moore-Penrose广义逆,通过最小二乘法计算隐层输出权值;IELM-PNN逐次增加隐层节点,根据隐层输出矩阵和网络误差计算增加节点的输出权值.通过Henon时间序列预测验证了两种方法的有效性,并实际应用于第24周太阳黑子平滑月均值的中长期预测预报中.实验结果表明,两种方法的预测精度均有一定程度的提高,IELM-PNN的训练收敛性优于FELM-PNN.     

多故障并发非线性系统一体化跟踪主动容错控制器设计

针对一类执行器及传感器同时发生故障的非线性系统,综合鲁棒滑模重构观测器及自适应滑模容错控制器设计技术,提出一体化跟踪主动容错控制方案.首先,将系统增维变换为广义系统,运用广义约束逆引入辅助矩阵,采用线性矩阵不等式设计观测器系数矩阵,综合自适应律给出广义鲁棒滑模观测器设计程式;在此基础之上,通过设计鲁棒滑模微分器估计输出向量微分,结合广义鲁棒滑模观测器状态估计结论,实现执行器及传感器故障同时重构.其次,基于故障重构及状态估计结论,提出自适应滑模的跟踪主动容错控制律设计程式.最后,通过开展飞行模拟转台伺服系统数值仿真,检验一体化跟踪主动容错控制器设计方法的有效性.     

MIMO最小二乘支持向量机污水处理在线软测量研究

污水处理系统是一个包含海量信息的非线性复杂系统。针对污水处理出水水质BOD（生物化学需氧量）、COD（化学需氧量）、TN（总含氮量）等难以在线实时检测等问题,建立了基于在线MIMO-LSSVM（多输入多输出最小二乘支持向量机）和PSO（微粒子群算法）的污水处理软测量模型。仿真结果表明,建立的软测量模型精度高、速度快,能很好地实现污水处理出水指标COD、BOD、TN等参数的实时测量和估计,为污水处理的实时在线控制创造必要的前提条件。     

基于改进极限学习机的软测量建模方法

针对生物发酵过程中一些生物参量难以测量的问题,提出一种基于改进极限学习机（IELM）的软测量建模方法。该方法通过最小二乘方法和误差反馈原理计算出最优的网络输入到隐含层的学习参数,以提高模型的稳定性和预测精度。通过双对角化方法计算出最优的输出权值,解决输出矩阵的病态问题,进一步提高模型的稳定性。将所提方法应用于红霉素发酵过程生物量浓度的软测量。结果表明,与ELM、PL-ELM、IRLS-ELM软测量建模方法相比,IELM在线软测量建模方法具有更高的预测精度和更强的泛化能力。     

Estimation of effluent quality using PLS-based extreme learning machines

The accurate and reliable measurement of effluent quality indices is essential for the implementation of successful control and optimization of wastewater treatment plants. In order to enhance the estimate performance in terms of accuracy and reliability, we present a partial least-squares-based extreme learning machine (called PLS-ELM) in this paper. The partial least squares (PLS) regression is applied to the ELM framework to improve the algebraic property of the hidden output matrix, which can be ill-conditional due to the high multicollinearity of the hidden layer output. The main idea behind our proposed PLS-ELM is to achieve a robust generalization performance by extracting a reduced number of latent variables from the hidden layer and using orthogonal projection operations. The results from a case study of a municipal wastewater treatment plant show that the PLS-ELM can effectively capture the input–output relationship with favorable performance against the conventional ELM.     

递归最小二乘循环神经网络

针对循环神经网络(Recurrent neural networks, RNNs)一阶优化算法学习效率不高和二阶优化算法时空开销过大,提出一种新的迷你批递归最小二乘优化算法.所提算法采用非激活线性输出误差替代传统的激活输出误差反向传播,并结合加权线性最小二乘目标函数关于隐藏层线性输出的等效梯度,逐层导出RNNs参数的迷你批递归最小二乘解.相较随机梯度下降算法,所提算法只在RNNs的隐藏层和输出层分别增加了一个协方差矩阵,其时间复杂度和空间复杂度仅为随机梯度下降算法的3倍左右.此外,本文还就所提算法的遗忘因子自适应问题和过拟合问题分别给出一种解决办法.仿真结果表明,无论是对序列数据的分类问题还是预测问题,所提算法的收敛速度要优于现有主流一阶优化算法,而且在超参数的设置上具有较好的鲁棒性.     

面向应用的RGB-D机器人道路坡度融合估计方法

为提高机器人在移动路径中对道路坡度的估计精度,提出一种面向应用的RGB-D(red green blue-depth)机器人融合型道路坡度估计方法。首先,引入随机采样一致性算法完成点云处理;其次,采用改进型平面拟合方法完成法向量估计;最后,采用余弦聚类及累加平均方法实现高精度道路坡度估计。实验结果表明,该算法在数据集下相较最小二乘法与稀疏子空间法,估计误差分别降低1.21%、2.13%,在实际环境下较最小二乘法平均误差降低1.43°,这证明了所提方法的可行性和准确性。     

Iterative weighted least squares algorithms for neural networks classifiers

This paper discusses learning algorithms of layered neural networks from the standpoint of maximum likelihood estimation. At first we discuss learning algorithms for the most simple network with only one neuron. It is shown that Fisher information of the network, namely minus expected values of Hessian matrix, is given by a weighted covariance matrix of input vectors. A learning algorithm is presented on the basis of Fisher's scoring method which makes use of Fisher information instead of Hessian matrix in Newton's method. The algorithm can be interpreted as iterations of weighted least squares method. Then these results are extended to the layered network with one hidden layer. Fisher information for the layered network is given by a weighted covariance matrix of inputs of the network and outputs of hidden units. Since Newton's method for maximization problems has the difficulty when minus Hessian matrix is not positive definite, we propose a learning algorithm which makes use of Fisher information matrix, which is non-negative, instead of Hessian matrix. Moreover, to reduce the computation of full Fisher information matrix, we propose another algorithm which uses only block diagonal elements of Fisher information. The algorithm is reduced to an iterative weighted least squares algorithm in which each unit estimates its own weights by a weighted least squares method. It is experimentally shown that the proposed algorithms converge with fewer iterations than error back-propagation (BP) algorithm.     

基于免疫粒子群神经网络的污水水质预测

针对污水处理过程所具有的多变量、非线性和大时滞的特点, 利用出水水质参数与多个可测过程参数间的相关关系,给出了基于RBF神经网络的出水水质参数预测模型.采用免疫粒子群优化算法来训练网络的隐层节点、径向基函数的中心点和网络权值.以反应时间、DO浓度、ORP和pH值作为输入参数,实现对COD,NH3-N,TP等水质参数的预测.仿真试验表明,该预测模型对污水处理出水水质参数COD,NH3-N,TP具有理想的预测效果.     

Robust reweighted MAP motion estimation

This paper proposes a motion estimation algorithm that is robust to motion discontinuity and noise. The proposed algorithm is constructed by embedding the least median squares (LMedS) of robust statistics into the maximum a posteriori (MAP) estimator. Difficulties in accurate estimation of the motion field arise from the smoothness constraint and the sensitivity to noise. To cope robustly with these problems, a median operator and the concept of reweighted least squares (RLS) are applied to the MAP motion estimator, resulting in the reweighted robust MAP (RRMAP). The proposed RRMAP motion estimation algorithm is also generalized for multiple image frame cases. Computer simulation with various synthetic image sequences shows that the proposed algorithm reduces errors, compared to three existing robust motion estimation algorithms that are based on M-estimation, total least squares (TLS), and Hough transform. It is also observed that the proposed algorithm is statistically efficient and robust to additive Gaussian noise and impulse noise. Furthermore, the proposed algorithm yields reasonable performance for real image sequences     

基于Householder变换的贪婪正交最小二乘辨识算法

针对含有未知时滞的多输入受控自回归系统模型的时滞与参数辨识问题,基于Householder变换探讨一种贪婪正交最小二乘辨识算法.首先,由于各输入通道的时滞未知,通过设置输入数据回归长度对系统模型进行过参数化,得到一个含有稀疏参数向量的高维辨识模型;其次,为了避免最小二乘算法中对高维协方差矩阵的求逆运算,利用Householder变换对信息矩阵进行正交分解,推导基于Householder变换的正交最小二乘算法;然后,为了提高辨识效率,降低辨识成本,推导基于Householder变换的贪婪准则,进而得到基于Householder变换的贪婪正交最小二乘辨识算法,该算法能够在少量采样数据的条件下获得稀疏参数向量的估计值;最后,根据估计的稀疏参数向量的结构得到系统时滞估计.仿真结果表明了所提出算法的有效性.