l1鲁棒辨识: 最小二乘算法及试验设计

现有的l¹鲁棒辨识方法依赖于观测数据自的起始时刻因而不能用来辨识时变系统, 针对该问题基于最小二乘法提出了一种l¹鲁棒辨识算法. 该算法与观测窗的起始时刻无关, 可用于时变系统的辨识, 证明了当试验输入为持续激励信号时所提出的算法为本质最优算法, 进一步证明了周期持续激励序列为最优试验信号, 并给出了辨识误差紧界的计算公式. 最后利用提出的算法研究了慢时变系统的l¹鲁棒辨识问题.     

一种鲁棒的总体最小二乘自适应辨识算法

针对输入输出观测数据均含有噪声的系统辨识问题，提出了一种鲁棒的总体最小二乘自适应辨识算法．该算法在对总体最小二乘问题与向量的瑞利商及其性质研究的基础上，以被辨识系统的增广权向量的瑞利商(RQ)作为损失函数，利用梯度最陡下降原理导出权向量的自适应迭代算法，并利用随机离散学习规律对权向量模的分析修正了算法梯度，提高了算法的噪声鲁棒性，构成了一种噪声鲁棒的总体最小二乘自适应辨识算法．文中研究了该算法的收敛性能．仿真实验结果表明该算法的鲁棒抗噪性能和稳态收敛精度明显高于其它同类方法，而且可使用较大的学习因子，在较高的噪声环境下仍然保持良好的收敛性．     

正电子发射层析成像的鲁棒最小二乘重建

提出的鲁棒最小二乘算法综合考虑了正电子发射层析成像中的各种误差,适用于实际正电子发射层析成像系统．实验结果表明：该算法比传统的最小二乘重建算法具有更加鲁棒的重建特性．     

RBF网络的鲁棒最小二乘学习算法

首先,针对径向基函数(RBF)神经网络参数学习中最小二乘法(LS)难以获得较高鲁棒性的问题,假定训练数据扰动上界可知,并基于鲁棒最小二乘原理,提出一种RBF网的最优鲁棒参数学习算法;然后分析指出,扰动上界可依据训练数据集自适应学习估计;最后通过实验分析结果表明了所提算法具有较高的参数鲁棒学习能力.与LS相似,新算法无额外参数,易于实际应用.     

非线性系统辨识的改进双对角化最小二乘算法

本文提出了一种新的有效的非线性系统最小二乘辨识算法－－改进的双对角化最小二乘（ＭＢＬＳ）算法,在存在舍入误差的条件下,给出了算法的收敛性证明,事实上,算法的收敛性几何不受舍入误差的影响,算法是大范围数值稳定的,仿真结果说明了新算法的有效性。     

在线鲁棒最小二乘支持向量机回归建模

鉴于工业过程的时变特性以及现场采集的数据通常具有非线性特性且包含离群点,利用最小二乘支持向量机回归（least squares support vector regression,LSSVR）建模易受离群点的影响.针对这一问题,结合鲁棒学习算法（robust learning algorithm,RLA）,本文提出了一种在线鲁棒最小二乘支持向量机回归建模方法.该方法首先利用LSSVR模型对过程输出进行预测,与真实输出相比较得到预测误差;然后利用RLA方法训练LSSVR模型的权值,建立鲁棒LSSVR模型;最后应用增量学习方法在线更新鲁棒LSSVR模型,从而得到在线鲁棒LSSVR模型.仿真研究验证了所提方法的有效性.     

学习辨识:最小二乘算法及其重复一致性

针对重复时变系统, 提出学习辨识方法用于估计系统的时变参数. 讨论了有限时间作业区间上重复运行的时变系统以及周期时变系统两种情形. 文中给出最小二乘学习算法的推导过程, 并分析了所提算法的收敛性. 结果表明, 当重复持续激励条件成立时, 提出的学习算法具有重复一致性, 能够给出时变参数的完全估计. 通过数值算例进一步验证了学习算法的有效性.     

L1鲁棒辨识中的一般中心估计算法及其特例

本文分析具了Ｌ１误差的线性时不变系统的最不利情况的辨识问题,对系统假设的先验信息未知系统的脉冲响应函数控制稳定,并且假定实验数据具有噪声干扰的,本文提出了一般中心估计算法并分析了最不利情况的误差界限,并进一步研究了在某些特殊情况下,中心估计的简单求法及其性质,本文所给算法和辨识结果是面向鲁棒控制的。     

鲁棒最小二乘孪生支持向量机及其稀疏算法

最小二乘孪生支持向量机通过求解两个线性规划问题来代替求解复杂的二次规划问题,具有计算简单和训练速度快的优势。然而,最小二乘孪生支持向量机得到的超平面易受异常点影响且解缺乏稀疏性。针对这一问题,基于截断最小二乘损失提出了一种鲁棒最小二乘孪生支持向量机模型,并从理论上验证了模型对异常点具有鲁棒性。为使模型可处理大规模数据,基于表示定理和不完全Cholesky分解得到了新模型的稀疏解,并提出了适合处理带异常点的大规模数据的稀疏鲁棒最小二乘孪生支持向量机算法。数值实验表明,新算法比已有算法分类准确率、稀疏性、收敛速度分别提高了1.97%~37.7%、26~199倍和6.6~2 027.4倍。     

改进的鲁棒总体最小二乘无源定位算法

针对机载无源定位易受异常误差影响的问题,提出一种基于角度信息的鲁棒递推总体最小二乘定位（RRTLS）算法。建立机载无源定位模型,得出总体最小二乘（TLS）解,根据机载定位的实时性、低复杂度要求将其转化为加权递推形式;根据广义M估计原理构建鲁棒TLS极值准则,利用其性质将RRTLS定位问题转化为等价权函数的设计问题;验证了利用残差识别异常误差的合理性,在此基础上建立了等价权函数。仿真结果表明,不存在异常误差时,递推总体最小二乘（RTLS）算法和RRTLS算法均能较好收敛;存在异常误差时,递推最小二乘（RLS）和RTLS定位结果受到扭曲,而RRTLS算法能够获得理想的估值,具有较强的鲁棒性。     

The least squares algorithm, parametric system identification and bounded noise

The least squares parametric system identification algorithm is analyzed assuming that the noise is a bounded signal. A bound on the worst-case parameter estimation error is derived. This bound shows that the worst-case parameter estimation error decreases to zero as the bound on the noise is decreased to zero.     

新的正交最小二乘方法

正交最小二乘是一种贪婪算法,采用逐步回归建模,每一步利用搜索算法找到最小化残差的一个回归项。将其拓展为每一步搜索多个最优的回归项,从而得到一种稀疏的回归方法,并将其应用于谐波分量提取中。仿真实验说明,新方法不仅能够较为精确地逐项估计出分量的参数,而且可以对分量个数进行有效的估计。     

On strong consistency of least squares identification algorithms

In this paper almost sure convergence results are derived for least squares identification algorithms. The convergence conditions expressed in terms of the measurable signal model states derived for asymptotically stable signal models and possibly nonstationary processes are in essence the same as those previously given, but are derived more directly. Strong consistency results are derived for the case of signal models with unstable modes and exponential rates of convergence to the unstable modes are demonstrated. These latter convergence results are stronger than those earlier ones in which weak consistency conditions are given and there is also less restriction on the noise disturbances than in earlier theories. The derivations in the paper appeal to martingale convergence theorems and the Toeplitz lemma.     

Stochastic adaptive control using a modified least squares algorithm

Recent papers on stochastic adaptive control have established global convergence for algorithms using a stochastic approximation iteration. However, to date, global convergence has not been established for algorithms incorporating a least squares iteration. This paper establishes global convergence for a slightly modified least squares stochastic adaptive control algorithm. It is shown that, with probability one, the algorithm will ensure that the system inputs and outputs are sample mean square bounded and the mean square output tracking error achieves its global minimum possible value for linear feedback control.     

Constrained total least squares algorithm for passive location based on bearing-only measurements

The constrained total least squares algorithm for the passive location is presented based on the bearing-only measurements in this paper. By this algorithm the non-linear measurement equations are firstly transformed into linear equations and the effect of the measurement noise on the linear equation coefficients is analyzed, therefore the problem of the passive location can be considered as the problem of constrained total least squares, then the problem is changed into the optimized question without restraint which can be solved by the Newton algorithm, and finally the analysis of the location accuracy is given. The simulation results prove that the new algorithm is effective and practicable.     

Matrix LSQR algorithm for structured solutions to quaternionic least squares problem

In this paper, we employ matrix LSQR algorithm to deal with quaternionic least squares problem in order to find the minimum norm solutions with kinds of special structures, and propose a strategy to accelerate convergence rate of the algorithm via right–left preconditioning of the coefficient matrices. We mainly focus on analyzing the minimum norm $\eta$-Hermitian solution and the minimum norm $\eta$-biHermitian solution to the quaternionic least squares problem, $\eta \in \{\mathbf{i},\mathbf{j},\mathbf{k}\}$. Other structured solutions also can be obtained using the proposed technique. A number of numerical experiments are performed to show the efficiency of the preconditioned matrix LSQR algorithm.     

基于蒙特卡罗最小二乘的实验数据拟合方法

采用最小二乘法拟合化工实验数据,相关系数接近于1,精度高,但所得的结果与经验关联式大相径庭。蒙特卡罗方法是一种基于概率模型的非确定性数值方法。蒙特卡罗最小二乘拟合方法处理化工实验数据,应用中更为灵活,适用范围更广。在Excel电子表格中,利用工作表中的数据与VBA混合编程很容易完成蒙特卡罗最小二乘数据拟合,VBA实现与Excel电子表格的数据通讯及并行处理实验数据,读取工作表中的实验数据,计算随机点的大致搜索范围,进行最小二乘统计分析,将结果输出到工作表中。蒙特卡罗最小二乘拟合方法采用与最小二乘法相同的精度标准,在符合大数定理的基础上,精度大幅度提高。蒙特卡罗方法在随机搜索点较小时,误差很大,当随机搜索点达到10000时,其精度与最小二乘法相差无几,却得到与经验关联式十分接近的准数关系方程,取得了实践与理论统一的实验效果。     

基于最小二乘和EKF的伪卫星定位算法

空基伪卫星由于自身机动性以及受到诸如气流、压力、温度等外界因素的影响使得其位置存在着偏移。因此,精确确定空基伪卫星的位置是其增强现有导航系统或独立组网进行导航定位的前提。针对扩展Kalman滤波对初值的要求和最小二乘法估计性好的特点,提出了一种混合算法,该算法用逆定位原理建立伪距观测方程组并采用最小二乘法解算出初值,运用扩展Kalman滤波进行定位。仿真表明,混合算法优于最小二乘法,定位精度得到了提高。