基于滤波的伪线性回归系统递推最小二乘辨识方法

针对伪线性回归系统,提出了基于滤波的最小二乘辨识方法,基本思想是采用估计的噪声模型对系统观测数据和信息向量进行滤波,并用滤波后的数据进行辨识。仿真结果表明提出的算法能够估计伪线性回归系统的参数。     

一种训练前馈神经网络的局部线性化最小二乘算法

提出了一种新的训练前馈神经网络的局部线性化最小二乘算法。新算法将整个网络的权值训练看作非线性系统的参数识别，并将非线性系统的全局参数识别转化为一系列局部子系统的参数识别，最终将局部子系统的参数识别转化为线性化的最小二乘问题。     

A Unified Self-Stabilizing Neural Network Algorithm for Principal Takagi Component Extraction

Neural Processing Letters - In this paper, we develop efficient methods for the computation of the Takagi components and the Takagi subspaces of complex symmetric matrices via the complex-valued...     

A Recursive Orthogonal Least Squares Algorithm for Training RBF Networks

A recursive orthogonal least squares (ROLS) algorithm for multi-input, multi-output systems is developed in this paper and is applied to updating the weighting matrix of a radial basis function network. An illustrative example is given, to demonstrate the effectiveness of the algorithm for eliminating the effects of ill-conditioning in the training data, in an application of neural modelling of a multi-variable chemical process. Comparisons with results from using standard least squares algorithms, in batch and recursive form, show that the ROLS algorithm can significantly improve the neural modelling accuracy. The ROLS algorithm can also be applied to a large data set with much lower requirements on computer memory than the batch OLS algorithm.     

一种反演积雪面积的范数最小二乘算法

针对常规光谱混合分析算法在积雪面积反演中存在的端元变化误差及运算效率的问题,提出了一种范数最小二乘算法(norm least squares,NLS).为验证算法的精度和实用性,利用藏南地区的MODIS影像进行反演实验,同时采用全约束最小二乘法(fully constrained least squares,FCLS)...     

总体最小二乘波达方向估计方法

在到达时间差定位技术中,当传感器位置坐标存在误差时,最小二乘法(LS)所得估计值不再具有最优无偏性,导致测向精度下降。针对该问题,提出基于总体最小二乘的测向方法。将非线性的观测方程转化为伪线性方程,构成增广矩阵并对其进行奇异值分解,从而得到目标位置。理论分析和仿真结果表明,与经典的LS法和LS-Tylar法相比,该方法的定位精度较高。     

合作SCC系统的总LS信号检测方法

为了克服已有信道估计算法无法及时跟踪信道变化的缺陷,在合作OFDM系统中引入了总LS（Total Least Squares,TLS）信号检测方法来实现信道状态信息估计。TLS方法同时考虑了信道噪声和信道时变特性,能够对信道和信号的变化同时进行跟踪估计。因为充分考虑了信道的时变性,且复杂度较低、收敛速度较快,所以在高速移动通信环境下,TLS方法能够很好地估计信道信息。仿真结果表明,与传统的LS法和ML法相比,该算法在改善误码性能方面优势明显。     

基于总体最小二乘法的图像降噪

来自图像传感器的数字图像会受到各种噪声的干扰,其中主要包括加性噪声、乘性噪声和混合噪声。乘性噪声随信号幅度改变而改变,没有理想的去除方法。为此,运用基于总体最小二乘法的图像估计降噪方法,研究图像块尺寸选取对降噪性能的影响,分析成像系统中去马赛克环节影响噪声传播的内在规律,并通过比较实验给出总体最小二乘法降噪的性能优势。     

TISO-OEAR模型的分解递推最小二乘辨识方法

针对输出误差模型参数估计过程中的计算量较大的问题,提出了基于分解的两输入单输出（TISO）输出误差自回归模型（OEAR）的分解递推最小二乘（DRLS）算法．基本的思想是分解TISO系统为3个子系统,并通过递推最小二乘分别辨识每个子系统．DRLS算法是解决大规模系统的计算量大和复杂辨识模型的辨识难题的一种有效的方法．最后通过仿真实例验证和分析了所提出算法的有效性与优越性,并对两种算法的特点进行了总结．     

用DCT进行最小二乘相位估值的求解

已知相位差进行相位估值，在干涉雷达，自适应光学，补偿式成像，图象处理等方面起着关键作用。文中以２－范数的概念，推证了最小二乘相位估值问题可以转化成泊松方程，并用离散余弦变换（ＤＣＴ）的方法进行求解，效果很好。     

递归最小二乘循环神经网络

针对循环神经网络(Recurrent neural networks, RNNs)一阶优化算法学习效率不高和二阶优化算法时空开销过大, 提出一种新的迷你批递归最小二乘优化算法. 所提算法采用非激活线性输出误差替代传统的激活输出误差反向传播, 并结合加权线性最小二乘目标函数关于隐藏层线性输出的等效梯度, 逐层导出RNNs参数的迷你批递归最小二乘解. 相较随机梯度下降算法, 所提算法只在RNNs的隐藏层和输出层分别增加了一个协方差矩阵, 其时间复杂度和空间复杂度仅为随机梯度下降算法的3倍左右. 此外, 本文还就所提算法的遗忘因子自适应问题和过拟合问题分别给出一种解决办法. 仿真结果表明, 无论是对序列数据的分类问题还是预测问题, 所提算法的收敛速度要优于现有主流一阶优化算法, 而且在超参数的设置上具有较好的鲁棒性.     

A Framework for Moving Least Squares Method with Total Variation Minimizing Regularization

In this paper, we propose a computational framework to incorporate regularization terms used in regularity based variational methods into least squares based methods. In the regularity based variational approach, the image is a result of the competition between the fidelity term and a regularity term, while in the least squares based approach the image is computed as a minimizer to a constrained least squares problem. The total variation minimizing denoising scheme is an exemplary scheme of the former approach with the total variation term as the regularity term, while the moving least squares method is an exemplary scheme of the latter approach. Both approaches have appeared in the literature of image processing independently. By putting schemes from both approaches into a single framework, the resulting scheme benefits from the advantageous properties of both parties. As an example, in this paper, we propose a new denoising scheme, where the total variation minimizing term is adopted by the moving least squares method. The proposed scheme is based on splitting methods, since they make it possible to express the minimization problem as a linear system. In this paper, we employed the split Bregman scheme for its simplicity. The resulting denoising scheme overcomes the drawbacks of both schemes, i.e., the staircase artifact in the total variation minimizing based denoising and the noisy artifact in the moving least squares based denoising method. The proposed computational framework can be utilized to put various combinations of both approaches with different properties together.     

基于核偏最小二乘分类的垃圾邮件过滤

垃圾邮件是Internet上亟待解决的问题,目前许多垃圾邮件过滤技术已经被使用。基于偏最小二乘的方法可以解决垃圾邮件的内容中普遍存在的数据稀疏性、高特征维数和多重相关性问题。但邮件内容之间的内在联系往往不是线性的,该文通过在偏最小二乘方法上引入核函数,去解决这一类的非线性问题。Enron-Spam垃圾数据集实验表明,同PLSR等方法比较,模型表现出了较好的过滤性能。     

Recursive Update Algorithm for Least Squares Support Vector Machines

In this Letter an efficient recursive update algorithm for least squares support vector machines (LSSVMs) is developed. Using the previous solution and some matrix equations, the algorithm completely avoids training the LSSVM all over again whenever new training sample is available. The gain in speed using the recursive update algorithm is illustrated on four data sets from UCI repository: the Statlog Australian credit, the Pima Indians diabetes, the Wisconsin breast cancer, and the adult income data sets.     

基于GPU的并行奇异值分解最小平方估计算法

对奇异值分解(SVD)求解最小平方估计的问题进行了研究。提出迭代式分割与合并的算法(IDMSVD),目的是解决奇异值分解在估计参数时非常耗费内存空间的问题。基于IDMSVD提出了并行IDMSVD算法,并使用GPU实现之。实验结果显示,IDMSVD可以有效地解决SVD求最小平方解耗费运行时间与内存空间的问题,并行IDMSVD算法可进一步改善IDMSVD的运行时间。     

基于距离平方差的目标定位估计算法研究

无线传感器网络定位技术作为无线传感器网络的重要支撑技术之一,具有很大的实际价值和研究意义。无线传感器网络的目标定位估计技术主要应用于目标跟踪和目标运动分析,在工业领域具有广阔的发展前景。无线传感器网络由许多在空间中分布的传感器组成,这些传感器能够测量出传感器与定位目标之间的距离,但是该观测距离因为受环境影响所以是有噪音的。目前基于距离的最小二乘估计的定位算法已得到广泛关注,但是该问题是一个非凸问题,精确求解十分困难。因此学者们提出了基于距离平方的最小二乘估计的定位算法,该算法的数学模型虽然相对精确,但是计算起来十分复杂。本文基于距离平方差,提出了新的目标定位估计算法,该算法计算简单,稳定性强,且能得到与基于距离平方的最小二乘估计的定位算法相当的结果。仿真实验结果表明,无论在低噪音水平、中噪音水平还是高噪音水平下,本文提出的新算法都更有优势,在工程领域有极高的应用价值。     

A Self-Stabilizing Leader Election Algorithm for Tree Graphs

We propose a self-stabilizing algorithm (protocol) for leader election in a tree graph. We show the correctness of the proposed algorithm by using a new technique involving induction.     

非线性系统辨识的改进双对角化最小二乘算法

本文提出了一种新的有效的非线性系统最小二乘辨识算法－－改进的双对角化最小二乘（ＭＢＬＳ）算法，在存在舍入误差的条件下，给出了算法的收敛性证明，事实上，算法的收敛性几何不受舍入误差的影响，算法是大范围数值稳定的，仿真结果说明了新算法的有效性。     

时序数据的非线性最小二乘迭代分解算法

从时序数据中精确地分解出趋势、周期及随机噪声等数据成分，能有助于人们掌握事物在演变过程中所蕴藏的内在规律.基于非线性最小二乘法，提出一种性能更为高效的时序数据分解算法。首先，基于关键转折点和趋势导数的方法从待分解序列中概要地析出各种不同的数据成分，然后，分别利用多项式函数、正弦谐波级数及自回归模型对相应的数据成分进行拟合，最后，在加法模型中迭代求解各种数据成分的非线性最小二乘参数。实验表明，新设计的算法在分解精度和计算成本等指标上均优于现有的算法。