系统辨识(7)：递阶辨识原理与方法

递阶辨识是系统辨识的一个重要分支.递阶辨识原理是在大系统递阶控制的“分解-协调原理”基础上发展起来的,它不仅能够解决参数数目多、维数高、大规模系统辨识算法计算量大的问题,而且能够解决结构复杂的双线性参数系统、多线性参数系统以及非线性系统的辨识问题.首先介绍递阶辨识原理和线性方程组Ax=b的著名雅可比迭代和高斯-赛德尔迭代,给出了线性方程组的迭代方法族;其次将雅可比迭代思想和递阶辨识原理用于研究一般矩阵方程和耦合矩阵方程的递阶梯度迭代求解方法和递阶最小二乘迭代求解方法;再次介绍了方程误差模型的两阶段最小二乘辨识方法(一个简单的递阶辨识方法)和线性回归模型的递阶最小二乘辨识方法;最后研究了类多变量CARMA系统的递阶辨识方法.     

辨识方法的计算效率(1):递推算法

算法的计算量可用其乘法运算次数和加法运算次数表示(除法作为乘法对待,减法作为加法对待).一次乘法运算或一次加法运算称为一个flop,即一次浮点运算.作为"辨识方法的计算效率"系列3篇连载论文的第1篇,主要了讨论递推辨识算法的计算量,包括向量和矩阵基本运算的flop数,以及线性回归系统、多元线性回归系统、多变量系统的随机梯度辨识算法、最小二乘辨识算法、递推最小二乘辨识算法的最经济计算量,即实现算法的最少flop数.     

系统辨识(8):耦合辨识概念与方法

耦合辨识是系统辨识的一个重要分支,是新近发展和提炼形成的一种辨识概念,主要用于研究结构复杂的参数耦合线性和非线性多变量系统的辨识问题.辅助模型辨识思想、多新息辨识理论、递阶辨识原理、耦合辨识概念是本文作者提出的一些新的辨识研究思路、理念和方法,分别能够用于研究存在未知过程变量的不可测系统的辨识,能够提高辨识方法的收敛速度和参数估计精度,能够解决结构复杂、大规模多变量系统及参数耦合多变量系统的辨识问题、减小辨识算法的计算量.首先介绍多变量系统耦合辨识概念,在此基础上讨论多变量系统的几种(全)耦合最小二乘辨识方法、(全)耦合随机梯度辨识方法、部分耦合随机梯度辨识方法、部分耦合最小二乘辨识方法等,最后说明耦合辨识方法可推广用于有色噪声干扰多变量系统的辨识,并列出了一些多变量系统模型结构,阐述了耦合辨识概念可以结合辅助模型辨识思想、多新息辨识理论、递阶辨识原理、迭代搜索原理(梯度迭代、最小二乘迭代、牛顿迭代)等来研究线性或非线性多变量系统的辨识问题     

多变量方程误差类系统的部分耦合迭代辨识方法

针对多变量方程误差滑动平均系统,利用最小二乘原理和迭代搜索原理,给出了增广随机梯度辨识方法、递推增广最小二乘辨识方法、梯度迭代辨识方法和最小二乘迭代辨识方法.针对多变量方程误差滑动平均系统和多变量方程误差自回归滑动平均系统,将多变量系统分解为一些子系统,利用耦合辨识概念,讨论了梯度迭代辨识方法、部分耦合(子系统)梯度迭代辨识方法、子系统最小二乘迭代方法和部分耦合子系统最小二乘迭代辨识方法.进一步结合数据滤波技术,研究了多变量方程误差自回归滑动平均系统的子系统梯度迭代辨识方法、部分耦合(子系统)梯度迭代辨识方法、部分耦合子系统最小二乘迭代辨识方法.文中给出了几个典型算法的计算步骤.     

系统辨识(6):多新息辨识理论与方法

多新息辨识是系统辨识的一个重要分支.新息是能够改善参数估计精度或状态估计精度的有用信息.首先,详细讨论了线性回归模型的各种多新息辨识方法,包括多新息投影算法、多新息随机梯度算法、多新息遗忘梯度算法、变递推间隔多新息随机梯度算法、多新息最小二乘辨识方法、变递推间隔多新息最小二乘算法等;然后,给出了方程误差类系统、输出误差类系统、输入非线性系统的随机梯度辨识算法、多新息随机梯度算法和多新息最小二乘辨识算法;最后,简单说明了多新息辨识理论可以发展到多新息观测器和多新息卡尔曼滤波理论.     

传递函数辨识(22):线性回归系统的递阶迭代参数估计

利用迭代搜索和递阶辨识原理,以线性回归系统为例,讨论了递阶梯度迭代辨识方法、递阶多新息梯度迭代辨识方法、递阶最小二乘迭代辨识方法、递阶多新息最小二乘迭代辨识方法,并给出引入加权因子和遗忘因子的递阶迭代辨识方法等.这些迭代辨识方法可以推广到有色噪声的随机系统中.     

传递函数辨识(24):线性回归系统的变间隔递阶迭代参数估计

变间隔辨识概念是处理损失数据系统和稀少量测数据系统辨识的一种有效方法.利用变间隔辨识概念和递阶辨识原理,研究了线性回归系统的变间隔递阶梯度迭代辨识方法、变间隔递阶多新息梯度迭代辨识方法、变间隔递阶最小二乘迭代辨识方法、变间隔递阶多新息最小二乘迭代辨识方法等.这些变间隔递阶迭代辨识方法可以推广到其他有色噪声下的线性和非线...     

输出非线性方程误差类系统递推最小二乘辨识方法

随着控制技术的发展,控制对象的规模越来越大,使得辨识算法的计算量也越来越大.对于结构复杂的非线性系统,特别是包含未知参数乘积的非线性系统,使得过参数化辨识方法的参数数目大幅度增加,辨识算法的计算量也急剧增加,因此探索计算量小的参数估计方法势在必行.针对输出非线性方程误差类系统,讨论了基于过参数化模型的递推最小二乘类辨识方法;为减小过参数化辨识算法的计算量和提高辨识精度,分别利用分解技术和数据滤波技术,研究和提出了基于模型分解的递推最小二乘辨识方法和基于数据滤波的递推最小二乘辨识方法.最后给出了几个典型辨识算法的计算量、计算步骤、流程图.     

类多变量方程误差类系统的递阶多新息辨识方法

根据递阶辨识原理,研究了类多变量方程误差系统和类多变量方程误差ARMA系统递阶随机梯度方法和递阶梯度迭代方法、递阶最小二乘方法和递阶最小二乘迭代方法.进一步利用多新息辨识理论,推导了递阶多新息梯度辨识方法和递阶多新息最小二乘辨识方法.为减小计算量,推导了基于滤波的类多变量方程误差ARMA系统递阶辨识方法和递阶多新息辨识方法.讨论了几个典型辨识算法的计算量,并给出了计算参数估计的步骤.     

滤波辨识(4):方程误差自回归系统的滤波广义迭代参数估计

受控自回归自回归模型也称为方程误差自回归模型。利用采集的批量数据和迭代搜索,论文基于滤波辨识理念,研究和提出了方程误差自回归系统的滤波广义梯度迭代辨识方法、滤波多新息广义梯度迭代辨识方法、滤波广义最小二乘迭代辨识方法、滤波多新息广义最小二乘迭代辨识方法。这些滤波广义迭代辨识方法可以推广到其它有色噪声干扰下的线性和非线性多变量随机系统中。     

传递函数辨识(18):输出误差模型的辅助模型递阶迭代参数估计

针对输出误差系统,利用迭代搜索原理,研究了辅助模型梯度迭代算法、辅助模型最小二乘迭代算法、辅助模型多新息梯度迭代算法、辅助模型多新息最小二乘迭代算法;利用递阶辨识原理,研究了辅助模型递阶梯度迭代算法、辅助模型递阶多新息梯度迭代算法、辅助模型递阶最小二乘迭代算法、辅助模型递阶多新息最小二乘迭代算法等.这些辨识方法可以推广...     

输入非线性方程误差自回归系统的多新息辨识方法

典型块结构非线性系统包括基本的输入非线性系统、输出非线性系统、输入输出非线性系统、反馈非线性系统等.输入非线性系统包括输入非线性方程误差类系统和输入非线性输出误差类系统.以输入非线性方程误差自回归系统,即输入非线性受控自回归自回归(IN-CARAR)系统为例,分别基于过参数化模型,基于关键项分离原理,基于数据滤波技术以及基于辨识模型分解技术,研究和提出了IN-CARAR系统的随机梯度辨识方法、多新息随机梯度辨识方法、递推最小二乘辨识方法、多新息最小二乘辨识方法.这些方法可以推广到其他输入非线性方程误差系统、输入非线性输出误差类系统、输出非线性方程误差类系统、输出非线性输出类系统、反馈非线性系统等.同时,给出了几个典型辨识算法的计算步骤、流程图和计算量.     

传递函数辨识(20):有限脉冲响应滑动平均系统的递阶增广迭代参数估计

针对有限脉冲响应滑动平均系统,利用递阶辨识原理和迭代搜索技术,研究了递阶增广梯度迭代算法、递阶增广最小二乘迭代算法、递阶多新息增广梯度迭代算法、递阶多新息增广最小二乘迭代算法等.这些辨识方法可以推广到有色噪声干扰的线性和非线性随机系统中.     

传递函数辨识(21):线性回归系统的递阶递推参数估计

利用递阶辨识原理,研究了线性回归系统的递阶最小二乘辨识算法、递阶多新息最小二乘辨识算法、递阶随机梯度辨识算法、递阶多新息随机梯度辨识算法、递阶递推梯度辨识算法、递阶多新息递推梯度辨识算法等.这些辨识方法可以推广到有色噪声的随机系统中.     

滤波辨识(6):输出误差自回归滑动平均系统的滤波辅助模型广义增广迭代参数估计

输出误差自回归滑动平均模型也称为Box-Jenkins模型。针对Box-Jenkins系统,基于滤波辨识理念,研究和提出了滤波辅助模型广义增广梯度迭代辨识方法、滤波辅助模型多新息广义增广梯度迭代辨识方法、滤波辅助模型多新息广义增广投影迭代辨识方法、滤波辅助模型广义增广最小二乘迭代辨识方法、滤波辅助模型多新息广义增广最小二乘迭代辨识方法。这些滤波辅助模型广义增广迭代辨识方法可以推广到其它有色噪声干扰下的线性和非线性多变量随机系统中。     

求线性矩阵方程自反最小二乘解的迭代方法

基于求线性代数方程组的共轭梯度法的思想,建立了求一般线性矩阵方程的自反最小二乘解的迭代算法,并证明了迭代算法的收敛性.不考虑舍入误差时,迭代算法能够在有限步计算之后得到矩阵方程的自反最小二乘解;选取特殊的初始矩阵时,可求得极小范数自反最小二乘解.同时,也能够给出指定矩阵的最佳逼近自反矩阵.最后,用数值算例对有关结果进行了验证.     

滤波辨识(11):多变量CARARMA系统的滤波递阶广义增广迭代参数辨识

针对多变量受控自回归自回归滑动平均(M-CARARMA)系统,利用滤波辨识理念和递阶辨识原理,研究和提出了滤波递阶广义增广梯度迭代辨识方法、滤波递阶多新息广义增广梯度迭代辨识方法、滤波递阶递推广义增广最小二乘迭代辨识方法、滤波递阶多新息广义增广最小二乘迭代辨识方法等。这些滤波递阶广义增广迭代辨识方法可以推广到其它有色噪声干扰下的线性和非线性多变量随机系统中。     

规范状态空间系统辨识方法

因为状态空间模型既包含了未知状态,又包含了未知参数,且二者是非线性乘积关系,使得辨识问题变得复杂.针对这一问题,详细研究了规范状态空间系统的状态与参数联合估计方法.采用交互估计理论,即采用递推方法或迭代方法实现系统状态与参数的交互估计.基本思路是在计算参数估计时,辨识算法信息向量中的未知状态用其估计值代替,然后利用获得的参数估计,设计基于参数估计的状态观测器或基于参数估计的Kalman滤波算法估计系统的状态,二者形成一个交互计算过程(递阶计算过程).沿着这条思路,分别从递推方案和迭代方案,研究和提出了基于状态观测器和基于Kalman滤波状态估计的随机梯度辨识算法、递推最小二乘辨识算法、多新息随机梯度辨识算法、多新息最小二乘辨识算法,以及模型分解的辨识算法,并给出了几个典型算法的计算步骤、流程图和计算量.     

系统辨识(5):迭代搜索原理与辨识方法

递推辨识与迭代辨识构成了两类重要的参数估计方法.递推辨识的递推变量与时间有关,因而可以用于在线估计系统参数;迭代辨识的迭代变量是自然数,与客观世界的时间无关,通常用于离线估计系统参数.基于辅助模型辨识思想、多新息辨识理论、递阶辨识原理、耦合辨识概念等辨识方法都可以用递推算法和迭代算法实现.迭代方法渊源很早,如求解矩阵方...     

传递函数辨识(10):基于频率响应的迭代参数估计方法

利用系统的频率特性观测数据,研究和提出一般传递函数参数的迭代辨识方法,包括梯度迭代辨识方法、多新息梯度迭代辨识方法、最小二乘(迭代)辨识方法、多新息最小二乘(迭代)辨识方法,以及联合迭代辨识方法和耦合迭代辨识方法。文中的方法对一般线性时不变系统传递函数参数辨识是有效的,对共轭极点、重极点等没有限制。