一类非平坦函数的多核最小二乘支持向量机的鲁棒回归算法

给出了标准最小二乘支持向量机的数学回归模型,并提出了多核最小二乘支持向量机算法,用于提高非平坦函数的回归精度.运用谱系聚类方法解决多核最小二乘支持向量机的解缺乏稀疏性的问题.利用偏最小二乘回归方法对多核最小二乘支持向量机进行了鲁棒回归.通过仿真实例证实了所提方法的有效性.     

基于最小二乘支持向量机的非线性系统鲁棒自适应跟踪控制

提出了一种基于最小二乘支持向量机的非线性系统鲁棒自适应跟踪控制方法. 该方法通过最小二乘支 持向量机在线修正由于建模误差、不确定因素等引起的非线性系统逆误差,使得系统输出可以准确跟踪参考模型输 出. 最小二乘支持向量机的参数调整规律由李亚普诺夫稳定性理论导出. 文中证明了非线性系统的稳定性,仿真结果 证明了该方法的有效性.     

基于多尺度小波LSSVR的污水处理过程软测量

针对污水处理中某些生物参数难以在线测量的情况,本文提出了一种基于小波核的多尺度最小二乘小波支持向量机软测量建模方法:。首先,选取墨西哥草帽小波函数作为最小二乘支持向量机的核函数,进而设计出多尺度小波最小二乘支持向量回归机(MW-LSSVR)。然后利用该支持向量机和出水水质参数特性建立混合软测量模型,实现对出水BOD浓度、COD浓度在线预测。通过在实际污水处理过程的应用,结果:表明本建模方法:具有较高的预测精度和较快的模型学习速度,能对BOD的做出准确的预测,一定程度上可以替代某些昂贵的在线测量仪表,给污水处理厂工作人员提供了控制操作依据,具有一定的实际应用价值。     

基于鲁棒学习的最小二乘支持向量机及其应用

鉴于最小二乘支持向量机比标准支持向量机具有更高的计算效率和拟合精度,但缺少标准支持向量机的鲁棒性,即当采样数据存在奇异点或者误差变量的高斯分布假设不成立时,会导致不稳健的估计结果,提出了一种鲁棒最小二乘支持向量机方法.该方法在最小二乘支持向量机基础上,通过引入鲁棒学习方法来获得鲁棒估计.仿真分析及某湿法冶金厂的应用实例验证了该方法的可行性和有效性.     

一种基于Cholesky分解的动态无偏LS-SVM学习算法

针对最小二乘支持向量机用于在线建模时存在的计算复杂性问题,提出一种动态无偏最小二乘支持向量回归模型.该模型通过改进标准最小二乘支持向量机结构风险的形式消除了偏置项.得到了无偏的最小二乘支持向量机,简化了回归系数的求解.根据模型动态变化过程中核函数矩阵的特点,设计了基于Cholesky分解的在线学习算法.该算法能充分利用历史训练结果,减少计算复杂性.仿真实验表明了所提出模型的有效性.     

基于投影寻踪的非线性鲁棒偏最小二乘法及应用

来自工业现场的数据往往具有非线性特性且包含离群点, 利用非线性偏最小二乘(partial least squares, PLS)建模易受离群点的影响. 针对这一问题, 结合径向基函数(radial basis function, RBF)网络, 本文提出了一种基于投影寻踪的非线性鲁棒PLS方法. 该方法首先利用RBF变换将自变量与因变间的非线性关系转化为线性关系; 然后利用投影寻踪算法提取变换后自变量的鲁棒偏最小二乘法成分; 最后建立鲁棒PLS成分与因变量之间的鲁棒线性回归模型. 将该方法应用于湿法冶金萃余液pH值软测量建模问题, 结果验证了其有效性.     

一种多输出支持向量机的增量学习算法

标准支持向量机主要对单输出样本学习已经进行了广泛的研究,而对多输出样本学习问题的研究较少.在最小二乘支持向量回归机模型的基础上,推广得到多输出最小二乘支持向量回归机模型,并给出它的一种增量学习算法.理论分析和实验结果证明它不但保证了学习精度,而且使得多输出回归问题的学习速度大大加快.     

基于PSO和LSSVM的生化过程建模研究

针对最小二乘支持向量机(LSSVM)在生化过程建模中的重要建模参数值选择问题.提出利用具有较强的全局搜索能力的粒子群(PSO)优化算法.对最小二乘支持向量机建模过程中的重要参数进行优化调整,每一个粒子的位置向量对应一组最小二乘支持向量机建模的参数.利用参数优化调整后得到的具有较优拟合预测效果的模型对谷氨酸发酵过程进行预测,仿真结果表明,该方法能使模型取得较好的预测效果.     

基于LS-SVM算法的混沌时序递推预测

研究利用最小二乘支持向量机（LS-SVM）预测变参数混沌时间序列。支持向量机方法是基于结构风险最小化原理导出的,最小二乘支持向量机是一种在二次损失函数下采用等式约束求解问题的支持向量机,保留支持向量机优点的同时计算量大大减少。变参数混沌时间序列预测是典型的小样本学习问题,由于参数的慢变导致系统的动力学特性不断发生变化,全局建模预测方法很难适用,必须在线实时预测。为了快速跟踪预测变参数混沌系统的时间序列,研究了利用一种简化的最小二乘支持向量机在线递推算法进行预测。最后对典型变参数混沌时间序列的预测实验结果表明了该方法的有效性。     

基于自适应加权最小二乘支持向量机的芳烃产量软测量建模

芳烃收率是催化重整生产过程中的重要质量指标。针对其软测量建模中样本数据可能存在的测量误差对模型性能的影响,提出一种自适应加权最小二乘支持向量机(AWLSSVM)回归建模方法。该方法基于最小二乘支持向量机模型,根据样本拟合误差,并结合改进的指数分布加权规则,为每个建模样本分配不同的权值,以降低测量误差对建模精度的影响;同时提出一种全局优化算法—混沌粒子群模拟退火(CPSO-SA)算法对最小二乘支持向量机的模型参数进行优化选择,以提高模型的泛化能力。仿真实验表明,AWLS-SVM模型的预测精度及鲁棒性能优于LS-SVM和WLS-SVM。最后,应用AWLS-SVM方法建立催化重整生产过程芳烃收率的软测量模型,获得了较好的效果。     

一种基于局部模型的非线性多工况过程监测方法

针对复杂工业过程中的非线性、非高斯特性以及多工况问题, 提出了一种基于局部模型的在线统计监测新方法. 首先利用局部最小二乘支持向量机回归 (Least square support vector regression, LSSVR) 模型对过程输出进行预测, 与真实的输出相比较构成残差序列. 然后利用 ICA-PCA 两步特征提取策略, 完整地提取残差的高斯和非高斯信息, 最后用三个统计量 (I2、T2 和 SPE) 对过程进行监测, 建立了一种具有非线性、非高斯特性的多工况过程在线监测算法. 通过对 TE (Tennessee Eastman) 过程的仿真研究, 验证提出的方法是可行、有效的, 并显示出了一定的故障检测能力.     

利用矢量基学习和自适应迭代算法改进LSSVR

针对最小二乘支持向量回归缺乏传统SVR的稀疏性和鲁棒性等问题,综合矢量基学习和自适应迭代算法的优势,提出了一种改进的加权最小二乘支持向量回归算法（LSSVR）。该算法通过引入用矢量基学习和自适应迭代相结合的方式得到一个小的支持向量集,可以避免递推时可能出现的误差积累问题,有效提高算法的稀疏性和稳定性;同时采用加权方法确定权值系数以减小训练样本中非高斯噪声的影响。实验结果表明,改进的LSSVR具有较好的鲁棒性、支持向量稀疏性和动态建模实时性。     

动态SVDD算法在数据流模式变化检测中的应用

针对现有数据流模式变化检测算法存在对离群点和噪声敏感等缺点,提出一种基于动态SVDD的数据流模式变化鲁棒检测算法。该算法不需要先验知识,通过建立子序列映像的最小超球体模型以排除离群点及减小噪声的影响。仿真实验验证了算法的有效性。     

基于鲁棒尺度的统计建模数据中异常点去除算法的研究及应用

针对基于主元分析 (PCA)的统计监控模型受到历史数据中异常点强烈影响的不足,鉴于建模历史数据中存在的异常点会影响过程监控效果,分析目前常用的鲁棒异常值检测算法原理及其缺陷,提出将中心最短距离(CDC)法与椭球多变量整理(MVT)法相结合,构成一种基于鲁棒尺度的CDC-MVT异常值综合检测算法,更加准确地检测异常点。将该算法应用于工业发酵过程,与CDC法和MVT法相比较,该算法能够有效去除建模数据中的异常点。     

数据驱动的最优运行状态鲁棒评价方法及应用

在现代复杂工业生产过程中, 细致而稳健的运行状态评价及非优因素识别对指导工业生产具有十分重要的实际意义.考虑到复杂工业过程难以建立准确的数学模型和实际工业过程数据噪声及离群点污染比较严重的问题, 本文提出一种全潜鲁棒偏M估计的复杂工业过程最优状态的鲁棒评价方法.在建立离线评价模型时, 通过对过程数据主元和残差子空间的进一步分解, 提取出能够反映与原材料、生产消耗和产品质量等因素相关的经济指标的变化信息, 同时采用样本数据加权的方法消除离群点对评价模型的不利影响, 提高算法的鲁棒性; 在线评价时, 针对生产过程中存在不确定性因素, 引入在线数据窗口及相似度分析进行在线评价, 并给出在线评价的准则和流程, 提高评价结果的可靠性, 当评价结果非优时, 通过计算相应变量的贡献率识别非优因素.最后, 通过重介质选煤过程验证了所提方法的有效性.     

基于局部保持投影的鲁棒稀疏子空间学习

传统的子空间学习算法包含投影学习和分类两个过程,但是这两个过程分离,且对离群点较敏感,可能导致算法无法获得整体最优解。为此,提出了一种基于局部保持投影的鲁棒稀疏子空间学习算法。该算法将特征学习和分类模型相结合,使学习得到的子空间特征更具有判别性;利用L2,1范数的行稀疏性质,剔除冗余特征,同时在算法模型中考虑数据样本的局部关系来提高对离群点的鲁棒性;最后采用交替迭代方法来求解该模型。在不同数据集上的实验结果表明该算法具有较好的识别效果。     

基于二次误差的点云配准算法

提出了一种基于二次误差的特征描述子,该特征描述子具有旋转不变性。通过提取点的二次误差和邻域点二次误差得到两种特征描述子。基于高斯混合模型的点云配准算法层出不穷,主要原因是概率模型在噪声和离群值方面具有更好的鲁棒性,然而该类方法对于尺度较大的旋转表现并不好,为此将二次误差特征描述子作为高斯混合模型的局部特征优化了高斯混合模型较大旋转中的配准效果,并提出基于双特征的配准策略优化了单一特征的缺陷。通过实验与鲁棒的ICP(iterative closest point)以及流行的基于特征的配准算法在配准效率和配准精度方面进行对比,效率是鲁棒性ICP的3～4倍。在大尺度的旋转中提出的算法具有良好的鲁棒性并且优于大多数流行的算法。     

Online chaotic time series prediction using unbiased composite kernel machine via Cholesky factorization

The kernel method has proved to be an effective machine learning tool in many fields. Support vector machines with various kernel functions may have different performances, as the kernels belong to two different types, the local kernels and the global kernels. So the composite kernel, which can bring more stable results and good precision in classification and regression, is an inevitable choice. To reduce the computational complexity of the kernel machine’s online modeling, an unbiased least squares support vector regression model with composite kernel is proposed. The bias item of LSSVR is eliminated by improving the form of structure risk in this model, and then the calculating method of the regression coefficients is greatly simplified. Simultaneously, through introducing the composite kernel to the LSSVM, the model can easily adapt to the irregular variation of the chaotic time series. Considering the real-time performance, an online learning algorithm based on Cholesky factorization is designed according to the characteristic of extended kernel function matrix. Experimental results indicate that the unbiased composite kernel LSSVR is effective and suitable for online time series with both the steep variations and the smooth variations, as it can well track the dynamic character of the series with good prediction precisions, better generalization and stability. The algorithm can also save much computation time comparing to those methods using matrix inversion, although there is a little more loss in time than that with the usage of single kernels.