一种基于Cholesky分解的动态无偏LS-SVM学习算法

针对最小二乘支持向量机用于在线建模时存在的计算复杂性问题,提出一种动态无偏最小二乘支持向量回归模型.该模型通过改进标准最小二乘支持向量机结构风险的形式消除了偏置项.得到了无偏的最小二乘支持向量机,简化了回归系数的求解.根据模型动态变化过程中核函数矩阵的特点,设计了基于Cholesky分解的在线学习算法.该算法能充分利用历史训练结果,减少计算复杂性.仿真实验表明了所提出模型的有效性.     

基于LS-SVM算法的混沌时序递推预测

研究利用最小二乘支持向量机（LS-SVM）预测变参数混沌时间序列。支持向量机方法是基于结构风险最小化原理导出的,最小二乘支持向量机是一种在二次损失函数下采用等式约束求解问题的支持向量机,保留支持向量机优点的同时计算量大大减少。变参数混沌时间序列预测是典型的小样本学习问题,由于参数的慢变导致系统的动力学特性不断发生变化,全局建模预测方法很难适用,必须在线实时预测。为了快速跟踪预测变参数混沌系统的时间序列,研究了利用一种简化的最小二乘支持向量机在线递推算法进行预测。最后对典型变参数混沌时间序列的预测实验结果表明了该方法的有效性。     

司法消噪与多技术融合的时间序列预测

针对时间序列的在线精确预测问题,建立了融合预测算法。创新地提出了司法消噪算法,在保留数据的原始信息前提下,实现了对时间序列中数据噪声和新稳态的处理;利用经验模式分解方法对除噪后的数据进行平稳化分解处理;结合BP神经网络、最小二乘支持向量机分别对分解后的低频、高频项进行预测,实现对时间序列的在线精确预测。该算法克服了BP神经网络的高频易发散和最小二乘支持向量机的计算高耗时问题。基于患者呼吸周期序列预测的仿真和临床实验结果表明,该算法能实现时间序列的在线精确预测,且误差小于单一的BP算法,耗时小于单一的最小二乘支持向量机预测算法。     

基于混沌粒子群优化LS-SVM的发动机磨损状态监测研究

基于混沌PSO算法优化最小二乘支持向量机实现航空发动机磨损状态监测;通过小波包分解消除润滑油光谱数据的噪声,获取LS-SVM的训练与测试样本;针对最小二乘支持向量机解决大规模数据样本回归问题时所出现的训练时间长、收敛速度慢等缺点,提出了混沌PSO算法优化LS-SVM的模型参数;该方法不仅克服了传统PSO算法早熟、容易陷入局部最小值等缺点,同时显著提高了最小二乘支持向量机的预测能力;最后,将一般LS-SVM和GM(1,1)模型的预测结果与文中预测结果进行对比,该方法构建的模型对测试样本产生的预测误差仅为0.0441,验证了该方法在预测精度上具有明显优势。     

相空间重构和SVR联合优化的短时交通流预测

短时交通流预测首先重构相空间,然后采用时间序列模型预测交通流量,而支持向量回归机（SVR）是比较好的时间序列预测模型。但短时交通流相空间重构的嵌入维数与延迟时间与支持向量回归机的参数确定往往是分别独立地求解,难以达到两组参数值的同时最优,影响预测的准确性。为了提高短时交通流的预测准确性,提出一种利用粒子群算法联合优化相空间重构和支持向量回归机的预测模型,并用于实际短时交通流数据的预测。该模型的相空间重构和支持向量回归机（SVR）的参数联合一起优化,利用粒子群算法同时优化其两组参数的组合值。采用短时交通流数据仿真,结果表明联合一起优化所得参数的预测器提高了简单模型预测的效果。     

基于SOA-LSSVM的短时交通流量预测

针对短时交通流量存在的非线性与不确定性的问题,结合搜索者算法收敛精度高和最小二乘支持向量机计算速度快的优点,提出基于搜索者-最小二乘支持向量机( SOA-LSSVM)的流量预测模型,将该模型应用于短时交通流量预测,并与人工神经网络进行对比分析,结果表明,该模型具有较高的预测精度和泛化能力,适合于短时交通流量的预测,具有良好的推广应用价值。     

基于核岭回归估计器的常压塔航煤干点推断控制

提出了一种基于核岭回归推断估计器的新型推断控制策略，来实现常压塔航煤干点的在线检测和控制.首先，对支持向量机与最小二乘支持向量机回归算法进行了分析，并提出一种直接优化核岭回归算法.其次，通过采集的二次变量数据和化验数据，用核岭回归方法建立了航煤干点的估计器模型．最后进行了仿真，结果表明，在相同样本集下，与支持向量机、RBF网络模型比较，所提建模方法调节参数少，预测精度高．     

基于SVR的桥梁健康监测系统缺失数据在线填补研究

针对桥梁健康监测系统所采集的实时数据具有不完备性,严重影响桥梁的安全评估,提出基于支持向量回归SVR(Support Vector Regression)算法的桥梁健康监测系统缺失数据实时在线预测方法.首先,分析实测数据具有时序、非线性和周期性等特点,利用变量的自相关和变量间的相关性重新构造支持向量回归模型的输入样本维数;在此基础上,根据样本在线更新的特点,采用序列最小优化算法对支持向量回归模型中的拉格朗日乘子进行实时更新,解决高精度在线填补的需求;最后,从实际问题出发,实现了支持向量回归模型的在线和离线自适应预测模式.通过对桥梁实测数据进行在线模式和离线模式预测对比,结果表明在线模式以样本更新的方式能够获得对将来值更高的预测精度.     

基于最优样本集在线模糊最小二乘支持向量机的飞行冲突网络态势预测

针对空中交通系统运行周期性和时变性的特点，结合复杂网络理论和模糊最小二乘支持向量机（LSSVM），提出一种基于最优样本集在线模糊最小二乘支持向量机（OTSOF-LSSVM）的飞行冲突网络态势预测方法。首先，基于三维的速度障碍法构建飞行冲突网络模型，并根据航空器的位置、航向和速度判断冲突；其次，分析飞行冲突网络拓扑指标的演化时间序列，得到与预测时刻在时间和距离上相关的样本组成最优样本集；最后，采用在线模糊LSSVM训练得到预测模型，并在模型更新过程中通过分块矩阵思想简化更新过程，提高算法效率。实验结果表明，所提方法能够快速、准确地预测空中态势，为管制员掌握空中交通的发展情况提供参考，并辅助进行冲突的预先调配。     

基于MapReduce的最小二乘支持向量机回归模型

针对最小二乘支持向量机处理大规模数据集耗时长且受内存限制的特点,将局部多模型方法与MapReduce编程模式相结合,提出一种并行最小二乘支持向量机回归模型.模型由两组MapReduce过程组成,首先按照输入样本集对样本数据进行聚类操作,再对聚类后得到的子类按输出样本集进行二次聚类操作,分别得到局部模型数目和各局部模型综合加权输出计算结果.实验结果表明,并行最小二乘支持向量机回归模型具有较好的加速比和可扩展性.     

基于滑动时间窗的支持向量机软测量建模研究

提出了一种基于滑动时间窗的最小二乘支持向量机软测量建模方法，并针对某一工业共沸精馏塔成分估计问题，建立了合适的工业软测量模型。介绍了最小二乘支持向量机计算法和滑动时间窗的建立。并利用滑动时间窗内的数据进行系统的在线优化和周期性模型更新，提高了工业软测量模型的在线估计精度。研究结果表明，LS—SVM是一种有效的软测量建模方法。     

一种平稳化短时交通流预测方法

支持向量机回归模型是以预测噪声具有对称性概率分布为假设条件,而实际的短时交通流数据序列具有非平稳特征,这就使得在采用支持向量机回归模型进行短时交通流预测时,难以保证预测噪声的对称性概率分布,从而会影响到预测精度.针对上述问题,在证明支持向量机回归模型对平稳时间序列的预测噪声具有对称性概率分布的基础上,分别针对平稳化和未平稳化的短时交通流观测序列进行了仿真预测,并对预测结果进行了比对分析.分析结果表明,采用平稳化短时交通流预测方法可将预测的均方根误差降低约21.6％,绝对值误差降低约21.3％,相对误差降低约17.3％,仿真结果验证了所提方法的有效性.     

基于PSO-LSSVM的网络流量预测模型

为了提高网络流量的预测精度,考虑到网络流量的长相关、非线性等特性,提出一种粒子群算法优化最小二乘支持向量机参数的网络流量预测模型（PSO-LSSVM）．首先将最小二乘支持向量机参数作为粒子的位置向量,然后利用粒子群算法找到模型的最优参数,最后采用最优参数最小二乘支持向量机建立网络流量预测模型．仿真结果表明,相对于参比模型,PSO-LSSVM能够获得更高的网络流量预测精度,更能准确描述网络流量变化规律．     

A sparse kernel algorithm for online time series data prediction

Kernel based methods have been widely applied for signal analysis and processing. In this paper, we propose a sparse kernel based algorithm for online time series prediction. In classical kernel methods, the kernel function number is very large which makes them of a high computational cost and only applicable for off-line or batch learning. In online learning settings, the learning system is updated when each training sample is obtained and it requires a higher computational speed. To make the kernel methods suitable for online learning, we propose a sparsification method based on the Hessian matrix of the system loss function to continuously examine the significance of the new training sample in order to select a sparse dictionary (support vector set). The Hessian matrix is equivalent to the correlation matrix of sample inputs in the kernel weight updating using the recursive least square (RLS) algorithm. This makes the algorithm able to be easily implemented with an affordable computational cost for real-time applications. Experimental results show the ability of the proposed algorithm for both real-world and artificial time series data forecasting and prediction.     

增量式最小二乘法分类器与增量式支持向量机的对比

在处理大规模数据时,近似支持向量机及其增量式版本(ISVM)是一种比传统支持向量机更加简单而有效的分类器.但在处理高维数据时,由于ISVM通过计算矩阵的逆来更新模型参数,这使得其计算效果有待提高.针对上述问题,本文提出了基于最小二乘法的增量式方法.该增量式方法通过对矩阵运算的恒等推导,把矩阵求逆问题转变成了除法运算,得到了简单的模型参数更新公式,从而获得了和ISVM同样的预测精度,且在处理高维数据时运行效率更高.在合成数据及图像和生物数据上的试验表明该增量式方法优于ISVM方法.     

基于递推最小二乘支持向量回归估计的建模与预报

提出一种新的递推最小二乘支持向量回归估计算法（RLS-SVR），该算法具有实时性高、更新速度快的特点．充分应用RLS-SVR在线学习和训练的实时性，避免辨识模型的维数过高而降低估计精度，本文进一步提出了基于RLS-SVR的混合训练—估计辨识结构．TE过程的组分软测量建模和预报验证了该方法的有效性和优越性．     

基于类间最近邻支持向量信息测度排序的快速分类算法研究

提出了基于特征空间中最近邻类间支持向量信息测度排序的快速支持向量机分类算法,对于训练样本首先进行最近邻类间支持向量信息测度升序排列处理;然后根据排序的结果选择最优的训练样本子空间,在选择的样本子空间内采用乘性规则直接求取Lagrange因子,而不是传统的二次优化方法;最后加入附加剩余样本进行交叉验证处理,直到算法满足收敛性准则。各种分类实验结果表明,该算法具有非常良好的性能,特别是在训练样本庞大,支持向量数量较多的情况下,能够较大幅度地减少计算复杂度,提高分类速度。     

A non-biased form of least squares support vector classifier and its fast online learning

As an effective learning technique based on structural risk minimization, SVM has been confirmed an useful tool in many machine learning fields. With the increase in application requirement for some real-time cases, such as fast prediction and pattern recognition, the online learning based on SVM gradually becomes a focus. But the common SVM has disadvantages in classifier’s bias and the computational complexity of online modeling, resulting in the reduction in classifier’s generality and the low learning speed. Therefore, an non-biased least square support vector classifier(LSSVC) model is proposed in this paper by improving the form of structure risk. Also, a fast online learning algorithm using Cholesky factorization is designed based on this model according to the characteristic of the non-biased kernel extended matrix in the model’s dynamic change process. In this way, the calculation of Lagrange multipliers is simplified, and the time of online learning is greatly reduced. Simulation results testify that the non-biased LSSVC has good universal applicability and better generalization capability, at the same time, the algorithm has a great improvement on learning speed.     

基于数据的一类部分未知仿射非线性系统近似解

针对一类部分未知仿射非线性系统无穷区间求解问题,利用在线采样数据,提出了 在线无偏最小二乘支持向量机(Least square support vector machines, LS-SVM)的方法. 首先,通过引入一个参数消除了LS-SVM的偏置项,避免了冗余计算,同时在优化目标中引入权值 函数,对靠近当前时刻的数据样本点赋予更高权重,提高了计算精度; 其次,采用滚动时间窗的方法,实现非线性系统无穷区间求解,并满足求解实时性要求;最后,通过 数值算例仿真验证了本文方法的有效性和优越性.     

基于最小二乘支持向量机的T-S模型在线辨识

提出一种基于时间窗最小二乘支持向量机的T-S模型在线辨识算法，包括结构辨识和参数辨识．该算法以时间窗内数据的势能作为结构辨识依据，同时采用最小二乘支持向量机辨识系统参数：具有辨识速度快、精度高的特点．仿真结果证明了算法的有效性．