模糊最小二乘支持向量机回归研究及应用

针对传统支持向量机对训练样本内的噪声和孤立点比较敏感,导致建模精度不高的问题,将模糊集理论引入到最小二乘支持向量机回归中,建立一种基于数据域描述的模糊最小二乘支持向量机回归的数学模型,该方法将样本映射到高维空间,在高维空间中寻找最小包含超球,然后根据样本到超球心的距离确定模糊隶属度的大小,通过仿真实验验证,该算法提高了支持向量机回归的训练精度,将此模型应用于谷氨酸发酵过程菌体浓度预测,结果表明此方法的有效性。     

基于支持向量回归的单步多分类算法

分析了利用支持向量回归求解多分类问题的思想,提出了一种基于局部密度比权重设置模型的加权最小二乘支持向量回归模型来单步求解多分类问题：该方法先分别对类样本中每类样本利用局部密度比权重设置模型求出每个样本的权重隶属因子,然后运用加权最小二乘支持向量回归算法对所有样本进行训练,获得回归分类器。为验证算法的有效性,对UCI三个标准数据集以及一个随机生成的数据集进行实验,对比了多种单步求解多分类问题的算法,结果表明,提出的模型分类精度高,具有良好的鲁棒性和泛化性能。     

用于回归的临近支持向量机

将临近支持向量分类杌应用在回归问题上,提出临近支持向量回归机,给出线性与非线性情况下的回归函数,该方法比支持向量回归机(svR)问题减少了参数和一半变量,比最小二乘支持向量回归机(LSSVMR)求解公式更加简单,且核函数不需要满足Mercer条件.数值实验结果表明,与SVR和LSSVMR相比,该方法的学习速度更快,且泛化能力较之不相上下.     

基于LS-SVM的小样本费用智能预测

最小二乘支持向量机引入最小二乘线性系统到支持向量机中,代替传统的支持向量机采用二次规划方法解决函数估计问题。该文推导了用于函数估计的最小二乘支持向量机算法,构建了基于最小二乘支持向量机的智能预测模型,并对机载电子设备费用预测进行了研究。结果表明最小二乘支持向量机具有比多元对数回归更高的小样本费用预测精度。     

基于递归约简的在线自适应最小二乘支持向量回归机

鉴于传统在线最小二乘支持向量机在解决时变对象的回归问题时, 模型跟踪精度不高, 支持向量不够稀疏, 结合迭代策略和约简技术, 提出一种在线自适应迭代约简最小二乘支持向量机. 该方法考虑新增样本与历史数据共同作用对现有模型产生的约束影响, 寻求对目标函数贡献最大的样本作为新增支持向量, 实现了支持向量稀疏化, 提高了在线预测精度与速度. 仿真对比分析表明该方法可行有效, 较传统方法回归精度高且所需支持向量数目最少.     

一种基于SVM的函数模拟方法

支持向量机在高维空间中表示复杂函数是一种有效的通用方法,也是一种新的、很有发展前景的机器学习算法。本文提出采用基于支持向量机的非线性回归法求解函数模拟问题。     

时序峰值预测的最小二乘支持向量回归模型

针对最小二乘支持向量回归模型中,呈稀疏分布的时序峰值样本拟合预测误差偏大的问题,基于加权最小二乘思想,提出一种新的用于时序峰值预测的最小二乘支持向量回归模型.根据样本分布密度和输出期望幅值,优化了经验风险控制目标.解得模型的拟合预测误差不受样本分布的影响,而且在保持整体样本拟合预测精度的同时,对峰值样本的拟合预测精度有了显著提高.Lorenz时序预测和电力负荷预测的仿真结果表明了模型的有效性.     

基于智能遗传算法与复合最小二乘支持向量机的长江水质预测与评价*

由于水质的非线性、不确定性等特性,水质预测与评价是很复杂的一个问题;最小二乘支持向量机已经成功地应用于解决非线性问题和时间级数问题。提出一种新的IGALSSM模型,即基于一种新型遗传算法——智能遗传算法参数优选的最小二乘支持向量机模型,并且将提出的模型应用于长江水质的分类识别和预测。实验结果表明,所提出的模型比神经网络有更准确的识别率和更高的预测精度,具有较强的实用价值。     

基于偏最小二乘回归和SVM的水质预测

针对传统水质预测方法中水质因子的多重相关性造成预测精度低的问题,提出了一种将偏最小二乘法和支持向量机相耦合的水质预测方法。利用偏最小二乘法提取对水质因子影响强的成分,从而克服了信息冗余问题,并降低了支持向量的维数。利用支持向量机建模可以较好地解决高维非线性小样本问题。同时利用改进的PSO算法优化SVM参数,减小参数搜索的盲目性。研究结果表明,本耦合模型的预测精度和运行效率明显优于常用的BP人工神经网络和传统的支持向量机,可以更好地应用于水质预测。     

基于非线性算法的网络业务流量预测

基于递归最小二乘支持向量机,提出了一种网络业务流量非线性预测算法。通过最小二乘支持量机首先将原始的网络流量数据映射到一个高维空间中,进而在这个高维空间中对流量数据进行预测,使得在低维空间中非线性预测转化为高维空间中的线性预测,提高了预测性能。仿真结果表明,预测误差能够维持在5%以内。     

基于线性规划支持向量回归的混沌系统预测

支持向量机是一种基于统计学习理论的新颖的机器学习方法,该方法已经广泛用于解决分类与回归问题。标准的支持向量机算法需要解一个二次规划问题,当训练样本较多时,其运算速度一般很慢。为了提高运算速度,介绍了一种基于线性规划的支持向量回归算法,并由此提出几种新的回归模型,同时将它们应用到混沌时间序列预测中,并比较了它们的预测性能。在实际应用中,可以根据具体情况灵活地选择所需模型。     

最小二乘半监督支持张量机学习算法*

支持张量机(STM)受限于迭代操作,训练时间较长.针对这一缺点,改进STM的目标规划,将训练过程由解决一组二次规划改为计算线性方程组,并引入直推式的思想解决半监督问题,提出最小二乘半监督支持张量机学习算法.在人脸识别和时间序列分类上对比文中算法与传统算法,实验证明文中算法不仅减少运算时间,而且提高识别率.     

基于假设检验及异常点剔除的稳健LS-SVM回归

提出一种稳健的LS-SVM回归算法。该算法建立在异常样本逐步剔除的框架上,每次循环中选择误差最大的样本加以考察,然后使用统计假设检验方法对其进行诊断。若样本被诊断为异常样本,则将其剔除,并重新训练LS-SVM,为下一轮的异常点诊断和剔除提供更准确的信息。同时为了减少运算复杂度,我们还将减量学习引入到算法的重新训练过程中,从而保证算法的附加复杂度不超过O(N³)。仿真数据集和实际数据集上的详细实验证实该算法的优越性,并提供一种使用该算法建立异常样本检测器的思路。     

Online Learning Algorithms for Double-Weighted Least Squares Twin Bounded Support Vector Machines

Twin support vector machine with two nonparallel classifying hyperplanes and its extensions have attracted much attention in machine learning and data mining. However, the prediction accuracy may be highly influenced when noise is involved. In particular, for the least squares case, the intractable computational burden may be incurred for large scale data. To address the above problems, we propose the double-weighted least squares twin bounded support vector machines and develop the online learning algorithms. By introducing the double-weighted mechanism, the linear and nonlinear double-weighted learning models are proposed to reduce the influence of noise. The online learning algorithms for solving the two models are developed, which can avoid computing the inverse of the large scale matrices. Furthermore, a new pruning mechanism which can avoid updating the kernel matrices in every iteration step for solving nonlinear model is also developed. Simulation results on three UCI data with noise demonstrate that the online learning algorithm for the linear double-weighted learning model can get least computation time as well considerable classification accuracy. Simulation results on UCI data and two-moons data with noise demonstrate that the nonlinear double-weighted learning model can be effectively solved by the online learning algorithm with the pruning mechanism.     

基于小波核LS—SVM的网络流量预测

网络流量预测对大规模网络管理、规划、设计具有重要意义。支持向量机方法是近年来发展起来的新型机器学习算法,用于解决高度非线性分类及回归问题。介绍了基于小波核最小二乘支持向量机的网络流量预测方法,利用小波核函数的多分辨特性提高了支持向量机的非线性建模能力。通过对实测网络流量数据的学习,对未来网络流量进行预测。实验结果表明,取得了较好的预测效果。     

基于协同最小二乘支持向量机的Q学习

针对强化学习系统收敛速度慢的问题, 提出一种适用于连续状态、离散动作空间的基于协同最小二乘支持向量机的Q学习. 该Q学习系统由一个最小二乘支持向量回归机(Least squares support vector regression machine, LS-SVRM)和一个最小二乘支持向量分类机(Least squares support vector classification machine, LS-SVCM)构成. LS-SVRM用于逼近状态--动作对到值函数的映射, LS-SVCM则用于逼近连续状态空间到离散动作空间的映射, 并为LS-SVRM提供实时、动态的知识或建议(建议动作值)以促进值函数的学习. 小车爬山最短时间控制仿真结果表明, 与基于单一LS-SVRM的Q学习系统相比, 该方法加快了系统的学习收敛速度, 具有较好的学习性能.     

A normal least squares support vector machine (NLS-SVM) and its learning algorithm

Least squares support vector machine (LS-SVM) is a successful method for classification or regression problems, in which the margin and sum square errors (SSEs) on training samples are simultaneously minimized. However, LS-SVM only considers the SSEs of input variable. In this paper, a novel normal least squares support vector machine (NLS-SVM) is proposed, which effectively considers the noises on both input and response variables. It introduces a two-stage learning method to solve NLS-SVM. More importantly, a fast iterative updating algorithm is presented, which reaches the solution of NLS-SVM with lower computational complexity instead of directly adopting the two-stage learning method. Several experiments on artificial and real-world datasets are simulated, in which the results show that NLS-SVM outperforms LS-SVM.     

一种改进的再生核支持向量机回归模型

基于支持向量机核函数的条件,将Sobolev Hilbert空间的再生核函数进行改进,给出一种新的支持向量机核函数,并提出一种改进的最小二乘再生核支持向量机的回归模型,该回归模型的参数被减少,且仿真实验结果表明：最小二乘支持向量机的核函数采用改进的再生核函数是可行的,改进后的再生核函数不仅具有核函数的非线性映射特征,而且也继承了该再生核函数对非线性逐级精细逼近的特征,回归的效果比一般的核函数更为细腻。     

一种基于SVM的函数模拟方法

支持向量机在高维空间中表示复杂函数是一种有效的通用方法,也是一种新的、很有发展前景的机器学习算法。本文提出采用基于支持向量机的非线笥回归法求解函数模拟问题。