基于支持向量回归的单步多分类算法

分析了利用支持向量回归求解多分类问题的思想,提出了一种基于局部密度比权重设置模型的加权最小二乘支持向量回归模型来单步求解多分类问题：该方法先分别对类样本中每类样本利用局部密度比权重设置模型求出每个样本的权重隶属因子,然后运用加权最小二乘支持向量回归算法对所有样本进行训练,获得回归分类器。为验证算法的有效性,对UCI三个标准数据集以及一个随机生成的数据集进行实验,对比了多种单步求解多分类问题的算法,结果表明,提出的模型分类精度高,具有良好的鲁棒性和泛化性能。     

基于支持向量机的大样本回归算法比较研究

支持向量机的研究是当前人工智能领域的研究热点。基于支持向量机的大样本回归问题一直是一个非常具有挑战性的课题。最近,基于递归最小二乘算法,Engel等人提出了核递归最小二乘算法。文中基于块增量学习和逆学习过程,提出了自适应迭代回归算法。为了说明两种方法的性能,论文在训练速度、精度和支持向量数量等方面,对它们做了比较。模拟结果表明:核递归最小二乘算法所得到的支持向量个数比自适应迭代回归算法少,而训练时间比自适应迭代回归算法的训练时间长,训练和测试精度也比自适应迭代回归算法差。     

加权支持向量回归算法

Support vector regression machines based on structural risk minimization have a good generalization performance. However, its effect is not good if there exists heterogeneity of variance in the regression models. In order to solve the problem, a kind of weighting support vector regression is proposed in this paper. The results of simulation experiments show the feasibility and effectiveness of the method.     

支持向量回归的一种网络优化策略

提出一种用于支持向量回归的网络优化策略．学习策略分为两个阶段：首先训练支持向量机,得到支持向量回归的初始结构和参数,构造一个无阈值的支持向量回归网络;然后通过带有遗忘因子的递归最小二乘算法,优化计算支持向量回归网络的权值,以达到更好的函数拟合精度．与支持向量回归相比,这种策略可以得到最优的权值和阈值．仿真结果表明,该网络性能优良,具有在线应用的潜力．     

基于IMK-WLSSVR的WiFi室内定位算法

针对传统的基于单核加权最小二乘支持向量回归(WLSSVR)定位算法对接收信号强度指示(RSSI)的拟合度较差,导致定位精度不高的问题,提出了一种基于改进多核WLSSVR(IMK-WLSSVR)的Wi Fi室内定位算法。采用多核支持向量回归机模型构建指纹点RSSI值与位置坐标的非线性关系,采用多项式核函数和高斯径向基核函数构建多核函数,利用正态分布权值函数为每个指纹点赋予不同的权重;然后利用改进的模拟退火算法优化定位模型参数,进一步提升模型的定位性能;最后利用构建的定位模型进行定位。实验结果表明:在3 m网格、3 d Bm标准差噪声条件下,算法定位误差小于2 m的概率可达92. 2%,其定位精度优于现有的加权K最近邻(WKNN)算法以及单核WLSSVR方法。     

基于最小二乘支持向量回归的水质预测

水质系统是一个开放的、复杂的、非线性动力学系统,具有时变复杂性,针对水质预测方法的研究虽然已经取得了一些成果,但也存在预测精度与计算复杂度等难题。为此,本文提出一种基于最小二乘支持向量回归的水质预测算法。支持向量机是机器学习中一种常用的分类模型,通过核函数将非线性数据从低维映射到高维空间,在高维空间实现线性分类和回归,最小二乘支持向量回归（LS-SVR）利用所有的样本参与回归拟合,使得回归的损失函数不再只与小部分支持向量样本有关,而是由所有样本参与学习修正误差,提高预测精度;同时该算法将标准SVR求解问题由不等式的约束条件及凸二次规划问题转化成线性方程组来求解,提高了运算速度,解决了非线性复杂特性的水质预测问题。     

最小二乘双支持向量回归机

提出了一个最小二乘双支持向量回归机,它是在双支持向量回归机基础之上建立的,打破了标准支持向量回归机利用两条平行超平面构造ε带的思想。事实上,它是利用两条不一定平行的超平面构造ε带,每条超平面确定一个半ε-带,从而得到最终的回归函数,这使该回归函数更符合数据本身的分布情况,回归算法有更好的推广能力。另外,最小二乘双支持向量机只需求解两个较小规模的线性方程组就能得到最后的回归函数,其计算复杂度相对较低。数值实验也表明该回归算法在推广能力和计算效率上有一定的优势。     

时序峰值预测的最小二乘支持向量回归模型

针对最小二乘支持向量回归模型中,呈稀疏分布的时序峰值样本拟合预测误差偏大的问题,基于加权最小二乘思想,提出一种新的用于时序峰值预测的最小二乘支持向量回归模型.根据样本分布密度和输出期望幅值,优化了经验风险控制目标.解得模型的拟合预测误差不受样本分布的影响,而且在保持整体样本拟合预测精度的同时,对峰值样本的拟合预测精度有了显著提高.Lorenz时序预测和电力负荷预测的仿真结果表明了模型的有效性.     

回归支持向量机SMO算法的改进

在Smola 和Sch?觟lkopf的SMO算法中,由于使用了单一的极限值而使得算法的效果没有完全表现出来。使用KKT条件来检验二次规划问题,使用两个极限参量来对回归SMO算法进行改进。通过对比实验,这一改进算法在执行速度上表现出了非常好的性能。     

两种基于等式约束支持向量回归机比较研究

为了减小支持向量回归机(SVR)的计算复杂度、缩短训练时间,将应用于分类问题的近似支持向量机(PSVM)扩展到回归问题中,针对其原始优化问题采用直接法求取最优解,而不是转换为对偶问题求解,给出了近似支持向量回归机(PSVR)线性和非线性回归算法.并与同样基于等式约束的最小二乘支持向量回归机(LSSVR)进行了比较,在一维、二维函数回归以及不同规模通用数据集上的测试结果表明,PSVR算法简单,训练速度快,尤其在大规模数据集处理上更具优势.     

基于AdaBoost算法的加权二乘向量回归机

针对二乘向量机(LS-SVM)对所有样本误差惩罚相同、预测精度不高的问题,提出了一种基于AdaBoost模型的二乘向量回归机。该算法使用多个二乘向量机按照某种学习规则协调各二乘向量机的输出,同时根据回归精度,建立各二乘向量机中每一个样本的误差惩罚权重,以突出样本的惩罚差异性,提高算法的泛化性能。实验结果表明,提出的算法提高了二乘向量回归机的预测精度,优化了学习机的性能。     

基于改进支持向量机的快速稳健代理模型研究

最小二乘支持向量机代理模型具有较好的泛化能力和强大的非线性处理能力,但其对实际工程中不可避免的异常样本十分敏感,而传统的加权最小二乘支持向量机易产生过度拟合并且未考虑到回归误差分布特性,针对这一问题提出正态分布概率密度函数加权方法,并且采用回归误差的中值作为计算权值的衡量标准,增强了加权算法的稳健性;提出了迭代加权最小二乘支持向量机快速递推算法,利用矩阵关系进行迭代递推计算,减少了计算量,节约了建模时间。通过数值实例验证了该方法的可行性、有效性。     

拉格朗日支持向量回归的有限牛顿算法

拉格朗日支持向量回归是一种有效的快速回归算法,求解时需要对维数等于样本数加一的矩阵求逆,求解需要较多的迭代次数才能收敛。采用一种Armijo步长有限牛顿迭代算法求解拉格朗日支持向量回归的优化问题,只需有限次求解一组线性等式而不需要求解二次规划问题,该方法具有全局收敛和有限步终止的性质。在多个标准数据集上的实验验证了所提算法的有效性和快速性。     

一种快速最小二乘支持向量机分类算法

最小二乘支持向量机不需要求解凸二次规划问题,通过求解一组线性方程而获得最优分类面,但是,最小二乘支持向量机失去了解的稀疏性,当训练样本数量较大时,算法的计算量非常大。提出了一种快速最小二乘支持向量机算法,在保证支持向量机推广能力的同时,算法的速度得到了提高,尤其是当训练样本数量较大时算法的速度优势更明显。新算法通过选择那些支持值较大样本作为训练样本,以减少训练样本数量,提高算法的速度;然后,利用最小二乘支持向量机算法获得近似最优解。实验结果显示,新算法的训练速度确实较快。     

基于加权支持向量回归的火灾智能探测系统

火灾的早期探测是较为复杂且具有重要意义的研究课题。针对传统火灾探测方法存在的不足,提出了一种基于加权支持向量回归的火灾智能探测系统,加权支持向量回归算法克服了神经网络过学习等不足,及标准支持向量回归中未考虑各样本重要性的差异问题,实验结果表明此火灾智能探测系统优于基于神经网络和标准支持向量回归的探测系统,探测效果显著,具有良好的应用前景。     

基于遗传优化最小二乘支持向量机的导引头故障诊断

为提高导引头故障诊断准确率,提出了一种采用改进遗传算法优化的最小二乘支持向量机（LSSVM）构造导引头多故障分类模型的方法。该方法基于一对一策略及改进的投票法建立两层LSSVM多故障分类器,并利用一种自适应变步长搜索策略改进的遗传算法对LSSVM的核参数和正则化参数进行自动优选。通过对某型导引头实测数据的仿真并和标准SVM及BP神经网络诊断方法相比较,结果表明该方法具有更高诊断准确率和计算效率。     

基于改进模糊支持向量回归模型的机场能源需求预测

针对离群点在机场能源数据的预测和分析中存在干扰等问题,建立了一种基于改进模糊支持向量回归(FSVR)的机场能源需求预测模型。首先,采用模糊统计法对测试样本集、系统参数和模型输出进行分析,推导出符合其数据分布的基本隶属函数形式;其次,结合例证法、专家经验法对隶属函数进行"再学习",逐步修改和完善正态隶属函数a、b参数值,半梯形隶属函数边界参数值及三角隶属函数p、d参数值,以此消除或减少不利数据挖掘的离群点,同时保留有效关键点;最后,结合支持向量回归(SVR)算法,建立预测模型,并验证了该模型的可行性。实验结果表明,与反向传播(BP)神经网络方法相比,FSVR方法的预测准确率提高了2.66%,对离群点的识别率提高了3.72%。     

鲁棒最小二乘支持向量回归机

针对最小二乘支持向量回归机(LS-SVR)对异常值较敏感的问题,通过设置异常值所造成的损失上界,提出一种非凸的Ramp损失函数。该损失函数导致相应的优化问题的非凸性,利用凹凸过程(CCCP)将非凸优化问题转化为凸优化问题。给出Newton算法进行求解并分析了算法的计算复杂度。数据集测试的结果表明,与最小二乘支持向量回归机相比,该算法对异常值具有较强的鲁棒性,获得了更优的泛化能力,同时在运行时间上也具有明显优势。     

一种支持向量逐步回归机算法研究

支持向量机是解决非线性问题的重要工具,对多元线性回归模型和支持向量机的原始形式进行比较,拟定从样本子集的多元线性回归模型出发,逐步搜索支持向量,提出了一种建立支持向量回归机的快速算法,以降低核矩阵的规模从而降低解凸二次规划的复杂度;最后,分析了该算法的复杂度,并提供了一个算例。