精确增量式ε型孪生支持向量回归机

为了解决现有ε型孪生支持向量回归机的训练算法无法高效处理线性回归的增量学习问题,提出了一种精确增量式ε型孪生支持向量回归机(AIETSVR).首先通过计算新增样本的拉格朗日乘子以及调整边界样本的拉格朗日乘子,尽可能减少新增样本的二次损失对原有样本的影响,使得大部分原有样本依然满足Karush–Kuhn–Tucker(KKT)条件,从而获得一个有效的初始状态;其次对异常拉格朗日乘子逐步调整至满足KKT条件;然后从理论上分析了AIETSVR的可行性和有限收敛性;最后在基准测试数据集上进行仿真.结果表明,与现有的代表性算法相比,AIETSVR能够获得精确解,在缩短大规模数据集的训练时间上优势显著.     

回归型支持向量机的简化算法

针对支持向量机应用于函数估计时支持向量过多所引起的计算复杂性,提出一种简化算法,可以大幅度地减少支持向量的数量,从而简化其应用.采用简化算法还可以将最小平方支持向量机算法和串行最小化算法结合起来,达到学习效率高且生成的支持向量少的效果.     

支持向量机回归在线建模及应用

支持向量机（SVM）回归理论与神经网络等非线性回归理论相比具有许多独特的优点，讨论了建模中SVM核函数，损失函数的选取和容量控制等问题，并用实验加以验证，将SVM回归动态建模理论应用于非线性，时变，大时延温室环境温度变化的建模和预测，模型简单，预测效果好。     

回归型支持向量机改进算法及应用

对用于回归估计的标准SVR算法加以改进,提出了回归型支持向量机的一种改进算法。并针对医学上胆固醇含量测定问题进行了回归估计。实验表明,该算法在运算速度和回归估计精度的稳定性上都明显优于标准算法,特别适于解决大规模样本问题。     

Lagrange支持向量回归机算法研究

支持向量回归机问题的研究远没有像支持向量机问题成熟完善,支持向量回归机对函数拟合(回归逼近)具有重要的理论和应用意义.借鉴分类问题的有效算法,将其推广到回归问题中来,针对Lagrange支持向量机(LSVM)算法,提出了有效的Lagrange支持向量回归机(LSVR)算法,在若干不同维数的数据集上,对LSVR算法、ASVR算法和LibSVM算法进行数值试验,并进行比较分析.数值试验表明LSVR算法是有效的,与当前流行的求解支持向量回归机的算法相比,在时间和正确度上都有一定的优势.     

最小二乘双支持向量机的在线学习算法

针对具有两个非并行分类超平面的最小二乘双支持向量机,提出了一种在线学习算法。通过利用矩阵求逆分解引理,所提在线学习算法能充分利用历史的训练结果,避免了大型矩阵的求逆计算过程,从而降低了计算的复杂性。仿真结果验证了所提学习算法的有效性。     

增量式约简拉氏非对称ν型孪生支持向量回归机

拉氏非对称ν型孪生支持向量回归机是一种泛化性能良好的预测算法,然而其并不适用于增量提供样本的场景。为此,提出了一种增量式约简拉氏非对称ν型孪生支持向量回归机（IRLAsy-ν-TSVR）算法。首先,引入正号函数,将有约束最优化问题转换成无约束最优化问题,并采用半光滑牛顿法在原始空间直接求解,以加快收敛速度。接着,利用矩阵求逆引理,实现半光滑牛顿法中Hessian矩阵求逆的高效增量更新,节省时间开销。然后,为了减少样本累积导致的内存消耗,使用约简技术分别筛选增广核矩阵的列向量和行向量以逼近原增广核矩阵,确保解的稀疏性。最后,在基准测试数据集上验证算法的可行性和有效性。结果表明,与一些代表性算法相比,IRLAsy-ν-TSVR算法继承了离线算法的泛化性能,能够获得稀疏解,更适合大规模数据集的在线学习。     

拉格朗日支持向量回归的有限牛顿算法

拉格朗日支持向量回归是一种有效的快速回归算法,求解时需要对维数等于样本数加一的矩阵求逆,求解需要较多的迭代次数才能收敛。采用一种Armijo步长有限牛顿迭代算法求解拉格朗日支持向量回归的优化问题,只需有限次求解一组线性等式而不需要求解二次规划问题,该方法具有全局收敛和有限步终止的性质。在多个标准数据集上的实验验证了所提算法的有效性和快速性。     

改进的用于回归估计的支持向量机学习算法

该文对用于回归估计的标准支持向量机(SVM)加以改进,提出了一种新的用于回归估计的支持向量机学习算法。实验表明,这种新的学习算法在精度上与标准支持向量机算法完全相同,而在学习速度上明显优于标准学习算法。     

一种新的支持向量机增量学习算法

支持向量机已经成为处理大规模高维数据的一种有效方法。然而处理大规模数据需要的时间和空间代价很高,增量学习可以解决这个问题。该文分析了支持向量的性质和增量学习的过程,提出了一种新的增量学习算法,舍弃了对最终分类无用的样本,在保证测试精度的同时减少了训练时间。最后的数值实验和应用实例说明:算法是可行的、有效的。     

一种改进的支持向量机增量学习算法

提出了一种改进的支持向量机增量学习算法。分析了新样本加入后,原样本和新样本中哪些样本可能转化为新支持向量。基于分析结论提出了一种改进的学习算法。该算法舍弃了对最终分类无用的样本,并保留了有用的样本。对标准数据集的实验结果表明,该算法在保证分类准确度的同时大大减少了训练时间。     

在线增量极限学习机及其性能研究

针对在线学习中极限学习机需要事先确定模型结构的问题,提出了兼顾数据增量和结构变化的在线极限学习机算法。算法于在线序列化极限学习机的基础上,通过误差变化判断是否新增节点,并利用分块矩阵的广义逆矩阵对新增节点后的模型进行更新,使模型保持较高正确率。通过在不同类型和大小的数据集上的实验表明,所提算法相较于经典极限学习机及其在线和增量学习版本都具有较好的分类和回归准确率,能够适应不同类型的数据分析任务。     

一种基于簇的极限学习机的在线学习算法

针对传统的批量学习算法学习速度慢、对空间需求量高的缺点,提出了一种基于簇的极限学习机的在线学习算法。该算法将分簇的理念融入到极限学习机中,并结合极限学习机,提出了一种基于样本类别和样本输出的分簇标准;同时提出了一种加权的Moore-Penrose算法求隐层节点与输出节点的连接权重。实验结果表明,该算法具有学习能力好、拟合度高、泛化性能好等优点。     

一种改进的在线最小二乘支持向量机回归算法

针对一般最小二乘支持向量机处理大规模数据集会出现训练速度幔、计算量大、不易在线训练的缺点,将修正后的遗忘因子矩形窗方法与支持向量机相结合,提出一种基于改进的遗忘因子矩形窗算法的在线最小二乘支持向量机回归算法,既突出了当前窗口数据的作用,又考虑了历史数据的影响.所提出的算法可减少计算量,提高在线辨识精度.仿真算例表明了该方法的有效性.     

一种SVM增量学习淘汰算法

基于SVM寻优问题的KKT条件和样本之间的关系,分析了样本增加后支持向量集的变化情况,支持向量在增量学习中的活动规律,提出了一种新的支持向量机增量学习遗忘机制--计数器淘汰算法.该算法只需设定一个参数,即可对训练数据进行有效的遗忘淘汰.通过对标准数据集的实验结果表明,使用该方法进行增量学习在保证训练精度的同时,能有效地提高训练速度并降低存储空间的占用.     

基于增量学习的直推式支持向量机算法

针对直推式支持向量机在进行大数据量分类时出现精度低、学习速度慢和回溯式学习多的问题,提出了一种基于增量学习的直推式支持向量机分类算法,将增量学习引入直推式支持向量机,使其在训练过程中仅保留有用样本而抛弃无用样本,从而减少学习时间,提高分类速度。实验结果表明,该算法具有较快的分类速度和较高的分类精度。     

无偏置v- 支持向量回归优化问题研究

在高维特征空间中,具有支持向量机形式的学习机的决策超平面倾向于通过原点,并不需要偏置.但在-支持向量回归机（ν-SVR）中存在偏置,为了研究偏置在ν-SVR中的作用,提出了无偏置的ν-SVR优化问题并给出其求解方法.在标准数据集上的实验表明,无偏置ν-SVR的泛化性能好于ν-SVR.根据对偶优化问题的解空间分析,偏置不应包含在-SVR优化问题中,ν-SVR的决策超平面在高维特征空间中应通过原点.     

Parameter-insensitive kernel in extreme learning for non-linear support vector regression

Support vector regression (SVR) is a state-of-the-art method for regression which uses the ε‐sensitive loss and produces sparse models. However, non-linear SVRs are difficult to tune because of the additional kernel parameter. In this paper, a new parameter-insensitive kernel inspired from extreme learning is used for non-linear SVR. Hence, the practitioner has only two meta-parameters to optimise. The proposed approach reduces significantly the computational complexity yet experiments show that it yields performances that are very close from the state-of-the-art. Unlike previous works which rely on Monte-Carlo approximation to estimate the kernel, this work also shows that the proposed kernel has an analytic form which is computationally easier to evaluate.     

基于在线支持向量机的非线性内模控制

为了提高传统内模控制的鲁棒性和抗干扰能力,采用在线支持向量机回归（Online Support Vector Machine Regression,OSVMR ）理论建立系统的正向模型和设计逆模控制器。首先简要介绍了OSVMR的原理和算法,然后将其应用于内模控制问题,并建立了OSVMR模型。其次,在控制过程可逆的条件下设计了OSVMR控制器,最后将该控制方法应用于可逆非线性系统和具未知干扰的温室环境控制问题,仿真结果表明该方法与RBF神经网络IMC相比,具有较简单的模型和较好的控制性能。