基于支持向量机的增量学习算法研究

分析了支持向量机理论中支持向量的特性,利用支持向量与样本空间划分的等价性,提出一种新的基于支持向量机的增量学习算法.该算法考虑新增样本集的分布可能改变对已有样本的分类结果,利用支持向量的分布特性,用对样本的划分差集构造新的支持向量集和分类平面,使差集中的样本点对分类贡献尽可能最大,有效提高了分类精度.同时差集操作简单易行,有效降低了问题的计算复杂度.实验结果表明,与常规增量算法相比,该算法在不改变时间复杂度量级的前提下对分类精度有显著提高.     

一种基于多支持向量机分类器的并行学习算法

为了在并行计算系统中应用支持向量机,提出一种基于多支持向量机分类器的并行学习算法.分析了w-model算法的不足,并在训练过程中采用循环式反馈更新各支持向量机分类器以避免样本的分布状态对各分类器性能的影响,提高各分类器的训练精度.学习过程以平均分类精度为阈值,对部分分类器重新训练,实现对多分类器学习系统性能的全局优化.在UCI标准测试数据集上进行的实验结果表明,循环式反馈能有效地平衡多分类器学习性能相差过大的问题,算法较w-model具有更高的训练效率和分类效率.     

基于壳向量的线性支持向量机快速增量学习算法

提出了一种新的基于壳向量的增量式支持向量机快速学习算法.在增量学习的过程中，利用训练样本集中的几何信息，在样本中选取一部分最有可能成为支持向量的样本--壳向量，它是支持向量集的一个规模较小的扩展集，将其作为新的训练样本集，再进行支持向量训练.这在很大程度上减少了求取支持向量过程中的二次优化运算时间，使增量学习的训练速度大为提高.与单纯使用支持向量代表样本数据集合进行增量学习的传统算法相比，使用该算法使分类精度得到了提高.针对肝功能检测标准数据集（BUPA）的实验验证了该算法的有效性.     

支持向量机的增量学习和减量学习

分别介绍了支持向量机的增量学习和减量学习的两种训练方法,即在线递归训练法和最小二乘支持向量机.递归法只能处理在线(每次只处理一个样本)增量学习或减量学习,而最小二乘法即可处理在线又可处理成批增量学习或减量学习.递归法得到的解是精确的但是以时间为代价的,最小二乘法花费的时间少,但得到的解不如递归法的精确.并通过标准模式分类库中数据集进行数值试验比较.     

基于Fisher向量投影的支持向量机增量算法

针对支持向量机训练样本冗余导致训练效率低下的问题,提出一种基于Fisher向量投影的支持向量机增量算法。该算法根据支持向量机中支持向量的分布特性对初始训练集及增量集进行预处理,减少训练样本个数;通过判断初始样本是否满足新增样本集的卡罗需-库恩-塔克(Karush-Kuhn-Tucker conditions,KKT)条件,剔除对最终结果无用的样本,减少参与训练的样本数目。实验结果表明,与标准支持向量机算法和基于向量投影的支持向量机增量算法相比,基于Fisher向量投影的支持向量机增量算法的训练速度分别提升了86%和33%左右。该方法可用于大规模样本集的分类识别问题。     

边界偏转覆盖增量支持向量机

为了利用不断积累的网络样本提高故障诊断效能,针对标准支持向量机不直接支持增量学习的问题,提出一种边界偏转覆盖增量支持向量机. 根据违背Karush Kuhn Tucker条件的新增样本在特征空间中可引起原分类边界改变的情况,设计边界偏转覆盖算法预选支持向量再生区作为增量训练工作集,解决了难以确定的非支持向量向支持向量的转化问题. 理论分析和实验结果表明,该方法能有效简化训练工作集,在保证故障诊断精度的同时大幅度提高增量训练效率.     

基于多个支持向量机组合的入侵检测

将模式识别的方法应用到入侵检测系统中,解决了传统入侵检测方法的缺陷.给出了一种基于多个支持向量机组合的入侵检测方法,使用KDD’99数据进行实验,结果证明该方法有效.     

基于支持向量机的网页多类分类技术

基于支持向量机的网页分类技术是数据挖掘中一个研究热点领域．支持向量机是一种高效的分类识别方法，在解决高维模式识别问题中表现出许多特有的优势．但支持向量机本身是一个两类问题的判别方法。不能直接应用于多类问题．总结了当前常用的几种支持向量机多类分类算法。分别从训练速度、测试速度、分类精度三方面对这些分类方法进行了讨论，并给出了进一步的研究方向．     

基于增量One-Class支持向量机的注册表异常检测

提出一种基于增量支持向量机的异常检测方法,利用Windows注册表建立了入侵检测模型,通过SVM算法实时判断当前对注册表的访问行为是否为异常状态来发现和识别入侵行为。实验表明：该方法对未知病毒和未知入侵行为具有较高检测率,可以提高在先验知识较少情况下的学习机推广能力。同时,考虑到注册表键值数量巨大,采用增量SVM算法可以在不影响检测性能的同时减少训练时间。     

入侵检测中的多分类SVM增量学习算法

入侵检测中的多分类SVM增量学习算法通过分析入侵检测样本的分布特点,提出了一种多分类SVM增量学习算法.该算法通过衡量同类样本点和样本中心之间的距离来确定用于训练的支持向量,以选择对分类贡献较大的边缘向量进行训练,通过求解多个超平面的方法划分出不同类别样本的区域,实现了多分类的增量学习.在保证检测率的同时,减少了样本学习数量.利用KDDCUP99标准数据集进行测试,证明该算法可以大幅度降低训练的时间和空间复杂度.     

基于支持向量机的增量式算法

为了扩展支持向量机在大规模数据集和成批出现数据领域的应用,提出了一种基于支持向量机的增量式学习算法.利用标准的支持向量机算法训练得到初始的目标概念,通过增量式步骤不断更新初始的目标概念.更新模型是求解一个与标准支持向量机具有类似的数学形式的凸二次规划问题.证明了在可分情况下,如果新增加的样本不是位于边界区,那么增量式过程既不会改变分类平面也不会改变分类平面的表达.与现有的增量式支持向量机算法相比,该算法无需额外计算就可实现增量式的逆过程并且训练时间与增量式步骤数成反比.实验结果表明,该算法满足稳定性、能够不断改进性能以及性能回复三个准则.     

一类支持向量机的快速增量学习方法

提出一类支持向量机（OCSVM）的快速增量学习方法. 在OCSVM初始分类器的基础上, 添加一个德尔塔函数形成新的决策函数, 实现增量学习的过程. 通过分析德尔塔函数的几何特性, 构造出与OCSVM相似的优化目标函数, 从而求解德尔塔函数的参数. 优化问题能够进一步转化为标准的二次规划(QP)问题, 但是在优化过程中Karush-Kuhn-Tucker（KKT）条件发生很大改变. 根据新的KKT条件, 为QPP提出修正的序贯最小优化（SMO）求解方法. 整个学习过程直接操作初始分类器,仅仅训练新增样本,避免了对初始样本的重复训练, 因此能够节约大量的学习时间和存储空间. 实验结果表明, 提出的快速增量学习方法在时间和精度上均优于其他的增量学习方法．     

最小二乘支持向量机的半监督学习算法

将最小二乘支持向量机引入到半监督学习中,提出了一种最小二乘支持向量机的半监督学习算法.采用最小二乘支持向最机训练混合样本集,利用最小二乘支持向量机训练速度快、效率高等优点有效地克服了目前一些半监督支持向量机学习算法时间代价大、效率低的缺陷.在训练过程中采用区域标注法,减少达到收敛所需要的迭代次数,并给出了SLS-SVM算法具体的数学描述.在人造数据集及实际数据集上的实验表明,最小二乘支持向量机的半监督学习算法可以有效的减少训练时问,提高训练的速度,从而具有更好的推广能力.     

支持向量机改进序列最小优化学习算法

为提高支持向量机序列最小优化学习算法的学习性能,提出了一种支持向量机改进序列最小优化学习算法,对传统SMO学习方法进行了多方面改进,从优化变量的选择和2个变量的优化方法分别提出具体可行的改进方法．改进后的SMO学习算法提高了学习速度,加快了网络收敛速度．基于改进SMO算法的仿真结果验证了改进SMO算法的有效性和优越性,并通过仿真,与原始算法进行了比较,显示了改进SMO算法的快速性．     

基于蚁群和支持向量机的microRNA预测方法

由于microRNA在生物体系统中起着重要的调控功能,对microRNA进行快速有效的预测很有必要.本文通过使用蚁群算法和支持向量机相结合的思想,结合microRNA的前体pre-miRNA序列特征和结构特征,构造了一种microRNA的预测方法.通过采集Sanger和UCSE数据库中的人类阳性和部分阴性数据集进行学习和测试,同时使用J48和BP神经网络两种机器学习方法进行对比,实验结果显示,使用蚁群算法和支持向量机的方法预测pre-miRNA的识别率达97.471％,与另外两种方法相对比,识别率分别提高了8.736％和10.575％,预测的准确性有显著提高.     

Time series online prediction algorithm based on least squares support vector machine

Deficiencies of applying the traditional least squares support vector machine （LS-SVM） to time series online prediction were specified. According to the kernel function matrix＇s property and using the recursive calculation of block matrix, a new time series online prediction algorithm based on improved LS-SVM was proposed. The historical training results were fully utilized and the computing speed of LS-SVM was enhanced. Then, the improved algorithm was applied to timc series online prediction. Based on the operational data provided by the Northwest Power Grid of China, the method was used in the transient stability prediction of electric power system. The results show that, compared with the calculation time of the traditional LS-SVM（75 1 600 ms）, that of the proposed method in different time windows is 40-60 ms, proposed method is above 0.8. So the improved method is online prediction. and the prediction accuracy（normalized root mean squared error） of the better than the traditional LS-SVM and more suitable for time series online prediction.     

自适应GA-SVM参数选择算法研究

支持向量机是一种非常有前景的学习机器，它的回归算法已经成功地用于解决非线性函数的逼近问题．但是，SVM参数的选择大多数是凭经验选取，这种方法依赖于使用者的水平，这样不仅不能获得最佳的函数逼近效果，而且采用人工的方法选择SVM参数比较浪费时间，这在很大程度上限制了它的应用．为了能够自动地获得最佳的SVM参数，提出了基于自适应遗传算法的SVM参数选取方法．该方法根据适应度值自动调整交叉概率和变异概率，减少了遗传算法的收敛时间并且提高了遗传算法的精度，从而确保了SVM参数选择的准确性．将该方法应用于船用锅炉汽包水位系统建模，仿真结果表明由该方法所得的SVM具有较简单的结构和较好的泛化能力，仿真精度高，具有一定的理论推广意义．