基于向量投影的支持向量机增量算法

提出一种新的基于向量投影的支持向量机增量式学习算法.该算法根据支持向量的几何分布特点,采用向量投影的方法对初始样本及增量样本在有效地避免预选取失效情况下进行预选取.选取最有可能成为支持向量的样本形成边界向量集,并在其上进行支持向量机训练.通过对初始样本是否满足新增样本集KKT条件的判断,解决非支持向量向支持向量转化的问题,有效地处理历史数据.实验表明,基于向量投影的支持向量机增量算法可以有效地减少训练样本数,积累历史信息,提高训练的速度,从而具有更好的推广能力.     

基于距离排序的快速支持向量机分类算法

传统支持向量机算法由于时空复杂度较高,因此很难有效地处理大规模数据。为了降低支持向量机算法的时空复杂度,提出一种基于距离排序的快速支持向量机分类算法。该算法首先计算两类样本点的样本中心,然后对每一个样本计算它与另一类样本中心之间的距离,最后根据距离排序选择一定比例的小距离样本作为边界样本。由于边界样本集合很好地包含了支持向量,而且数目较原始样本集合少得多,因此算法可以在保证支持向量机学习精度的前提下,有效地缩短训练时间和节约存储空间。在UCI标准数据集和20-Newsgroups文本分类数据集上的实验说明算法较以往支持向量预选取算法而言可以更为快速准确地进行支持向量预选取。     

基于KKT条件与壳向量的增量学习算法研究

摘要针对经典支持向量机难以快速有效地进行增量学习的缺点,提出了基于KKT条件与壳向量的增量学习算法,该算法首先选择包含所有支持向量的壳向量,利用KKT条件淘汰新增样本中无用样本,减小参与训练的样本数目,然后在新的训练集中快速训练支持向量机进行增量学习。将该算法应用于UCI数据集和电路板故障分类识别,实验结果表明,该算法不仅能保证学习机器的精度和良好的推广能力,而且其学习速度比经典的SMO算法快,可以进行增量学习。     

增量支持向量机算法研究

在进行增量学习时,随着新增样本的不断加入,致使训练集规模不断扩大,消耗大量计算资源,寻优速度缓慢.在深入研究了支持向量分布的特点的基础上提出了分治加权增量支持向量机算法.该算法有效利用了广义KKT条件和中心距离比值,舍弃对后续训练影响不大的样本,得到边界支持向量集,对训练样本进行有效的淘汰.将所剩样本合并,进行加权处理,解决某些样本严重偏离所属的类别,对正常分布的样本不公平的问题.实验结果表明,该方法在保证分类精度的同时,能有效地提高训练速度.     

基于云模型的增量SVM入侵检测方法

针对支持向量机增量算法中边界样本的提取机制效率不高的问题,提出基于云模型的增量SVM入侵检测方法。该算法利用云模型稳定性和不确定性的特点,将异类样本间的特征距离映射成隶属度函数,对初始集中边界向量进行提取。分析新增样本对支持向量集的影响,淘汰无用样本。理论分析和仿真实验表明,该算法在保证分类精度的同时有效地提高了检测速度。     

基于类边界壳向量的快速SVM增量学习算法

为进一步提高SVM增量训练的速度,在有效保留含有重要分类信息的历史样本的基础上,对当前增量训练样本集进行了约简,提出了一种基于类边界壳向量的快速SVM增量学习算法,定义了类边界壳向量。算法中增量训练样本集由壳向量集和新增样本集构成,在每一次增量训练过程中,首先从几何角度出发求出当前训练样本集的壳向量,然后利用中心距离比值法选择出类边界壳向量后进行增量SVM训练。分别使用人工数据集和UCI标准数据库中的数据进行了实验,结果表明了方法的有效性。     

基于支持向量机的人脸检测训练集增强

根据支持向量机(support vector machine,简称SVM)理论,对基于边界的分类算法(geometric approach)而言,类别边界附近的样本通常比其他样本包含有更多的分类信息.基于这一基本思路,以人脸检测问题为例,探讨了对给定训练样本集进行边界增强的问题,并为此而提出了一种基于支持向量机和改进的非线性精简集算法IRS(improved reduced set)的训练集边界样本增强算法,用以扩大训练集并改善其样本分布.其中,所谓IRS算法是指在精简集(reduced set)算法的核函数中嵌入一种新的距离度量——图像欧式距离——来改善其迭代近似性能,IRS可以有效地生成新的、位于类别边界附近的虚拟样本以增强给定训练集.为了验证算法的有效性,采用增强的样本集训练基于AdaBoost的人脸检测器,并在MIT CMU正面人脸测试库上进行了测试.实验结果表明,通过这种方法能够有效地提高最终分类器的人脸检测性能.     

快速支持向量机增量学习算法

支持向量机对数据的学习往往因为规模过大造成学习困难,增量学习通过把数据集分割成历史样本集和新增样本集,利用历史样本集的几何分布信息,通过定义样本的遗忘因子,提取历史样本集中的那些可能成为支持向量的边界向量进行初始训练.在增量学习过程中对学习样本的知识进行积累,有选择地淘汰学习样本.实验结果表明,该算法在保证学习的精度和推广能力的同时,提高了训练速度,适合于大规模分类和在线学习问题.     

基于粗糙集边界的v-支持向量机混合分类算法

针对v-支持向量机在样本集规模较大的情况下,需要占用大量训练时间的问题,提出基于粗糙集边界的v-支持向量机混合分类算法。该算法根据粗糙集理论边界区域的优点,生成分类数据的边界集,使其包括全部的支持向量,用此边界向量集替代原始样本作为训练集,减少训练集的数量,则可以在不影响分类精度和泛化性能的前提下显著缩短v-支持向量机的训练时间。仿真结果表明该算法的有效性。     

基于三支决策的支持向量机增量学习方法

针对典型的支持向量机增量学习算法对有用信息的丢失和现有支持向量机增量学习算法单纯追求分类器精准性的客观性,将三支决策损失函数的主观性引入支持向量机增量学习算法中,提出了一种基于三支决策的支持向量机增量学习方法.首先采用特征距离与中心距离的比值来计算三支决策中的条件概率;然后把三支决策中的边界域作为边界向量加入到原支持向量和新增样本中一起训练;最后,通过仿真实验证明,该方法不仅充分利用有用信息提高了分类准确性,而且在一定程度上修正了现有支持向量机增量学习算法的客观性,并解决了三支决策中条件概率的计算问题.     

TRA:改进的SVM增量学习淘汰算法

介绍了支持向量机,报告了支持向量机增量学习算法的研究现状,分析了支持向量集在加入新样本后支持向量和非支持向量的转化情况.针对淘汰机制效率不高的问题,提出了一种改进的SVM增量学习淘汰算法--二次淘汰算法.该算法经过两次有效的淘汰,对分类无用的样本进行舍弃,使得新的增量训练在淘汰后的有效数据集进行,而无需在复杂难处理的整个训练数据集中进行,从而显著减少了后继训练时间.理论分析和实验结果表明,该算法能在保证分类精度的同时有效地提高训练速度.     

一种快速支持向量机增量学习算法

经典的支持向量机(SVM)算法在求解最优分类面时需求解一个凸二次规划问题,当训练样本数量很多时,算法的速度较慢,而且一旦有新的样本加入,所有的训练样本必须重新训练,非常浪费时间.为此,提出一种新的SVM快速增量学习算法.该算法首先选择那些可能成为支持向量的边界向量,以减少参与训练的样本数目;然后进行增量学习.学习算法是一个迭代过程,无需求解优化问题.实验证明,该算法不仅能保证学习机器的精度和良好的推广能力,而且算法的学习速度比经典的SVM算法快,可以进行增量学习.     

实现兼类样本类增量学习的一种算法

针对兼类样本,提出一种类增量学习算法.利用超球支持向量机,对每类样本求得一个能包围该类尽可能多样本的最小超球,使各类样本之间通过超球隔开.增量学习时,对新增样本以及旧样本集中的支持向量和超球附近的非支持向量进行训练,使得算法在很小的空闻代价下实现兼类样本类增量学习.分类过程中,根据待分类样本到各超球球心的距离判定其所属类别.实验结果表明,该算法具有较快的训练、分类速度和较高的分类精度.     

增量式约简最小二乘孪生支持向量回归机

为了解决增量式最小二乘孪生支持向量回归机存在构成的核矩阵无法很好地逼近原核矩阵的问题,提出了一种增量式约简最小二乘孪生支持向量回归机(IRLSTSVR)算法。该算法首先利用约简方法,判定核矩阵列向量之间的相关性,筛选出用于构成核矩阵列向量的样本作为支持向量以降低核矩阵中列向量的相关性,使得构成的核矩阵能够更好地逼近原核矩阵,保证解的稀疏性。然后通过分块矩阵求逆引理高效增量更新逆矩阵,进一步缩短了算法的训练时间。最后在基准测试数据集上验证算法的可行性和有效性。实验结果表明,与现有的代表性算法相比,IRLSTSVR算法能够获得稀疏解和更接近离线算法的泛化性能。     

Incremental training of support vector machines

We propose a new algorithm for the incremental training of support vector machines (SVMs) that is suitable for problems of sequentially arriving data and fast constraint parameter variation. Our method involves using a "warm-start" algorithm for the training of SVMs, which allows us to take advantage of the natural incremental properties of the standard active set approach to linearly constrained optimization problems. Incremental training involves quickly retraining a support vector machine after adding a small number of additional training vectors to the training set of an existing (trained) support vector machine. Similarly, the problem of fast constraint parameter variation involves quickly retraining an existing support vector machine using the same training set but different constraint parameters. In both cases, we demonstrate the computational superiority of incremental training over the usual batch retraining method.     

基于支持向量机的大样本回归算法比较研究

支持向量机的研究是当前人工智能领域的研究热点。基于支持向量机的大样本回归问题一直是一个非常具有挑战性的课题。最近,基于递归最小二乘算法,Engel等人提出了核递归最小二乘算法。文中基于块增量学习和逆学习过程,提出了自适应迭代回归算法。为了说明两种方法的性能,论文在训练速度、精度和支持向量数量等方面,对它们做了比较。模拟结果表明:核递归最小二乘算法所得到的支持向量个数比自适应迭代回归算法少,而训练时间比自适应迭代回归算法的训练时间长,训练和测试精度也比自适应迭代回归算法差。     

核空间结合样本中心角度的大规模支持向量机

为了提高支持向量机在大规模数据集处理时的精度,提出了基于核空间和样本中心角度的支持向量机算法.在核特征空间下,求得原训练集的两类中心点和两个中心点的超法平面,并获取原训练集样本到超法平面距离和到两中心点中点的比值,用比值最小的n个样本点替代训练集.给出的数学模型显示,该算法不需要计算核空间,比现有的同类缩减策略保留了更多的支持向量数目.结合实例对算法进行了仿真实验,实验结果表明,与同类算法相比,该算法在基本没有降低训练速度的情况下获得了更准确的训练精度.