基于最小二乘支持向量机的特征增量学习算法

本文针对传统的增量学习算法无法处理后采集到的样本中含有新增特征的问题,设计适应样本特征维数增加的训练算法。在基于最小二乘支持向量机的基础上,提出了特征增量学习算法。该算法充分利用先前训练得到的分类器的结构参数,仅对新增特征采用最小二乘支持向量机进行学习。实验结果表明,该算法能够在保证分类精度的同时,有效效地提高训练速度并降低存储空间。     

一种快速支持向量机增量学习算法

经典的支持向量机(SVM)算法在求解最优分类面时需求解一个凸二次规划问题,当训练样本数量很多时,算法的速度较慢,而且一旦有新的样本加入,所有的训练样本必须重新训练,非常浪费时间.为此,提出一种新的SVM快速增量学习算法.该算法首先选择那些可能成为支持向量的边界向量,以减少参与训练的样本数目;然后进行增量学习.学习算法是一个迭代过程,无需求解优化问题.实验证明,该算法不仅能保证学习机器的精度和良好的推广能力,而且算法的学习速度比经典的SVM算法快,可以进行增量学习.     

一种新的支持向量机增量学习算法

支持向量机已经成为处理大规模高维数据的一种有效方法。然而处理大规模数据需要的时间和空间代价很高,增量学习可以解决这个问题。该文分析了支持向量的性质和增量学习的过程,提出了一种新的增量学习算法,舍弃了对最终分类无用的样本,在保证测试精度的同时减少了训练时间。最后的数值实验和应用实例说明:算法是可行的、有效的。     

基于支持向量机的多分类增量学习算法

支持向量机被成功地应用在分类和回归问题中，但是由于其需要求解二次规划，使得支持向量机在求解大规模数据上具有一定的缺陷，尤其是对于多分类问题，现有的支持向量机算法具有太高的算法复杂性。该文提出一种基于支持向量机的增量学习算法，适合多分类问题，并将之用于解决实际问题。     

一种改进的支持向量机增量学习算法

提出了一种改进的支持向量机增量学习算法。分析了新样本加入后,原样本和新样本中哪些样本可能转化为新支持向量。基于分析结论提出了一种改进的学习算法。该算法舍弃了对最终分类无用的样本,并保留了有用的样本。对标准数据集的实验结果表明,该算法在保证分类准确度的同时大大减少了训练时间。     

几种支持向量机增量学习算法分析与比较

支持向量机增量学习算法相对于其它训练算法,具有运算速度快,节约运算时间,占用内存空间较少等优点。本文阐述了几种具有代表性的增量学习算法,并比较了它们的优缺点,对其发展方向进行了进一步的研究。     

增量回归支持向量机改进学习算法

传统的支持向量机不具有增量学习性能,而常用的增量学习方法具有不同的优缺点,为了解决这些问题,提高支持向量机的训练速度,文章分析了支持向量机的本质特征,根据支持向量机回归仅与支持向量有关的特点,提出了一种适合于支持向量机增量学习的算法(IRSVM),提高了支持向量机的训练速度和大样本学习的能力,而支持向量机的回归能力基本不受影响,取得了较好的效果。     

回归最小二乘支持向量机的增量和在线式学习算法

首先给出回归最小二乘支持向量机的数学模型,并分析了它的性质,然后在此基础上根据分块矩阵计算公式和核函数矩阵本身的特点设计了支持向量机的增量式学习算法和在线学习算法．该算法能充分利用历史的训练结果,减少存储空间和计算时间．仿真实验表明了这两种学习方法的有效性．     

快速支持向量机增量学习算法

支持向量机对数据的学习往往因为规模过大造成学习困难,增量学习通过把数据集分割成历史样本集和新增样本集,利用历史样本集的几何分布信息,通过定义样本的遗忘因子,提取历史样本集中的那些可能成为支持向量的边界向量进行初始训练.在增量学习过程中对学习样本的知识进行积累,有选择地淘汰学习样本.实验结果表明,该算法在保证学习的精度和推广能力的同时,提高了训练速度,适合于大规模分类和在线学习问题.     

基于最小样本平面距离的支持向量机增量学习算法

支持向量机增量算法的关键是对历史样本集的剪辑,在历史样本集中选择出尽可能少又能表示尽可能多历史样本集信息的子集,再把这个子集与新增训练样本集放在一起进行训练.Liva Ralaivola[1]提出保留新增样本最近邻样本来表示历史样本集,而这样的最近邻样本中可能存在冗余样本.根据历史样本与分类平面间的距离可以去除新增样本最近邻样本集中的冗余样本.根据样本平面距离提出了MSPDISVM (minimum sample plane distance incremental support vector machines)算法.实验结果表明,MSPDISVM比Liva Ralaivola提出的算法有更快的速度,而精度没有太大的差异.使用样本平面距离可以有效地去除新增样本最近邻中的冗余样本.     

一种模糊支持向量机主动学习算法

模糊支持向量机具有很好的抗噪声能力,受到很多专家的重视。然而模糊支持向量机上的主动学习算法却一直鲜有研究。提出一种针对模糊支持向量机的主动学习算法,该算法首先在训练集合上利用模糊支持向量机得到决策超平面,然后选取间隔内的未标记样本进行标记,并计算相应的模糊权重,以及更新原有训练样本的模糊权重。最后结合赋予模糊权重的新标记样本重新进行学习,直到未标记样本集为空或者分类性能满足要求。在UCI标准数据集和语音识别数据集上的实验充分验证了该算法的有效性。     

一种基于极限学习机的在线负增量算法

在剔除影响单隐层前馈神经网络性能的脏数据后,传统的极限学习机算法需要重新训练整个网络,这会增加很多额外的训练时间。针对这一问题,在传统的极限学习机算法的基础上,提出一种在线负增量学习算法:剔除脏训练样本后,不需要再重新训练整个网络,而只需在原有的基础上,通过更新外权矩阵来完成网络更新。算法复杂性分析和仿真实验的结果表明所提出的算法具有更高的执行速度。     

实现兼类样本增量学习的一种算法

针对兼类样本,提出一种增量学习算法.利用超球支持向量机,在特征空间对属于同一类别的样本求得一个能包围该类尽可能多样本的最小超球,使各类样本之间通过超球隔开.增量学习过程中,只对新增样本以及与新增样本具有相同兼类的旧样本集中的支持向量进行训练,且每次训练只针对一类样本,使得算法在很小的样本集、很小的空间代价下实现兼类样本增量学习,同时保留了与新增样本类别无关的历史训练结果.分类过程中,通过计算待分类样本到各超球球心的距离判定其所属类别,分类准确快捷.实验结果证明了该算法的有效性.     

一种新的机器学习算法:Support Vector Machines

SVM是由Vapnik及其领导的AT&T Bell实验室研究小组提出的一种新的非常有发展前景的机器学习算法.本文通过它与神经网络学习算法的比较,说明了SVM具有较强的理论依据和较好的泛化性能.本文是SVM的发展综述,重点介绍了SVM的理论依据和一些值得研究的问题.     

AN UNSUPERVISED INCREMENTAL LEARNING ALGORITHM FOR DOMAIN-SPECIFIC LANGUAGE DEVELOPMENT

While grammar inference (or grammar induction) has found extensive application in the areas of robotics, computational biology, and speech recognition, its application to problems in programming language and software engineering domains has been limited. We have found a new application area for grammar inference which intends to make domain-specific language development easier for domain experts not well versed in programming language design, and finds a second application in construction of renovation tools for legacy software systems. As a continuation of our previous efforts to infer context-free grammars (CFGs) for domain-specific languages which previously involved a genetic-programming based CFG inference system, we discuss extensions to the inference capabilities of GenInc, an incremental learning algorithm for inferring CFGs. We show that these extensions enable GenInc to infer more comprehensive grammars, discuss the results of applying GenInc to various domain-specific languages and evaluate the results using a comprehensive suite of grammar metrics.     

基于MapReduce的并行增量迭代支持向量机算法

为了提高支持向量机处理大数据集的性能,在研究MapReduce编程模型的基础上结合增量学习及迭代技术提出了改进算法MRII-SVM。该算法采用增量学习方式,在Map阶段并行求解各数据切片的支持向量集,并利用KKT条件削减增量数据集,在Reduce阶段执行联合重训练使算法收敛于当前最优解。基于UCI标准数据集的实验结果显示,MRII-SVC在保持SVM算法分类精度的基础上,提高了数据处理能力和运行效率。     

用于医学图像分类的支持向量机算法研究

支持向量机(SVM)方法就是利用最优分类面(线)将两类样本在特征空间或输入空间中无错误地分开,而且要使两类的分类空隙最大。因此标准的SVM方法需要求解二次规划问题,计算量很大,本文介绍一种方法解决这个问题,并成功地将该算法应用干医学图像数据挖掘的分类问题。     

基于支持向量机的数据库学习算法

文中介绍了一个利用数据库中的大量数据进行决策的方法。对于仅涉及数据库中部分数据的问题,对数据库中与当前问题相关的数据采用具有强泛化能力的支持向量机方法学习分类规则和回归函数,完成对当前问题的分类和估值。支持向量机算法用非线性映射把数据映射到一个高维特征空间,在高维特征空间进行线性分类和线性回归,将原问题转化为一个凸次优化问题。上述算法实现了一个隧道工程支护设计系统,并取得了较好的效果。     

一种模糊最小二乘孪生支持向量回归机的改进算法

模糊最小二乘孪生支持向量机模型融合了模糊函数和最小二乘孪生支持向量机算法特性,以解决训练数据集存在孤立点噪声和运算效率低下问题。针对回归过程基于统计学习结构风险最小化原则,对该模型进行L_2范数正则化改进。考虑到大规模数据集的训练效率问题,对原始模型进行了L_1范数正则化改进。基于增量学习特性,对数据集训练过程进行增量选择迭加以加快训练速度。在UCI数据集上验证了相关改进算法的优越性。