SVM增量学习算法研究

SVM是在模式分类中表现优秀的一种分类方法。通过对现有SVM的两种增量算法的分析，给出了改进措施，在此基础上结合类加权思想．提出了一种新的加权增量SVM学习算法。并将其应用于Web文本分类中。     

一种新的SVM对等增量学习算法

在分析支持向量机（SVM）寻优问题的KKT条件和样本分布之间关系的基础上,分析了新增样本的加入对SV集的影响,定义了广义KKT条件。基于原训练样本集和新增训练样本集在增量训练中地位等同,提出了一种新的SVM增量学习算法。算法在及时淘汰对后继分类影响不大的样本的同时保留了含有重要分类信息的样本。对标准数据集的实验结果表明,算法获得了较好的性能。     

一种SVM增量学习算法α-ISVM

基于SVM(support vector machine)理论的分类算法,由于其完善的理论基础和良好的试验结果,目前已逐渐引起国内外研究者的关注.深入分析了SVM理论中SV(support vector,支持向量)集的特点,给出一种简单的SVM增量学习算法.在此基础上,进一步提出了一种基于遗忘因子α的SVM增量学习改进算法α-ISVM.该算法通过在增量学习中逐步积累样本的空间分布知识,使得对样本进行有选择地遗忘成为可能.理论分析和实验结果表明,该算法能在保证分类精度的同时,有效地提高训练速度并降低存储空间的占用.     

支持向量机加权类增量学习算法研究

针对支持向量机类增量学习过程中参与训练的两类样本数量不平衡而导致的错分问题,给出了一种加权类增量学习算法,将新增类作为正类,原有类作为负类,利用一对多方法训练子分类器,训练时根据训练样本所占的比例对类加权值,提高了小类别样本的分类精度。实验证明了该方法的有效性。     

一种SVM增量学习淘汰算法

基于SVM寻优问题的KKT条件和样本之间的关系,分析了样本增加后支持向量集的变化情况,支持向量在增量学习中的活动规律,提出了一种新的支持向量机增量学习遗忘机制--计数器淘汰算法.该算法只需设定一个参数,即可对训练数据进行有效的遗忘淘汰.通过对标准数据集的实验结果表明,使用该方法进行增量学习在保证训练精度的同时,能有效地提高训练速度并降低存储空间的占用.     

基于分层并行筛选样本的SVM增量学习算法

在增量学习过程中，随着训练集规模的增大，支持向量机的学习过程需要占用大量内存，寻优速度非常缓慢。在现有的一种支持向量机增量学习算法的基础上，结合并行学习思想，提出了一种分层并行筛选训练样本的支持向量机增量学习算法。理论分析和实验结果表明：与原有的算法相比，新算法能在保证支持向量机的分类能力的前提下显著提高训练速度。     

基于分层并行筛选样本的SVM增量学习算法

在增量学习过程中,随着训练集规模的增大,支持向量机的学习过程需要占用大量内存,寻优速度非常缓慢。在现有的一种支持向量机增量学习算法的基础上,结合并行学习思想,提出了一种分层并行筛选训练样本的支持向量机增量学习算法。理论分析和实验结果表明:与原有的算法相比,新算法能在保证支持向量机的分类能力的前提下显著提高训练速度。     

TRA:改进的SVM增量学习淘汰算法

介绍了支持向量机,报告了支持向量机增量学习算法的研究现状,分析了支持向量集在加入新样本后支持向量和非支持向量的转化情况.针对淘汰机制效率不高的问题,提出了一种改进的SVM增量学习淘汰算法--二次淘汰算法.该算法经过两次有效的淘汰,对分类无用的样本进行舍弃,使得新的增量训练在淘汰后的有效数据集进行,而无需在复杂难处理的整个训练数据集中进行,从而显著减少了后继训练时间.理论分析和实验结果表明,该算法能在保证分类精度的同时有效地提高训练速度.     

基于类边界壳向量的快速SVM增量学习算法

为进一步提高SVM增量训练的速度,在有效保留含有重要分类信息的历史样本的基础上,对当前增量训练样本集进行了约简,提出了一种基于类边界壳向量的快速SVM增量学习算法,定义了类边界壳向量。算法中增量训练样本集由壳向量集和新增样本集构成,在每一次增量训练过程中,首先从几何角度出发求出当前训练样本集的壳向量,然后利用中心距离比值法选择出类边界壳向量后进行增量SVM训练。分别使用人工数据集和UCI标准数据库中的数据进行了实验,结果表明了方法的有效性。     

基于SVM的增量学习算法及其在网页分类中的应用

根据支持向量的作用,利用基于SVM的增量学习算法将一个大型数据集分成许多不相交的子集,按批次对各个训练子集中的样本进行训练而得到一个分类器,从而对网页文件进行自动分类。在进行网页文件分类时,本文提出只利用正例数据和一些无标记数据来训练SVM分类器,以提高分类的准确性。     

使用模拟切削算法的SVM增量学习机制

提出使用模拟切削算法的SVM增量学习机制。模拟切削算法在核函数映射的特征空间中计算每个样本的预期贡献率, 仅选取预期贡献率较高的样本参与SVM增量学习, 有效解决传统SVM增量学习代价高、目标样本选取准确性低、分类器缺乏鲁棒性的问题。一个样本的预期贡献率采用通过该样本的映射目标的合适分离面对两类样本的识别率来表示。对目标样本的选取酷似果蔬削皮的过程, 所提算法由此得名。基准数据实验表明, 文中算法在学习效率和分类器泛化性能上具有突出优势。在有限资源学习问题上的应用表明该算法在大规模学习任务上的良好性能。     

适于P2P网络流量识别的SVM快速增量学习方法

针对标准支持向量机在P2P网络流量识别中不支持增量学习的问题．提出一种适于P2P网络流量识别的SVM快速增量学习方法。在对违背Karush—Kuhn—Tucker条件的新增正负样本集分别进行聚类分析基础上,运用聚类簇中心对支持向量机训练生成一个接近增量学习最优分类超平面的过渡超平面．并以此超平面为基准确定初始训练样本集上非支持向量和支持向量的互相转化．进而生成新的样本集实现SVM增量学习。理论分析和实验结果表明。该方法能有效简化增量学习的训练样本集．在不降低P2P网络流量识别精度的前提下．明显缩短SVM的增量学习时间和识别时间。     

一种基于局部敏感哈希的SVM快速增量学习算法

为了提高大规模高维度数据的训练速度和分类精度,提出了一种基于局部敏感哈希的SVM快速增量学习方法。算法首先利用局部敏感哈希能快速查找相似数据的特性,在SVM算法的基础上筛选出增量中可能成为SV的样本,然后将这些样本与已有SV一起作为后续训练的基础。使用多个数据集对该算法进行了验证。实验表明,在大规模增量数据样本中,提出的SVM快速增量学习算法能有效地提高训练学习的速度,并能保持有效的准确率。     

基于SVM的中文文本自动分类研究

详细介绍了进行文本分类的过程,并着重介绍了一种新的基于结构风险最小化理论的分类算法——支持向量机,通过实验比较支持向量机算法和传统的KNN算法应用于文本分类的效果,证实了支持向量机在处理文本分类问题上的优越性。     

基于半监督学习的增量图像分类方法

为有效使用大量未标注的图像进行分类,提出一种基于半监督学习的图像分类方法。通过共同的隐含话题桥接少量已标注的图像和大量未标注的图像,利用已标注图像的Must-link约束和Cannot-link约束提高未标注图像分类的精度。实验结果表明,该方法有效提高Caltech-101数据集和7类图像集约10%的分类精度。此外,针对目前绝大部分半监督图像分类方法不具备增量学习能力这一缺点,提出该方法的增量学习模型。实验结果表明,增量学习模型相比无增量学习模型提高近90%的计算效率。关键词半监督学习,图像分类,增量学习中图法分类号TP391。41IncrementalImageClassificationMethodBasedonSemi-SupervisedLearningLIANGPeng^1,2,LIShao-Fa²,QINJiang-Wei²,LUOJian-Gao³¹(SchoolofComputerScienceandEngineering,GuangdongPolytechnicNormalUniversity,Guangzhou510665)²(SchoolofComputerScienceandEngineering,SouthChinaUniversityofTechnology,Guangzhou510006)³(DepartmentofComputer,GuangdongAIBPolytechnicCollege,Guangzhou510507)ABSTRACTInordertouselargenumbersofunlabeledimageseffectively,animageclassificationmethodisproposedbasedonsemi-supervisedlearning。Theproposedmethodbridgesalargeamountofunlabeledimagesandlimitednumbersoflabeledimagesbyexploitingthecommontopics。Theclassificationaccuracyisimprovedbyusingthemust-linkconstraintandcannot-linkconstraintoflabeledimages。TheexperimentalresultsonCaltech-101and7-classesimagedatasetdemonstratethattheclassificationaccuracyimprovesabout10%bytheproposedmethod。Furthermore,duetothepresentsemi-supervisedimageclassificationmethodslackingofincrementallearningability,anincrementalimplementationofourmethodisproposed。Comparingwithnon-incrementallearningmodelinliterature,theincrementallearningmethodimprovesthecomputationefficiencyofnearly90%。     

基于SVM的文本多类分类方法研究

支持向量机是在模式分类中表现优秀的一种分类方法。对现有的基于SVM的文本多类分类方法进行了介绍和比较．研究了分类器特征空间模式问题，在这些工作基础上，提出了并行SVM的模型。     

基于增量式拉普拉斯嵌入和SVM的图像识别

提出了一种基于增量式拉普拉斯嵌入和支持向量机的图像识别方法,该方法首先利用增量式拉普拉斯特征映射对数据点进行维数约减和特征提取;再应用以统计学习理论为基础的支持向量机对图像进行分类识别.在降维过程中,该方法能够最优保持原始空间数据点的局部信息,克服了PCA降维算法从全局考虑而丢失局部信息的缺点,并且对测试集的嵌入坐标增量式计算的特点很好地减少了运算量.实验证明,该方法的图像识别率明显高于传统的PCA线性降维方法,具有可行性.     

The convergence analysis and specification of the Population-Based Incremental Learning algorithm

In this paper, we investigate the global convergence properties in probability of the Population-Based Incremental Learning (PBIL) algorithm when the initial configuration p⁽⁰⁾ is fixed and the learning rate α is close to zero. The convergence in probability of PBIL is confirmed by the experimental results. This paper presents a meaningful discussion on how to establish a unified convergence theory of PBIL that is not affected by the population and the selected individuals.     

基于SVM的文本多类分类方法研究

支持向量机是在模式分类中表现优秀的一种分类方法。对现有的基于SVM的文本多类分类方法进行了介绍和比较,研究了分类器特征空间模式问题,在这些工作基础上,提出了并行SVM的模型。