基于壳向量和中心向量的支持向量机

针对支持向量机(Support vector machines,SVMs)中大规模样本集训练速度慢且分类精度易受野点影响的问题,提出一个基于样本几何信息的支持向量机算法.其基本步骤是,首先分别求取每类样本点的壳向量和中心向量,然后将求出的壳向量作为新的训练集进行标准的SVM训练得到超平面的法向量,最后利用中心向量来更新法向量从而减少野点的影响得到最终的分类器.实验表明,采用这种学习策略,不仅加快了训练速度,而且在一般情况下也提高了分类精度.     

一种改进的支持向量机NN-SVM

支持向量机(SVM)是一种较新的机器学习方法，它利用靠近边界的少数向量构造一个最优分类超平面。在训练分类器时，SVM的着眼点在于两类的交界部分，那些混杂在另一类中的点往往无助于提高分类器的性能，反而会大大增加训练器的计算负担，同时它们的存在还可能造成过学习，使泛化能力减弱．为了改善支持向量机的泛化能力，该文在其基础上提出了一种改进的SVM—NN-SVM：它先对训练集进行修剪，根据每个样本与其最近邻类标的异同决定其取舍，然后再用SVM训练得到分类器．实验表明，NN-SVM相比SVM在分类正确率、分类速度以及适用的样本规模上都表现出了一定的优越性．     

用双层减样法优化大规模SVM垃圾标签检测模型*

针对支持向量机在训练大规模数据集时出现的速度瓶颈问题,提出一种新的减样方法,称双层减样法。数据减样时,双层减样法从粗、细粒度两个层次削减样本。粗粒度约减时,利用核空间距离聚类法,以簇为单位削减冗余子集。细粒度约减时,以点为单位挑选剩余点集中的支持向量。实验表明,双层减样法能有效的压缩样本数据,同时还能放大数据集的分类特征,提高分类器的分类精度。将此法应用于大规模SVM垃圾标签检测模型的训练集优化上,能明显提高检测模型的训练速度。双层减样法是将“粒度”和“层次”的概念引入减样法中,在约减时适时改变约减幅度。这比传统减样法更具有优势。     

结合SVM和KNN实现求解大规模复杂问题的分治算法

针对于使用支持向量机求解大规模复杂问题存在训练时间过长和分类精度不高等困难,本文提出了一种结合支持向量机(SvM)和K-最近邻(KNN)分类的分治算法.首先对支持向量机分类机理进行分析可以得出它作为分类器实际相当于每类只选一个代表点的最近邻分类器.在此基础上,根据分治算法的基本思想将训练集划分为多个训练子集,用每个子集单独训练一个SVM,这样每个训练子集由训练后的SVM可以分别得到正例和反例的一个代表点,由这些代表点的全体构成了整个训练集的正例和反例代表点的集合,然后在这个代表点集合基础上使用KNN分类器最为整个问题的解.实验结果表明该分治算法对于大规模数据可使训练时间大幅度下降且使分类精度不同程度提高.     

一种改进的最小二乘支持向量机及其应用

为了克服传统支持向量机训练速度慢、计算资源需求大等缺点，本文应用最小二乘支持向量机算法来解决分类问题。同时，本文指出了决策导向循环图算法的缺陷，采用自适应导向循环图思想来实现多类问题的分类。为了提高样本的学习速度，本文还将序贯最小优化算法与最小二乘支持向量机相结合，最终形成了ADAGLSSVM算法。考虑到最小二
乘支持向量机算法失去了支持向量的稀疏性，本文对支持向量作了修剪。实验结果表明，修剪后，分类器的识别精度和识别速度都得到了提高。     

一种基于反例样本修剪支持向量机的事件追踪算法

支持向量机（SVM）在各类别样本数目分布不均匀时，样本数量越多其分类误差越小，而样本数量越少其分类误差越大．在分析这种倾向产生原因的基础上，提出了一种基于反例样本修剪支持向量机（NEP—SVM）的事件追踪算法．该算法首先修剪反例样本，根据距离和类标决定一反例样本的取舍，然后使用SVM对新的样本集进行训练以得到分类器，补偿了上述倾向性问题造成的不利影响．另外，由于后验概率对于提高事件追踪的性能至关重要，而传统的支持向量机不提供后验概率，本文通过一个sigmoid函数的参数训练将SVM的输出结果映射成概率．实验结果表明NEP—SVM是有效的．     

快速支持向量机增量学习算法

支持向量机对数据的学习往往因为规模过大造成学习困难,增量学习通过把数据集分割成历史样本集和新增样本集,利用历史样本集的几何分布信息,通过定义样本的遗忘因子,提取历史样本集中的那些可能成为支持向量的边界向量进行初始训练.在增量学习过程中对学习样本的知识进行积累,有选择地淘汰学习样本.实验结果表明,该算法在保证学习的精度和推广能力的同时,提高了训练速度,适合于大规模分类和在线学习问题.     

融合特征选取和学习策略的支持向量机研究

支持向量机是重要的机器学习方法之一,已成功解决了许多实际的分类问题。围绕如何提高支持向量机的分类精度与训练效率,以分类过程为主线,主要综述了在训练支持向量机之前不同的特征选取方法与学习策略。在此基础上,比较了不同的特征选取方法SFS,IWSS,IWSSr以及BARS的分类精度,分析了主动学习策略与支持向量机融合后获得的分类器在测试集上的分类精度与正确率/召回率平衡点两个性能指标。实验结果表明,包装方法与过滤方法相结合的特征选取方法能有效提高支持向量机的分类精度和减少训练样本量;在标签数据较少的情况下,主动学习能达到更好的分类精度,而为了达到相同的分类精度,被动学习需要的样本数量必须要达到主动学习的6倍。     

用核空间距离聚类约简大规模SVM训练集

针对支持向量机在大规模数据集上训练效率慢问题,本文提出了一种基于核空间距离聚类的支持向量机减样方法;首先引入核空间的距离公式,实现核空间的高维数据聚类,通过聚类约减训练集中大量非支持向量,达到减样目的,减少训练时间。实验结果表明新训练数据集算法具有更快的训练速度以及更高的分类精度。     

一种新的基于SVM和主动学习的图像检索方法

在基于内容的图像检索中,支持向量机（SVM）能够很好地解决小样本问题,而主动学习算法则可以根据学习进程主动选择最佳的样本进行学习,大幅度缩短训练时间,提高分类算法效率。为使图像检索更加快速、高效,提出一种新的基于SVM和主动学习的图像检索方法。该方法根据SVM构造分类器,通过“V”型删除法快速缩减样本集,同时通过最优选择法从缩减样本集中选取最优的样本作为训练样本,最终构造出不仅信息度大而且冗余度低的最优训练样本集,从而训练出更好的SVM分类器,得到更高的检索效率。实验结果表明,与传统的SVM主动学习的图像检索方法相比,该方法能够较大幅度提高检索性能。     

基于分类贡献有效值的增量KNN模型修剪研究

增量学习的效果直接影响到KNN的效率和准确率。提出基于分类贡献有效值的增量KNN修剪模型（C2EV-KNNMODEL）,将特征参数的分类贡献度与KNN增量学习结合起来,定义一种新的训练样本的贡献有效值,并根据此定义制定训练集模型的修剪策略。理论和实验表明,C2EV-KNNMODEL的适用性较强,能够使分类器的分类性能得到极大的提高。     

A high-performing comprehensive learning algorithm for text classification without pre-labeled training set

In this paper, we investigate a comprehensive learning algorithm for text classification without pre-labeled training set based on incremental learning. In order to overcome the high cost in getting labeled training examples, this approach reforms fuzzy partition clustering to obtain a small quantity of labeled training data. Then the incremental learning of Bayesian classifier is applied. The model of the proposed classifier is composed of a Naïve-Bayes-based incremental learning algorithm and a modified fuzzy partition clustering method. For improved efficiency, a feature reduction is designed based on the Quadratic Entropy in Mutual Information. We perform experiments to demonstrate the performance of the approach, and the results show that our approach is feasible and effective.     

基于多机器学习竞争策略的短时雷电预报

传统的雷电数据预测方法往往采用单一最优机器学习算法,较少考虑气象数据的时空变化等现象。针对该现象,提出一种基于集成策略的多机器学习短时雷电预报算法。首先,对气象数据进行属性约简,降低数据维度;其次,在数据集上训练多种异构机器学习分类器,并基于预测质量筛选最优基分类器;最后,通过对最优基分类器训练权重,并结合集成策略产生最终分类器。实验表明,该方法优于传统单最优方法,其平均预测准确率提高了9.5%。     

Neural network-based symbol recognition using a few labeled samples

The recognition of pen-based visual patterns such as sketched symbols is amenable to supervised machine learning models such as neural networks. However, a sizable, labeled training corpus is often required to learn the high variations of freehand sketches. To circumvent the costs associated with creating a large training corpus, improve the recognition accuracy with only a limited amount of training samples and accelerate the development of sketch recognition system for novel sketch domains, we present a neural network training protocol that consists of three steps. First, a large pool of unlabeled, synthetic samples are generated from a small set of existing, labeled training samples. Then, a Deep Belief Network (DBN) is pre-trained with those synthetic, unlabeled samples. Finally, the pre-trained DBN is fine-tuned using the limited amount of labeled samples for classification. The training protocol is evaluated against supervised baseline approaches such as the nearest neighbor classifier and the neural network classifier. The benchmark data sets used are partitioned such that there are only a few labeled samples for training, yet a large number of labeled test cases featuring rich variations. Results suggest that our training protocol leads to a significant error reduction compared to the baseline approaches.     

A particle swarm optimization based simultaneous learning framework for clustering and classification

A particle swarm optimization based simultaneous learning framework for clustering and classification (PSOSLCC) is proposed in this paper. Firstly, an improved particle swarm optimization (PSO) is used to partition the training samples, the number of clusters must be given in advance, an automatic clustering algorithm rather than the trial and error is adopted to find the proper number of clusters, and a set of clustering centers is obtained to form classification mechanism. Secondly, in order to exploit more useful local information and get a better optimizing result, a global factor is introduced to the update strategy update strategy of particle in PSO. PSOSLCC has been extensively compared with fuzzy relational classifier (FRC), vector quantization and learning vector quantization (VQ+LVQ3), and radial basis function neural network (RBFNN), a simultaneous learning framework for clustering and classification (SCC) over several real-life datasets, the experimental results indicate that the proposed algorithm not only greatly reduces the time complexity, but also obtains better classification accuracy for most datasets used in this paper. Moreover, PSOSLCC is applied to a real world application, namely texture image segmentation with a good performance obtained, which shows that the proposed algorithm has a potential of classifying the problems with large scale.     

一种新的支持向量机大规模训练样本集缩减策略

支持向量机(SVM)在许多实际应用中由于训练样本集规模较大且具有类内混杂孤立点数据,引发了学习速度慢、存储需求量大、泛化能力降低等问题,成为直接使用该技术的瓶颈。针对这些问题,通过在点集理论的基础上分析训练样本集的结构,提出了一种新的支持向量机大规模训练样本集缩减策略。该策略运用模糊聚类方法快速的提取出潜在支持向量并去除类内非边界孤立点,在减小训练样本集规模的同时,能够有效地避免孤立点数据所造成的过学习现象,提高了SVM的泛化性能,在保证不降低分类精度的前提下提高训练速度。     

High training set size reduction by space partitioning and prototype abstraction

Instance-based learning methods like the nearest neighbour classifier generally suffer from the indiscriminate storage of all training instances, resulting in large memory requirements and slow execution speed. In this paper, new training set size reduction methods based on prototype generation and space partitioning are proposed. Experimental results show that the new algorithms achieve a very high reduction rate with still an important classification accuracy.     

针对标记数据不足的数据流分类器

大部分数据流分类算法解决了数据流无限长度和概念漂移这两个问题。但是,这些算法需要人工专家将全部实例都标记好作为训练集来训练分类器,这在数据流高速到达并需要快速分类的环境中是不现实的,因为标记实例需要时间和成本。此时,如果采用监督学习的方法来训练分类器,由于标记数据稀少将得到一个弱分类器。提出一种基于主动学习的数据流分类算法,该算法通过选择全部实例中的一小部分来人工标记,其中这小部分实例是分类置信度较低的样本,从而可以极大地减少需要人工标记的实例数量。实验结果表明,该算法可以在数据流存在概念漂移情况下,使用较少的标记数据对数据流训练出分类器,并且分类效果良好。