基于向量投影的支持向量机增量算法

提出一种新的基于向量投影的支持向量机增量式学习算法.该算法根据支持向量的几何分布特点,采用向量投影的方法对初始样本及增量样本在有效地避免预选取失效情况下进行预选取.选取最有可能成为支持向量的样本形成边界向量集,并在其上进行支持向量机训练.通过对初始样本是否满足新增样本集KKT条件的判断,解决非支持向量向支持向量转化的问题,有效地处理历史数据.实验表明,基于向量投影的支持向量机增量算法可以有效地减少训练样本数,积累历史信息,提高训练的速度,从而具有更好的推广能力.     

基于双支持向量回归机的增量学习算法

提出了一种基于双支持向量回归机的增量学习算法。将获取到的新样本加入训练数据集后,该算法无需在整个新的数据集上重新训练双支持向量回归机,而是充分利用增量前的计算信息,从而大大减少了模型更新中逆矩阵的计算量,提高了算法的执行效率。在人工数据集、时间序列预测和UCI数据集上的数值实验表明,该算法快速有效。     

基于边界向量的支持向量机增量算法

提出了一种新的基于边界向量的增量式支持向量机学习算法。该算法根据支持向量的几何分布特点,采用边界向量预选取方法,从增量样本中选取最有可能成为支持向量的样本形成边界向量集,在其上进行支持向量训练。通过对初始样本是否满足新增样本KKT条件的判断,解决非支持向量向支持向量的转化问题,有效地处理历史数据。针对UCI标准数据集上的仿真实验表明,基于边界向量的增量算法可以有效地减少训练样本数,积累历史信息,具有更高的分类速度和更好的推广能力。     

基于模糊C-均值聚类的支持向量机

支持向量机针对大规模数据集学习问题的处理需要耗费很长的时间,提出一种数据预处理的方法对学习样本进行聚 类,以此为基础得到一种模糊支持向量机.计算机仿真结果表明提出的SVM算法与传统的SVM训练算法相比,在不降低分 类精度的情况下,大大缩短了支持向量机的学习训练时间.     

一种SVM增量学习淘汰算法

基于SVM寻优问题的KKT条件和样本之间的关系,分析了样本增加后支持向量集的变化情况,支持向量在增量学习中的活动规律,提出了一种新的支持向量机增量学习遗忘机制--计数器淘汰算法.该算法只需设定一个参数,即可对训练数据进行有效的遗忘淘汰.通过对标准数据集的实验结果表明,使用该方法进行增量学习在保证训练精度的同时,能有效地提高训练速度并降低存储空间的占用.     

大规模数据集下支持向量机训练样本的缩减策略

大量数据下支持向量机的训练算法是SVM研究的一个重要方向和焦点。该文从分析SVM训练问题的实质和难点出发，提出一种在训练前先求出类别质心，去除非支持向量对应的样本，从而达到缩小样本集的方法。该方法在不损失分类正确率的情况下具有更快的收敛速度，并从空间几何上解释了支持向量机的原理。仿真实验证明了该方法的可行性和有效性。     

基于最小二乘支持向量机的非平衡分布数据分类

支持向量机是在统计学习理论基础上发展起来的一种十分有效的分类方法。然而当两类样本数量相差悬殊时,会引起支持向量机分类能力的下降。为了提高支持向量机的非平衡数据分类能力,文章分析了最小二乘支持向量机的本质特征,提出了一种非平衡数据分类算法。在UCI标准数据集上进行的实验表明,该算法能够有效提高支持向量机对非均衡分布数据的正确性,尤其对于大规模训练集的情况,该算法在保证不损失训练精度的前提下,使训练速度有较大提高。     

一种模糊支持向量机主动学习算法

模糊支持向量机具有很好的抗噪声能力,受到很多专家的重视。然而模糊支持向量机上的主动学习算法却一直鲜有研究。提出一种针对模糊支持向量机的主动学习算法,该算法首先在训练集合上利用模糊支持向量机得到决策超平面,然后选取间隔内的未标记样本进行标记,并计算相应的模糊权重,以及更新原有训练样本的模糊权重。最后结合赋予模糊权重的新标记样本重新进行学习,直到未标记样本集为空或者分类性能满足要求。在UCI标准数据集和语音识别数据集上的实验充分验证了该算法的有效性。     

基于小样本SVR的迁移学习及其应用

当前机器学习的技术已经运用到很多工程项目中,但大部分机器学习的算法只有在样本数量充足且运用在单一场景中的时候,才能获得良好的结果。其中,经典的支持向量回归机是一种具有良好泛化能力的回归算法。但若当前场景的样本数量较少时,则得到的回归模型泛化能力较差。针对此问题,以加权ε支持向量回归机为基础,提出了一种小样本数据的迁移学习支持向量回归机算法。该算法以加权ε支持向量回归机为Bagging算法的基学习器,使用与目标任务相关联的源域数据,通过自助采样生成多个子回归模型,采用简单平均法合成一个总回归模型。在UCI数据集和现实数据集——玉米棒与花生粒储藏环节损失数据集上的实验结果表明,该算法较标准ε-SVR算法与改进的RMTL算法在小数据样本上有更好的泛化能力。     

基于改进遗传算法的支持向量机参数优化方法

针对支持向量机算法在回归预测时由于参数选取不当导致过学习或欠学习的情况,提出一种基于改进遗传算法的支持向量机参数优化模型。该模型将遗传算法与支持向量机结合,利用遗传算法进化搜索的原理对支持向量机具有重要意义的惩罚参数、核参数和损失函数同时优化。实验选取3组标准数据集作为测试数据集,并将改进算法同时与遗传算法、网格寻址算法、粒子群算法进行仿真测试结果对比。实验结果表明改进的算法较大地提高了支持向量机算法整体的寻优能力。     

一种基于主动学习的SVM增量训练算法

针对SVM训练学习过程中难以获得大量带有类标注样本的问题,提出一种基于距离比值不确定性抽样的主动SVM增量训练算法(DRB-ASVM),并将其应用于SVM增量训练.实验结果表明,在保证不影响分类精度的情况下,应用主动学习策略的SVM选择的标记样本数量大大低于随机选择的标记样本数量,从而降低了标记的工作量或代价,并且提高了训练速度.     

一种SVM增量训练淘汰算法

基于KKT条件分析了样本增加后支持向量集的变化情况,深入研究了支持向量分布特点,提出了一种新的支持向量机增量训练淘汰机制——挖心淘汰算法。该算法只需设定一个参数,即可对训练数据进行有效的遗忘淘汰。通过对标准数据集的实验结果表明,使用该方法进行增量训练在保证训练精度的同时,能有效地提高训练速度并降低存储空间的占用。     

改进的图半监督支持向量机用于P2P网络流识别

对于机器学习在P2P网络流识别中需要大量标记训练数据的问题,提出一种基于改进图半监督支持向量机的P2P流识别方法。采用自动调节的高斯核函数计算少量标识数据和大量未标识训练样本之间的相似距离以构建图模型,并在标记传播过程中嵌入训练样本局部分布信息以获取未标记样本的标识;在此基础上使用所有已标记样本对SVM训练实现P2P网络流识别。实验结果表明该方法能够兼顾整个训练样本集的信息,在提高SVM识别精度的同时,极大降低了人工标记训练样本的成本。     

基于类边界壳向量的快速SVM增量学习算法

为进一步提高SVM增量训练的速度,在有效保留含有重要分类信息的历史样本的基础上,对当前增量训练样本集进行了约简,提出了一种基于类边界壳向量的快速SVM增量学习算法,定义了类边界壳向量。算法中增量训练样本集由壳向量集和新增样本集构成,在每一次增量训练过程中,首先从几何角度出发求出当前训练样本集的壳向量,然后利用中心距离比值法选择出类边界壳向量后进行增量SVM训练。分别使用人工数据集和UCI标准数据库中的数据进行了实验,结果表明了方法的有效性。     

一种SVM增量学习算法α-ISVM

基于SVM(support vector machine)理论的分类算法,由于其完善的理论基础和良好的试验结果,目前已逐渐引起国内外研究者的关注.深入分析了SVM理论中SV(support vector,支持向量)集的特点,给出一种简单的SVM增量学习算法.在此基础上,进一步提出了一种基于遗忘因子α的SVM增量学习改进算法α-ISVM.该算法通过在增量学习中逐步积累样本的空间分布知识,使得对样本进行有选择地遗忘成为可能.理论分析和实验结果表明,该算法能在保证分类精度的同时,有效地提高训练速度并降低存储空间的占用.     

A fast classification strategy for SVM on the large-scale high-dimensional datasets

The challenges of the classification for the large-scale and high-dimensional datasets are: (1) It requires huge computational burden in the training phase and in the classification phase; (2) it needs large storage requirement to save many training data; and (3) it is difficult to determine decision rules in the high-dimensional data. Nonlinear support vector machine (SVM) is a popular classifier, and it performs well on a high-dimensional dataset. However, it easily leads overfitting problem especially when the data are not evenly distributed. Recently, profile support vector machine (PSVM) is proposed to solve this problem. Because local learning is superior to global learning, multiple linear SVM models are trained to get similar performance to a nonlinear SVM model. However, it is inefficient in the training phase. In this paper, we proposed a fast classification strategy for PSVM to speed up the training time and the classification time. We first choose border samples near the decision boundary from training samples. Then, the reduced training samples are clustered to several local subsets through MagKmeans algorithm. In the paper, we proposed a fast search method to find the optimal solution for MagKmeans algorithm. Each cluster is used to learn multiple linear SVM models. Both artificial datasets and real datasets are used to evaluate the performance of the proposed method. In the experimental result, the proposed method prevents overfitting and underfitting problems. Moreover, the proposed strategy is effective and efficient.     

基于选择性抽样的SVM增量学习算法的泛化性能研究

针对大数据环境中存在很多的冗余和噪声数据,造成存储耗费和学习精度差等问题,为有效的选取代表性样本,同时提高学习精度和降低训练时间,提出了一种基于选择性抽样的SVM增量学习算法,算法采用马氏抽样作为抽样方式,抽样过程中利用决策模型来计算样本间的转移概率,然后通过转移概率来决定是否接受样本作为训练数据,以达到选取代表性样本的目的。并与其他SVM增量学习算法做出比较,实验选取9个基准数据集,采用十倍交叉验证方式选取正则化参数,数值实验结果表明,该算法能在提高学习精度的同时,大幅度的减少抽样与训练总时间和支持向量总个数。     

基于分层聚类及重采样的大规模数据分类

针对大规模数据的分类问题,将监督学习与无监督学习结合起来,提出了一种基于分层聚类和重采样技术的支持向量机(SVM)分类方法。该方法首先利用无监督学习算法中的k-means聚类分析技术将数据集划分成不同的子集,然后对各个子集进行逐类聚类,分别选出各类中心邻域内的样本点,构成最终的训练集,最后利用支持向量机对所选择的最具代表样本点进行训练建模。实验表明,所提方法可以大幅度降低支持向量机的学习代价,其分类精度比随机欠采样更优,而且可以达到采用完整数据集训练所得的结果     

无逆矩阵在线序列极限学习机

无逆矩阵极限学习机只能以批量学习方式进行训练,将其拓展为无逆矩阵在线学习版本,提出了无逆矩阵在线序列极限学习机算法(IOS-ELM)。所提算法增加训练样本时,利用Sherman Morrison Woodbury公式对新增样本数据后的模型进行更新,直接计算出新增隐含层输出权重,避免对已经分析过的训练样本的输出权重进行重复计算。给出了所提IOS-ELM算法的详细推导过程。在不同类型和大小的数据集上的实验结果表明,所提IOS-ELM算法非常适合在线方式逐步生成的数据集,在快速学习和性能方面都有很好的表现。