用于彩色图像分割的支持向量机的快速训练

为了加快用于图像分割的支持向量机算法的训练速度,本文提出主动选择样本简化训练集的新方法.该方法根据像素在颜色空间的统计特性构建可分的训练集,并采用均匀抽样策略大大缩减训练集规模而不降低分类正确率,使得支持向量机可以实时训练,并为参数调整带来便利.由此发展了一种非监督算法与支持向量机相结合的自动图像分割方法.通过支持向量机在线训练,新方法可以获得较高的分割精度,有较好的鲁棒性,现已应用于彩色血细胞图像分割.     

基于邻域原理计算海量数据支持向量的研究

使用支持向量机理论计算海量数据的支持向量是相当困难的.为了解决这个问题,提出了基于邻域原理计算支持向量的方法.在对支持向量机原理与邻域原理比较分析的基础上讨论了以下问题:(1)构建了从样本空间经过特征空间到扩维空间的复合内积函数,给出计算支持向量的邻域思想;(2)将支持向量机的理论建立在距离空间上,设计出了计算支持向量的邻域算法,从而把该算法理解为简化计算二次规划的方法;(3)实验结果说明,邻域原理可以有效地解决对海量数据计算支持向量的问题.     

最小二乘分解算法在车型识别中的应用

提出一种最小二乘支持向量机的序贯最小分类分解算法.针对最小二乘支持向量机,通过对核函数的相关变换,将二阶的误差信息归结到优化方程的一阶信息中,从而简化运算过程.采用最优函数梯度二阶信息选择工作集,实现最小二乘支持向量机分解算法,提高了算法的收敛性.采用径向基核函数和交叉验证网格搜索的方法验证算法的分类准确性.实验结果表明,提出的分类算法应用于车型识别中,可以得到比其他分类方法更好的分类准确度.     

一种基于Cholesky分解的动态无偏LS-SVM学习算法

针对最小二乘支持向量机用于在线建模时存在的计算复杂性问题,提出一种动态无偏最小二乘支持向量回归模型.该模型通过改进标准最小二乘支持向量机结构风险的形式消除了偏置项.得到了无偏的最小二乘支持向量机,简化了回归系数的求解.根据模型动态变化过程中核函数矩阵的特点,设计了基于Cholesky分解的在线学习算法.该算法能充分利用历史训练结果,减少计算复杂性.仿真实验表明了所提出模型的有效性.     

基于向量投影的支持向量机增量算法

提出一种新的基于向量投影的支持向量机增量式学习算法.该算法根据支持向量的几何分布特点,采用向量投影的方法对初始样本及增量样本在有效地避免预选取失效情况下进行预选取.选取最有可能成为支持向量的样本形成边界向量集,并在其上进行支持向量机训练.通过对初始样本是否满足新增样本集KKT条件的判断,解决非支持向量向支持向量转化的问题,有效地处理历史数据.实验表明,基于向量投影的支持向量机增量算法可以有效地减少训练样本数,积累历史信息,提高训练的速度,从而具有更好的推广能力.     

改进的BT—SVM应用于电力系统SSA

随着电力系统的广泛发展,电力系统静态安全评估已变得越来越重要。文中比较了现在几种常用的人工智能方法,选择了支持向量机算法解决这一问题。由于解决大样本问题时,支持向量机所需训练时间显著增加,文中提出了约简样本的方法,并结合适合于电力系统的二叉树结构,提出了一种改进的简化二叉树支持向量机算法。将这种新的支持向量机算法应用于IEEE57节点电力系统,结果表明,文中提出的算法取得了比较好的结果,有效可行。     

稀疏Tikhonov正则化多分类支持向量机

Tikhonov正则化多分类支持向量机是一种将多分类问题简化为单个优化问题的新型支持向量机.由于Tikhonov正则化多分类支持向量机利用全部类别数据样本构建核函数矩阵,因此不适合大规模数据集的模式分类问题,鉴于该原因,一种稀疏Tikhonov正则化多分类支持量机被建立,其训练算法首先构建样本重要性评价标准,在标准下通过迭代学习获取约简集,最后利用约简集构建核函数矩阵并训练支持向量机.仿真实验结果表明稀疏Tikhonov正则化多分类支持向量机在训练速度和稀疏性方面具有很大的优越性.     

近邻渐进直推式支持向量机算法

针对渐进直推式支持向量机箅法训练速度慢和学习性能不稳定的问题,提出一种近邻渐进直推式支持向量机算法.该算法利用支持向量机中支持向量信息,选择支持向量附近的无标签样本点进行标注,采用支持向量预选取的方法减少训练集的规模,提高算法的速度.实验结果表明了该算法的有效性.     

支持向量机的参数优化及其文本分类中的应用

支持向量机的优化算法对准确检索所需信息资料很重要.传统支持向量机参数寻优方法速度慢、运算量大,具有一定的盲目性.针对准确快速检索到所需信息,为提高支持向量机算法的性能,提出了一种采用免疫算法对支持向量机参数进行优化的文本分类方法(IA-SVM).将支持向量机模型参数作为抗体的基因设计了抗体的编码方案,利用人工免疫算法对支持向量机的惩罚因子和径向基核函数进行优化搜索,使支持向量机的分类性能最优.实验结果表明,IA-SVM算法减少了对支持向量机参数选择的盲目性,在文本分类问题上明显提高了分类正确率和检索速度.     

两种不确定支持向量机分类性能的对比研究

为了克服支持向量机方法对于噪声或孤立野值点敏感的问题,通过引入模糊理论与粗糙集方法,可以分别得到两种不确定支持向量机模型.文中通过分析和比较模糊支持向量机和粗糙支持向量机分类模型构造方法,解释了这两种不确定支持向量机模型克服噪声影响的原理.同时通过一个合成数据集和一组标准数据集对这两种不确定支持向量机的泛化性能进行了对比验证.实验结果表明,相比传统支持向量机,两种不确定支持向量机都能不同程度地提高分类精度,并且模糊支持向量机算法整体表现出了更好的泛化性能.     

Adaptive simplification of solution for support vector machine

SVM has been receiving increasing interest in areas ranging from its original application in pattern recognition to other applications such as regression estimation due to its remarkable generalization performance. Unfortunately, SVM is currently considerably slower in test phase caused by number of the support vectors, which has been a serious limitation for some applications. To overcome this problem, we proposed an adaptive algorithm named feature vectors selection (FVS) to select the feature vectors from the support vector solutions, which is based on the vector correlation principle and greedy algorithm. Through the adaptive algorithm, the sparsity of solution is improved and the time cost in testing is reduced. To select the number of the feature vectors adaptively by the requirements, the generalization and complexity trade-off can be directly controlled. The computer simulations on regression estimation and pattern recognition show that FVS is a promising algorithm to simplify the solution for support vector machine.     

基于边界向量的支持向量机增量算法

提出了一种新的基于边界向量的增量式支持向量机学习算法。该算法根据支持向量的几何分布特点,采用边界向量预选取方法,从增量样本中选取最有可能成为支持向量的样本形成边界向量集,在其上进行支持向量训练。通过对初始样本是否满足新增样本KKT条件的判断,解决非支持向量向支持向量的转化问题,有效地处理历史数据。针对UCI标准数据集上的仿真实验表明,基于边界向量的增量算法可以有效地减少训练样本数,积累历史信息,具有更高的分类速度和更好的推广能力。     

基于最小包围球的支持向量机研究

传统支持向量机的时间空间复杂度和样本个数有关,样本个数大时,将产生时间空间上的巨大耗费。文章通过对一类问题最小包围球研究分析的基础上提出了一种简化算法,该算法对每一类别样本单独构造一个近似最小超球．不仅降低了二次规划问题的复杂度,而且易于扩充。仿真实验表明,该卓法在不降低识别率的情况下,减少了支持向量的个数,降低了算法的复杂度。     

Error tolerance based support vector machine for regression

Most existing online algorithms in support vector machines (SVM) can only grow support vectors. This paper proposes an online error tolerance based support vector machine (ET-SVM) which not only grows but also prunes support vectors. Similar to least square support vector machines (LS-SVM), ET-SVM converts the original quadratic program (QP) in standard SVM into a group of easily solved linear equations. Different from LS-SVM, ET-SVM remains support vectors sparse and realizes a compact structure. Thus, ET-SVM can significantly reduce computational time while ensuring satisfactory learning accuracy. Simulation results verify the effectiveness of the newly proposed algorithm.     

基于KKT条件与壳向量的增量学习算法研究

摘要针对经典支持向量机难以快速有效地进行增量学习的缺点,提出了基于KKT条件与壳向量的增量学习算法,该算法首先选择包含所有支持向量的壳向量,利用KKT条件淘汰新增样本中无用样本,减小参与训练的样本数目,然后在新的训练集中快速训练支持向量机进行增量学习。将该算法应用于UCI数据集和电路板故障分类识别,实验结果表明,该算法不仅能保证学习机器的精度和良好的推广能力,而且其学习速度比经典的SMO算法快,可以进行增量学习。     

基于几何思想的快速支持向量机算法

为了快速地进行分类,根据几何思想来训练支持向量机,提出了一种快速而简单的支持向量机训练算法——几何快速算法。由于支持向量机的最优分类面只由支持向量决定,因此只要找出两类样本中所有支持向量,那么最优分类面就可以完全确定。该新的算法根据两类样本的几何分布,先从两类样本的最近点开始;然后通过不断地寻找违反KKT条件的样本点来找出支持向量;最后确定最优分类面。为了验证新算法的有效性,分别利用两个公共数据库,对新算法与SMO算法及DIRECTSVM算法进行了实验对比,实验结果显示,新算法的分类精度虽与其他两个方法相当,但新算法的运算速度明显比其他两个算法快。     

Online training of support vector classifier

Support vector machine (SVM) provides accurate classification but suffers from a large amount of computation. This paper presents an online support vector classifier (OSVC) for the pattern classification problems that have input data supplied in sequence rather than in batch. The OSVC has been applied to three benchmark problems: Iris data classification, image segmentation and numerical pattern recognition. The results obtained from the wide range of benchmark problems show that the OSVC algorithm has a much faster convergence and results in a smaller number of support vectors for the same quality of pattern classification and a better generalization performance in comparison with the existing algorithms.     

支撑矢量预选取的自适应投影算法

支撑矢量机是一种能在训练样本数很少的情况下达到很好分类推广能力的学习算法。但其在选择支撑矢量时却进行了大量不必要的运算,对此,该文提出了一种能够预选取支撑矢量的方法———自适应投影算法,该方法在不影响支撑矢量机的分类能力情况下,大大地减少了训练样本,提高了支撑矢量机的训练速度。仿真实验结果也验证了该方法的有效性和可行性。