预抽取支持向量机的支持向量

训练支持向量机，可以归结为求解二次规划问题，而求解二次规划时的复杂度随着样本数量的增加而显著增长，这样就大大延长了支持向量机的训练时间。为了提高支持向量机的训练速度，根据支持向量机的基本原理，该文提出了一种从给定训练样本中预抽取支持向量的新方法，即两凸包相对边界向量方法(FFEVM)，此方法大幅度减小了训练支持向量机的训练样本的数量，从而大大提高了支持向量的训练速度，而支持向量机的分类能力不受任何影响。     

基于几何分析的支持向量机快速训练与分类算法

当支持向量机中存在相互混叠的海量训练样本时,不但支持向量求取困难,且支持向量数目巨大,这两个问题已成为限制其应用的瓶颈问题。该文通过对支持向量几何意义的分析,首先研究了支持向量的分布特性,并提出了基于几何分析的支持向量机快速算法,该算法首先从训练样本中选择出部分近邻向量,然后在进行混叠度分析的基础上,选择真实的边界向量样本子空间用来代替全部训练集,这样既大大减少了训练样本数目,同时去除了混叠严重的奇异样本的影响,并大大减少了支持向量的数目。实验结果表明:该算法在不影响分类性能的条件下,可以加快支持向量机的训练速度和分类速度。     

基于模糊C均值聚类的支持向量机

基于统计学理论的支持向量机是一种新的很有效的模式识别方法,但对于支持向量的选择还有困难,对此本文利用模糊C均值(FCM,Fuzzy C-Means)聚类,对训练样本进行预处理,大大减少了训练样本的数量,提高了支持向量机的训练速度。仿真实验的结果证实了该方法的可行性和有效性。     

基于增量学习支持向量机的音频例子识别与检索

音频例子识别与检索的主要任务是构造一个良好的分类学习机，而在构造过程中，从含有冗余样本的训练库中选择最佳训练例子、节省学习机的训练时间是构造分类机面临的一个挑战，尤其是对含有大样本训练库音频例子的识别．由于支持向量是支持向量机中的关键例子，提出了增量学习支持向量机训练算法．在这个算法中，训练样本被分成训练子库按批次进行训练，每次训练中，只保留支持向量，去除非支持向量．与普通和减量支持向量机对比的实验表明，算法在显著减少训练时间前提下，取得了良好的识别检索正确率．     

基于无监督聚类的约简支撑向量机

为解决标准支撑向量机算法所面临的巨大的计算量问题,Lee和Mangasarian提出了约简支撑向量机算法;但他们选取的“支撑向量”是从训练样本里面任意选的,其分类结果受随机性影响比较大。该文利用简单的无监督聚类算法,在样本空间中选取了一些具有较强代表性的样本作为“支撑向量”,再运用约简支撑向量机算法,有效地减少了运算量。实验验证文中方法可以用较少的“支撑向量”来得到较高的识别率,同时运行时间也大大缩短。     

基于搜索机制密度聚类的支持向量预选取算法

支持向量机在解决小样本、非线性及高维模式识别问题中具有许多特有的优势,但支持向量的选择过程复杂。该文利用聚类技术的特殊性能,提出基于搜索机制的密度聚类算法,该算法通过一种简单的搜索策略可将密度高于一定限度的对象聚为一类。将该算法用于支持向量的预选取,可减少训练样本数目,提高支持向量机的训练速度。从仿真实验可以看出,通过基于搜索机制密度聚类的支持向量预选取,训练样本数目可减少2/3以上,线性可分的数据训练速度可加快12倍左右,非线性可分的数据训练速度可加快5倍左右。     

基于增量支持向量机的DoS入侵检测

提出了一个基于增量学习支持向量机的DoS入侵检测方法，其基本思想是将训练样本库分割成几个互不相交的训练子库，按批次对各个训练子库样本进行训练，每次训练中只保留支持向量，去除非支持向量。与传统的基于支持向量机的入侵检测方法对比的试验表明，该方法在不影响检测性能的同时明显减少了训练时间。     

基于支持向量的分层并行筛选训练样本方法

基于支持向量能够代表训练集分类特征的特点，该文提出了一种基于支持向量的分层并行筛选训练样本的机器学习方法。该方法按照分而治之的思想将原分类问题分解成若干子问题，将训练样本的筛选过程分解成级联的2个层次。每层采用并行方法提取各训练集中的支持向量，这些被提取的支持向量将作为下一层的训练样本，各层训练集中的非支持向量通过学习被逐步筛选掉。为了保证问题的一致性，引入了交叉合并规则，仿真实验结果表明该方法在保证分类器推广能力的情况下，缩短了支持向量机的训练时间，减少了支持向量的数目。     

基于向量投影的支持向量机增量算法

提出一种新的基于向量投影的支持向量机增量式学习算法.该算法根据支持向量的几何分布特点,采用向量投影的方法对初始样本及增量样本在有效地避免预选取失效情况下进行预选取.选取最有可能成为支持向量的样本形成边界向量集,并在其上进行支持向量机训练.通过对初始样本是否满足新增样本集KKT条件的判断,解决非支持向量向支持向量转化的问题,有效地处理历史数据.实验表明,基于向量投影的支持向量机增量算法可以有效地减少训练样本数,积累历史信息,提高训练的速度,从而具有更好的推广能力.     

基于粗糙集理论的支撑向量机预测方法研究

分析了粗糙集理论方法与支撑向量机方法两者各自的优势和互补性，探讨了粗糙集与支撑向量机的结合方法．然后提出了一种基于粗糙集数据预处理的支撑向量机预测系统。该系统利用粗糙集理论在处理大数据量、消除冗余信息等方面的优势．减少支撑向量机的训练数据，克服支撑向量机方法因为数据量太大，处理速度慢等缺点。将该系统应用于股票价格预测中，与BP神经网络法和标准的支撑向量机方法相比，得到了较高的预测精度，从而说明了基于粗糙集理论的方法作为信息预处理的支撑向量机学习系统的优越性．     

基于后验概率的支持向量机

在支持向量机(support vector machines，SVM)中，训练样本总是具有明确的类别信息，而对于一些不确定性问题并不恰当．受贝叶斯决策规则的启发，利用样本的后验概率来表示这种不确定性．将贝叶斯决策规则与SVM相结合，建立后验概率支持向量机(posteriori probability support vector machine，PPSVM)的体系框架．并详细讨论线性可分性、间隔、最优超平面以及软间隔算法，得到了一个新的优化问题，同时给出了一个支持向量的新定义．实际上，后验概率支持向量机是建立于统计学习理论(statistical learning theory)基础之上，是标准SVM的扩展．针对数据，还提出了一个确定后验概率的经验性方法．实验也证明了后验概率支持向量机的合理性、有效性．     

Least Square Transduction Support Vector Machine

Support vector machine (SVM) is a general and powerful learning machine, which adopts supervised manner. However, for many practical machine learning and data mining applications, unlabeled training examples are readily available but labeled ones are very expensive to be obtained. Therefore, semi-supervised learning emerges as the times require. At present, the combination of SVM and semi-supervised learning principle such as transductive learning has attracted more and more attentions. Transductive support vector machine (TSVM) learns a large margin hyperplane classifier using labeled training data, but simultaneously force this hyperplane to be far away from the unlabeled data. TSVM might seem to be the perfect semi-supervised algorithm since it combines the powerful regularization of SVMs and a direct implementation of the clustering assumption, nevertheless its objective function is non-convex and then it is difficult to be optimized. This paper aims to solve this difficult problem. We apply least square support vector machine to implement TSVM, which can ensure that the objective function is convex and the optimization solution can then be easily found by solving a set of linear equations. Simulation results demonstrate that the proposed method can exploit unlabeled data to yield good performance effectively.     

基于边界近邻的最小二乘支持向量机实现

最小二乘支持向量机采用最小二乘线性系统代替传统的支持向量即采用二次规划方法解决模式识别问题,能够有效地减少计算的复杂性。但最小二乘支持向量机失去了对支持向量的稀疏性。文中提出了一种基于边界近邻的最小二乘支持向量机,采用寻找边界近邻的方法对训练样本进行修剪,以减少了支持向量的数目。将边界近邻最小二乘支持向量机用来解决由1-a-r(one-against-rest)方法构造的支持向量机分类问题,有效地克服了用1-a-r(one-against-rest)方法构造的支持向量机分类器训练速度慢、计算资源需求比较大、存在拒分区域等缺点。实验结果表明,采用边界近邻最小二乘支持向量机分类器,识别精度和识别速度都得到了提高。     

一种基于支持向量的二进制粒子群网络故障特征选择算法

网络故障诊断中大量无关或冗余的特征会降低诊断的精度,需要对初始特征进行选择。Wrapper模式特征选择方法分类算法计算量大,为了降低计算量,本文提出了基于支持向量的二进制粒子群（SVB-BPSO）的故障特征选择方法。该算法以SVM为分类器,首先通过对所有样本的SVM训练选出SV集,在封装的分类训练中仅使用SV集,然后采用异类支持向量之间的平均距离作为SVM的参数进行训练,最后根据分类结果,利用BPSO在特征空间中进行全局搜索选出最优特征集。在DARPA数据集上的实验表明本文提出的方法能够降低封装模式特征选择的计算量且获得了较高的分类精度以及较明显的降维效果。     

基于边界向量的支持向量机增量算法

提出了一种新的基于边界向量的增量式支持向量机学习算法。该算法根据支持向量的几何分布特点,采用边界向量预选取方法,从增量样本中选取最有可能成为支持向量的样本形成边界向量集,在其上进行支持向量训练。通过对初始样本是否满足新增样本KKT条件的判断,解决非支持向量向支持向量的转化问题,有效地处理历史数据。针对UCI标准数据集上的仿真实验表明,基于边界向量的增量算法可以有效地减少训练样本数,积累历史信息,具有更高的分类速度和更好的推广能力。     

一种基于近邻边界的粒度支持向量机学习策略

针对粒度支持向量机进行粒划分后提取代表点时丢失部分重要分类信息从而影响分类准确率的情况,提出了一种基于近邻边界的粒度支持向量机(Neighboring-boundary Granular Support Vector Machine,NGSVM)的学习策略。首先采用kmeans方法进行粒划分,对不同的粒依据不同的规则提取粒内代表点,并按照要求分别将代表点放入精简集或修正集中,再用这两个集合中的数据对支持向量机进行训练;形成分类器后,根据核空间距离提取靠近分类面的近邻边界数据以对分类面进行修正。仿真实验结果表明,通过提取靠近分类面的近邻边界数据进行重新训练,能够修正分类面,进一步提高粒度支持向量机的分类准确率。     

Pruning Support Vector Machines Without Altering Performances

Support vector machines (SV machines, SVMs) have many merits that distinguish themselves from many other machine-learning algorithms, such as the nonexistence of local minima, the possession of the largest distance from the separating hyperplane to the SVs, and a solid theoretical foundation. However, SVM training algorithms such as the efficient sequential minimal optimization (SMO) often produce many SVs. Some scholars have found that the kernel outputs are frequently of similar levels, which insinuate the redundancy of SVs. By analyzing the overlapped information of kernel outputs, a succinct separating-hyperplane-securing method for pruning the dispensable SVs based on crosswise propagation (CP) is systematically developed. The method also circumvents the problem of explicitly discerning SVs in feature space as the SVM formulation does. Experiments with the famous SMO-based software LibSVM reveal that all typical kernels with different parameters on the data sets contribute the dispensable SVs. Some 1% ~ 9% (in some scenarios, more than 50%) dispensable SVs are found. Furthermore, the experimental results also verify that the pruning method does not alter the SVMs' performances at all. As a corollary, this paper further contributes in theory a new lower upper bound on the number of SVs in the high-dimensional feature space.     

基于向量集约简的精简支持向量机

目前的支持向量集约简法在寻找约简向量的过程中需要求解一个无约束的多参数优化问题,这样,像其他非线性优化问题一样,求解过程需要面对数值不稳定或局部最小值问题.为此,提出了一种基于核聚类的SVM(support vector machine)简化方法.此方法首先在特征空间中对支持向量进行聚类,然后寻找特征空间中的聚类中心在输入空间中的原像以形成约简向量集.该方法概念简单,在简化过程中只需求解线性代数问题,从而解决了现存方法存在的瓶颈问题.实验结果表明,该简化法能够在基本保持SVM泛化性能的情况下极大地约简支持向量,从而提高SVM的分类速度.