共查询到19条相似文献,搜索用时 156 毫秒
1.
支持向量机(Support Vector Machine,SVM)作为一种经典的非线性分类器,用于模式识别,可以将训练样本从不可线性分类的低维空间映射到可线性分类的高维空间,再做分类,本文主要训练支持向量机使它学会区分人脸和非人脸。支持向量机的数学推导完备,算法逻辑严密,整体上比Adaboost算法复杂,但在样本量较少的情况下效果良好,因此有样本优势。支撑它的理论包含泛化性理论、最优化理论和核函数等,这些理论也被学术界广泛用于其他机器学习算法如神经网络,几十年来被证明具有很高的可靠性。同时本文论述主成分分析技术(PCA)用于压缩数据,实现数据降维,在数据预处理方面算法提供了很大帮助,使SVM支持向量机的输入数据维数大幅下降,大大提高了运算和检测时间。 相似文献
2.
支持向量机理论与基于规划的神经网络学习算法 总被引:22,自引:3,他引:19
近年来支持向量机(SVM)理论得到国外学者高度的重视,普遍认为这是神经网络学习的新研究方向,近来也开始得到国内学者的注意。该文将研究SVM理论与神经网络的规划算法的关系,首先指出,Vapnik的基于SVM的算法与该文作者1994年提出的神经网络的基于规划的算法是等价的,即在样本集是线性可分的情况下,二者求得的均是最大边缘(maximal margin)解。不同的是,前者(通常用拉格郎日乘子法)求解的复杂性将随规模呈指数增长,而后者的复杂性是规模的多项式函数。其次,作者将规划算法化为求一点到某一凸集上的投影,利用这个几何的直观,给出一个构造性的迭代求解算法--“单纯形迭代算法”。新算法有很强的几何直观性,这个直观性将加深对神经网络(线性可分情况下)学习的理解,并由此导出一个样本集是线性可分的充分必要条件。另外,新算法对知识扩充问题,给出一个非常方便的增量学习算法。最后指出,“将一些必须满足的条件,化成问题的约束条件,将网络的某一性能,作为目标函数,将网络的学习问题化为某种规划问题来求解”的原则,将是研究神经网络学习问题的一个十分有效的办法。 相似文献
3.
一种基于morlet小波核的约简支持向量机 总被引:7,自引:0,他引:7
针对支持向量机(SVM)的训练数据量仅局限于较小样本集的问题,结合Morlet小波核函数,提出了一种基于Morlet小波核的约倚支持向量机(MWRSVM—DC).算法的核心是通过密度聚类寻找聚类中每个簇的边缘点作为约倚集合,并利用该约倚集合寻找支持向量.实验表明,利用小波核,该算法不仅提高了分类的准确率,而且提高了整体分类效率. 相似文献
4.
5.
非平衡数据处理中常采用的欠采样方法很少考虑支持向量机(SVM)的特性,并且在原始空间进行采样会导致多数类样本部分关键信息的丢失.针对上述问题,文中提出基于识别关键样本点的非平衡数据核SVM算法.基于初始超平面有效划分多数类样本,在高维空间中对每个分块进行核异类近邻抽样,得到多数类中的关键样本点,使用关键样本点和少数类样本训练最终核SVM分类器.在多个数据集上的实验证明文中算法的可行性和有效性,特别是在非平衡度高于10∶1的数据集上,文中算法优势明显. 相似文献
6.
SVM-KNN分类算法研究 总被引:1,自引:0,他引:1
SVM-KNN分类算法是一种将支持向量机(SVM)分类和最近邻(NN)分类相结合的新分类方法。针对传统SVM分类器中存在的问题,该算法通过支持向量机的序列最小优化(SMO)训练算法对数据集进行训练,将距离差小于给定阈值的样本代入以每类所有的支持向量作为代表点的K近邻分类器中进行分类。在UCI数据集上的实验结果表明,该分类器的分类准确率比单纯使用SVM分类器要高,它在一定程度上不受核函数参数选择的影响,具有较好的稳健性。 相似文献
7.
8.
本文在传统的支持向量机(SVM)分类算法中采用核主成分分析(KPCA)对网络数据进行特征抽取,将高维输入特征转化为新的低维特征;并对SVM的核函数进行改进,采用多项式核函数和径向基核函数混合的组合核函数,具有良好的学习能力和外推能力。最后在KDDCUP1999数据集上进行实验,证明了本文方法能够有效的减少学习样本数及训练时间,在网络危险因素识别中具有更高的检测率和更强的泛化能力。 相似文献
9.
基于支持向量机的网络入侵检测 总被引:48,自引:3,他引:48
将统计学习理论引人入侵检测研究中,提出了一种基于支持向量机的入侵检测方法(SVM-Based ID).针对入侵检测所获得的高维小样本异构数据集,将SVM算法在这种异构数据集上进行推广,构造了基于异构数据集上HVDM距离定义的RBF形核函数,并基于这种核函数将有监督的C-SVM算法和无监督One-Class SVM算法用于网络连接信息数据中的攻击检测和异常发现,通过对DARPA数据的检测试验结果表明提出的方法是可行的、高效的. 相似文献
10.
11.
构造性神经网络的主要特点是:在对给定的具体数据的处理过程中,能同时给出网络的结构和参数;支持向量机就是先通过引入核函数的非线性变换,然后在这个核空间中求取最优线性分类面,其所求得的分类函数,形式上类似于一个神经网络,而构造性核覆盖算法(简称为CKCA)则是一种将神经网络中的构造性学习方法(如覆盖算法)与支持向量机(SVM)中的核函数法相结合的方法。CKCA方法具有运算量小、构造性强、直观等特点,适于处理大规模分类问题和图像识别问题。为验证CKCA算法的应用效果,利用图像质量不高的车牌字符进行了识别实验,并取得了较好的结果。 相似文献
12.
13.
Support vector learning for fuzzy rule-based classification systems 总被引:11,自引:0,他引:11
To design a fuzzy rule-based classification system (fuzzy classifier) with good generalization ability in a high dimensional feature space has been an active research topic for a long time. As a powerful machine learning approach for pattern recognition problems, the support vector machine (SVM) is known to have good generalization ability. More importantly, an SVM can work very well on a high- (or even infinite) dimensional feature space. This paper investigates the connection between fuzzy classifiers and kernel machines, establishes a link between fuzzy rules and kernels, and proposes a learning algorithm for fuzzy classifiers. We first show that a fuzzy classifier implicitly defines a translation invariant kernel under the assumption that all membership functions associated with the same input variable are generated from location transformation of a reference function. Fuzzy inference on the IF-part of a fuzzy rule can be viewed as evaluating the kernel function. The kernel function is then proven to be a Mercer kernel if the reference functions meet a certain spectral requirement. The corresponding fuzzy classifier is named positive definite fuzzy classifier (PDFC). A PDFC can be built from the given training samples based on a support vector learning approach with the IF-part fuzzy rules given by the support vectors. Since the learning process minimizes an upper bound on the expected risk (expected prediction error) instead of the empirical risk (training error), the resulting PDFC usually has good generalization. Moreover, because of the sparsity properties of the SVMs, the number of fuzzy rules is irrelevant to the dimension of input space. In this sense, we avoid the "curse of dimensionality." Finally, PDFCs with different reference functions are constructed using the support vector learning approach. The performance of the PDFCs is illustrated by extensive experimental results. Comparisons with other methods are also provided. 相似文献
14.
Kernel sparse representation based classification 总被引:5,自引:0,他引:5
Jun YinAuthor Vitae Zhonghua LiuAuthor VitaeZhong JinAuthor Vitae Wankou YangAuthor Vitae 《Neurocomputing》2012,77(1):120-128
Sparse representation has attracted great attention in the past few years. Sparse representation based classification (SRC) algorithm was developed and successfully used for classification. In this paper, a kernel sparse representation based classification (KSRC) algorithm is proposed. Samples are mapped into a high dimensional feature space first and then SRC is performed in this new feature space by utilizing kernel trick. Since samples in the high dimensional feature space are unknown, we cannot perform KSRC directly. In order to overcome this difficulty, we give the method to solve the problem of sparse representation in the high dimensional feature space. If an appropriate kernel is selected, in the high dimensional feature space, a test sample is probably represented as the linear combination of training samples of the same class more accurately. Therefore, KSRC has more powerful classification ability than SRC. Experiments of face recognition, palmprint recognition and finger-knuckle-print recognition demonstrate the effectiveness of KSRC. 相似文献
15.
基于混合核函数的可能性C-均值聚类算法 总被引:1,自引:0,他引:1
针对传统的模糊C-均值算法对于非球形分布的数据聚类效果不理想且易受到噪声数据的影响,利用可能性C-均值算法具有良好的抗噪声性能,将混合核函数引入到该算法中,提出了一种基于混合核函数的可能性C-均值(HKPCM)聚类算法。该算法将原空间的待分类样本映射到一个高维的特征空间(核空间)中,使得样本变得线性可分,然后在核空间中进行聚类。实验结果证实了HKPCM算法的可行性和有效性。 相似文献
16.
针对传统的入侵检测算法精度低,结果稳定性差的问题,提出了一种基于构造性核函数覆盖聚类和最大化最小概率机器回归方法的入侵检测算法。首先,利用核函数覆盖将原空间的待分类样本映射到一个高维的特征空间中,使得样本变得线性可分;然后通过控制错分率实现分类的最大化,并利用最大最小概率机的高维映射泛化特性,实现了不同核函数下的数据多维分类问题。实验结果证明,该算法具有分类准确率高、稳定性好的特点。 相似文献
17.
18.
针对二次相关滤波器(QCF)与核空间特征相结合在红外目标检测中的应用,提出KSSQSDF核直接映射法与MPKPCA-SSQSDF核特征提取融合法。前者对低维空间下的QCF直接进行高维映射,使其转化为核空间下的非线性相关滤波器;后者采用核空间进行特征提取,对提取后的特征向量使用低维空间的相关滤波器,用于红外目标检测。通过实验分析2种算法间的相互联系,在目标检测结果及计算复杂性等方面的差异,结果表明,2种算法的检测精度大致相同,均明显优于低维空间的QCF检测,但MPKPCA—SSQSDr核特征提取融合法不受QCr种类限制,检测时间短,具有广泛性,在某种程度上可以代替KSSQSDF核直接映射法。 相似文献
19.
利用局部线性嵌入算法进行图像去噪时,如果局部近邻样本呈现非线性关系,图像去噪效果会受到影响。针对该问题,提出基于核局部线性嵌入算法的图像去噪方法。通过非线性核函数将样本映射到高维线性空间,在高维空间运用局部线性嵌入算法进行图像去噪。实验结果表明,该方法能有效地对高维非线性图像进行去噪,性能优于中值滤波算法和局部线性嵌入算法。 相似文献