融合PCA的支持向量机人脸检测研究

支持向量机（Support Vector Machine,SVM）作为一种经典的非线性分类器,用于模式识别,可以将训练样本从不可线性分类的低维空间映射到可线性分类的高维空间,再做分类,本文主要训练支持向量机使它学会区分人脸和非人脸。支持向量机的数学推导完备,算法逻辑严密,整体上比Adaboost算法复杂,但在样本量较少的情况下效果良好,因此有样本优势。支撑它的理论包含泛化性理论、最优化理论和核函数等,这些理论也被学术界广泛用于其他机器学习算法如神经网络,几十年来被证明具有很高的可靠性。同时本文论述主成分分析技术（PCA）用于压缩数据,实现数据降维,在数据预处理方面算法提供了很大帮助,使SVM支持向量机的输入数据维数大幅下降,大大提高了运算和检测时间。     

支持向量机理论与基于规划的神经网络学习算法

近年来支持向量机（SVM）理论得到国外学者高度的重视,普遍认为这是神经网络学习的新研究方向,近来也开始得到国内学者的注意。该文将研究SVM理论与神经网络的规划算法的关系,首先指出,Vapnik的基于SVM的算法与该文作者1994年提出的神经网络的基于规划的算法是等价的,即在样本集是线性可分的情况下,二者求得的均是最大边缘（maximal margin)解。不同的是,前者（通常用拉格郎日乘子法）求解的复杂性将随规模呈指数增长,而后者的复杂性是规模的多项式函数。其次,作者将规划算法化为求一点到某一凸集上的投影,利用这个几何的直观,给出一个构造性的迭代求解算法－－“单纯形迭代算法”。新算法有很强的几何直观性,这个直观性将加深对神经网络（线性可分情况下）学习的理解,并由此导出一个样本集是线性可分的充分必要条件。另外,新算法对知识扩充问题,给出一个非常方便的增量学习算法。最后指出,“将一些必须满足的条件,化成问题的约束条件,将网络的某一性能,作为目标函数,将网络的学习问题化为某种规划问题来求解”的原则,将是研究神经网络学习问题的一个十分有效的办法。     

一种基于morlet小波核的约简支持向量机

针对支持向量机（SVM）的训练数据量仅局限于较小样本集的问题，结合Morlet小波核函数，提出了一种基于Morlet小波核的约倚支持向量机（MWRSVM—DC）．算法的核心是通过密度聚类寻找聚类中每个簇的边缘点作为约倚集合，并利用该约倚集合寻找支持向量．实验表明，利用小波核，该算法不仅提高了分类的准确率，而且提高了整体分类效率．     

基于SVM主动学习的入侵检测系统

研究在入侵检测中，采用基于支持向量机(SVM)的主动学习算法，解决小样本下的机器学习问题。该文提出了基于SVM主动学习算法的系统框架及适用于入侵检测系统的SVM主动学习算法，讨论了候选样本集的组成比例、候选样本集数量及核函数的不同参数选取对检测结果的影响。通过实验验证，基于SVM主动学习算法与传统SVM算法相比，能有效地减少学习样本数，提高检测精度。     

基于识别关键样本点的非平衡数据核SVM算法

非平衡数据处理中常采用的欠采样方法很少考虑支持向量机(SVM)的特性,并且在原始空间进行采样会导致多数类样本部分关键信息的丢失.针对上述问题,文中提出基于识别关键样本点的非平衡数据核SVM算法.基于初始超平面有效划分多数类样本,在高维空间中对每个分块进行核异类近邻抽样,得到多数类中的关键样本点,使用关键样本点和少数类样本训练最终核SVM分类器.在多个数据集上的实验证明文中算法的可行性和有效性,特别是在非平衡度高于10∶1的数据集上,文中算法优势明显.     

SVM-KNN分类算法研究

SVM-KNN分类算法是一种将支持向量机（SVM）分类和最近邻（NN）分类相结合的新分类方法。针对传统SVM分类器中存在的问题,该算法通过支持向量机的序列最小优化（SMO）训练算法对数据集进行训练,将距离差小于给定阈值的样本代入以每类所有的支持向量作为代表点的K近邻分类器中进行分类。在UCI数据集上的实验结果表明,该分类器的分类准确率比单纯使用SVM分类器要高,它在一定程度上不受核函数参数选择的影响,具有较好的稳健性。     

基于不同核函数的支持向量机的分析与比较

本文首先介绍了SVM的原理及各种数据分类算法,然后描述三种不同的工具箱（LS SVMLAB、OSU SVM、SVM SteveGunn）,分析不同的核函数,在此基础上,对两个数据集（Iris、LiverDisorders）进行分类,记录其分类准确率及运行时间,通过比较分析,选出一个最佳的核函数以及工具箱.结果显示,OSU SVM工具箱的分类性能是最优的.     

基于KPCA组合核函数SVM的网络危险因素识别

本文在传统的支持向量机（SVM）分类算法中采用核主成分分析（KPCA）对网络数据进行特征抽取,将高维输入特征转化为新的低维特征;并对SVM的核函数进行改进,采用多项式核函数和径向基核函数混合的组合核函数,具有良好的学习能力和外推能力。最后在KDDCUP1999数据集上进行实验,证明了本文方法能够有效的减少学习样本数及训练时间,在网络危险因素识别中具有更高的检测率和更强的泛化能力。     

基于支持向量机的网络入侵检测

将统计学习理论引人入侵检测研究中，提出了一种基于支持向量机的入侵检测方法(SVM-Based ID)．针对入侵检测所获得的高维小样本异构数据集，将SVM算法在这种异构数据集上进行推广，构造了基于异构数据集上HVDM距离定义的RBF形核函数，并基于这种核函数将有监督的C-SVM算法和无监督One-Class SVM算法用于网络连接信息数据中的攻击检测和异常发现，通过对DARPA数据的检测试验结果表明提出的方法是可行的、高效的．     

一种基于SVM的相关反馈图像检索算法

相关反馈技术是近年来图像检索中的研究热点,本文以MPEG-7的边缘直方图作为图像特征,以支持向量机（SVM）为分类器,提出一种新的相关反馈算法。在每次反馈中对用户标记的相关样本进行学习,用历次返回的结果更新训练样本集,建立SVM分类器模型,并根据模型进行检索。本文还对不同核函数的SVM进行了对比,得出RBF核函数的SVM有较高的检索精度。使用由10000幅图像组成的图像库进行实验,结果表明,该算法可有效地检索出更多的相关图像,并且在有限训练样本情况下具有良好的泛化能力。     

构造性核覆盖算法在图像识别中的应用

构造性神经网络的主要特点是：在对给定的具体数据的处理过程中,能同时给出网络的结构和参数;支持向量机就是先通过引入核函数的非线性变换,然后在这个核空间中求取最优线性分类面,其所求得的分类函数,形式上类似于一个神经网络,而构造性核覆盖算法(简称为CKCA)则是一种将神经网络中的构造性学习方法(如覆盖算法)与支持向量机(SVM)中的核函数法相结合的方法。CKCA方法具有运算量小、构造性强、直观等特点,适于处理大规模分类问题和图像识别问题。为验证CKCA算法的应用效果,利用图像质量不高的车牌字符进行了识别实验,并取得了较好的结果。     

基于DAGSVM的高炉故障诊断研究

针对高炉故障诊断智能化程度低，对操作人员技术水平要求高等不足，提出了基于支持向量机的多类分类故障诊断方法．根据统计学原理，使用核函数将样本映射到高维空间进行训练．综合各种核函数的测试准确率，得到解决该问题的最佳核函数．通过比较不同的多类分类算法，提出了基于DAGSVM的诊断模型．实验结果表明该算法具有较高的识别准确率．     

A kernel-based Adaline for function approximation

In this work the kernel Adaline algorithm is presented. The new algorithm is a generalisation of Widrow's and Hoff's linear Adaline, and allows to approximate non-linear functional relationships. Similar to the linear adaline, the proposed neural network algorithm minimises the least-mean-squared (LMS) cost function. It can be guaranteed that the kernel Adaline's cost function is always convex, therefore the method does not suffer from local optima as known in conventional neural networks. The algorithm uses potential function operators due to Aizerman and colleagues to map the training points in a first stage into a very high dimensional non-linear “feature” space. In the second stage the LMS solution in this space is determined by the algorithm. Weight decay regularisation allows to avoid overfitting effects, and can be performed efficiently. The kernel Adaline algorithm works in a sequential fashion, is conceptually simple, and numerically robust. The method shows a high performace in tasks like one dimensional curve fitting, system identification, and speech processing.     

Support vector learning for fuzzy rule-based classification systems

To design a fuzzy rule-based classification system (fuzzy classifier) with good generalization ability in a high dimensional feature space has been an active research topic for a long time. As a powerful machine learning approach for pattern recognition problems, the support vector machine (SVM) is known to have good generalization ability. More importantly, an SVM can work very well on a high- (or even infinite) dimensional feature space. This paper investigates the connection between fuzzy classifiers and kernel machines, establishes a link between fuzzy rules and kernels, and proposes a learning algorithm for fuzzy classifiers. We first show that a fuzzy classifier implicitly defines a translation invariant kernel under the assumption that all membership functions associated with the same input variable are generated from location transformation of a reference function. Fuzzy inference on the IF-part of a fuzzy rule can be viewed as evaluating the kernel function. The kernel function is then proven to be a Mercer kernel if the reference functions meet a certain spectral requirement. The corresponding fuzzy classifier is named positive definite fuzzy classifier (PDFC). A PDFC can be built from the given training samples based on a support vector learning approach with the IF-part fuzzy rules given by the support vectors. Since the learning process minimizes an upper bound on the expected risk (expected prediction error) instead of the empirical risk (training error), the resulting PDFC usually has good generalization. Moreover, because of the sparsity properties of the SVMs, the number of fuzzy rules is irrelevant to the dimension of input space. In this sense, we avoid the "curse of dimensionality." Finally, PDFCs with different reference functions are constructed using the support vector learning approach. The performance of the PDFCs is illustrated by extensive experimental results. Comparisons with other methods are also provided.     

Kernel sparse representation based classification

Sparse representation has attracted great attention in the past few years. Sparse representation based classification (SRC) algorithm was developed and successfully used for classification. In this paper, a kernel sparse representation based classification (KSRC) algorithm is proposed. Samples are mapped into a high dimensional feature space first and then SRC is performed in this new feature space by utilizing kernel trick. Since samples in the high dimensional feature space are unknown, we cannot perform KSRC directly. In order to overcome this difficulty, we give the method to solve the problem of sparse representation in the high dimensional feature space. If an appropriate kernel is selected, in the high dimensional feature space, a test sample is probably represented as the linear combination of training samples of the same class more accurately. Therefore, KSRC has more powerful classification ability than SRC. Experiments of face recognition, palmprint recognition and finger-knuckle-print recognition demonstrate the effectiveness of KSRC.     

基于混合核函数的可能性C-均值聚类算法

针对传统的模糊C-均值算法对于非球形分布的数据聚类效果不理想且易受到噪声数据的影响,利用可能性C-均值算法具有良好的抗噪声性能,将混合核函数引入到该算法中,提出了一种基于混合核函数的可能性C-均值(HKPCM)聚类算法。该算法将原空间的待分类样本映射到一个高维的特征空间(核空间)中,使得样本变得线性可分,然后在核空间中进行聚类。实验结果证实了HKPCM算法的可行性和有效性。     

核空间直觉模糊局部C-均值聚类分割算法研究

针对现有直觉模糊C-均值聚类仅适合呈团状数据的不足,采用非线性函数将数据样本从欧式空间映射至再生希尔伯特高维特征空间,得到核空间直觉模糊聚类算法;同时考虑相邻像素的相互影响,将邻域像素融入核空间直觉模糊聚类的最优化目标函数中,经数学推导便得到嵌入像素局部信息的核空间直觉模糊聚类分割算法。图像分割测试结果表明,核直觉模糊C-均值聚类分割法相比现有直觉模糊C-均值聚类分割法能获得更满意的分割效果;同时,嵌入局部信息的核直觉模糊C-均值聚类分割法表现出良好的抗噪鲁棒性。     

一种入侵检测的分类方法研究

针对传统的入侵检测算法精度低,结果稳定性差的问题,提出了一种基于构造性核函数覆盖聚类和最大化最小概率机器回归方法的入侵检测算法。首先,利用核函数覆盖将原空间的待分类样本映射到一个高维的特征空间中,使得样本变得线性可分;然后通过控制错分率实现分类的最大化,并利用最大最小概率机的高维映射泛化特性,实现了不同核函数下的数据多维分类问题。实验结果证明,该算法具有分类准确率高、稳定性好的特点。     

贪婪核主元模糊神经网络在转炉炼钢终点预报中的应用

本文提出基于核思想和贪婪算法的主元模糊神经网络模型,用来进一步提高转炉终点碳含量和 温度预报模型的精度．采用核函数把输入变量向高维特征空间映射以充分挖掘变量的隐藏信息,经贪婪算法 优化选取主元,除去变量的冗余信息,降低输入维数．将提取的主元输入自适应神经模糊推理系统后,网络 以规则的形式来反映数据间蕴含的关系;以此模拟操作工经验,减少经验差异带来的影响．对转炉生产实测 数据进行了仿真,结果表明该模型是有效的．