基于支持向量机的直接逆模型辨识

在简单讨论逆模型辨识原理的基础上,利用支持向量机(SVM)对函数逼近的能力,提出了基于支持向量机的直接逆模型辨识方法.分别采用二次核函数以及高斯RBF核函数,利用训练数据对线性和非线性系统进行黑箱辨识.仿真结果表明,基于支持向量机的直接逆模型辨识方法在处理线性和非线性对象时,辨识性能都优于传统的BP神经网络,不仅辨识精度高,辨识速度快,而且泛化能力较强.     

构造性核覆盖算法在图像识别中的应用

构造性神经网络的主要特点是：在对给定的具体数据的处理过程中,能同时给出网络的结构和参数;支持向量机就是先通过引入核函数的非线性变换,然后在这个核空间中求取最优线性分类面,其所求得的分类函数,形式上类似于一个神经网络,而构造性核覆盖算法(简称为CKCA)则是一种将神经网络中的构造性学习方法(如覆盖算法)与支持向量机(SVM)中的核函数法相结合的方法。CKCA方法具有运算量小、构造性强、直观等特点,适于处理大规模分类问题和图像识别问题。为验证CKCA算法的应用效果,利用图像质量不高的车牌字符进行了识别实验,并取得了较好的结果。     

Fuzzy System Learned Through Fuzzy Clustering and Support Vector Machine for Human Skin Color Segmentation

This paper proposes a Fuzzy System learned through Fuzzy Clustering and Support Vector Machine (FS-FCSVM). The FS-FCSVM is a fuzzy system constructed by fuzzy if-then rules with fuzzy singletons in the consequence. The structure of FS-FCSVM is constructed by fuzzy clustering on the input data, which helps to reduce the number of rules. Parameters in FS-FCSVM are learned through a support vector machine (SVM) for the purpose of achieving higher generalization ability. In contrast to nonlinear kernel-based SVM or some other fuzzy systems with a support vector learning mechanism, both the number of parameters/rules in FS-FCSVM and the computation time are much smaller. FS-FCSVM is applied to skin color segmentation. For color information representation, different types of features based on scaled hue and saturation color space are used. Comparisons with a fuzzy neural network, the Gaussian kernel SVM, and mixture of Gaussian classifiers are performed to show the advantage of FS-FCSVM.     

基于多微商核函数的SVM话者确认

给出了一种基于多微商核函数(MDK)的结合高斯混合模型(GMM)和支持向量机(SVM)的方法,并应用于SVM文本无关话者确认。从GMM话者语音特征概率分布出发,用多阶微商描述GMM概率分布,将GMM和SVM结合的问题转化为用多阶微商建立SVM话者模型的问题。首先对说话人语音进行基于因子分析的参数域失配补偿,用GMM描述失配补偿后的话者语音特征的概率分布;然后对GMM求多阶微商;最后构建多微商核函数,建立多SVM话者模型。在NIST’01 2min-1min话者确认数据库上的实验表明,基于多微商核函数的SVM话者确认系统性能优于基于失配补偿的GMM系统,也比基于失配补偿的Fisher核函数SVM话者系统和基于失配补偿的Kullback-Leibler(KL)距离SVM话者系统有较大的提高。     

Multiple kernel learning using single stage function approximation for binary classification problems

In this paper, the multiple kernel learning (MKL) is formulated as a supervised classification problem. We dealt with binary classification data and hence the data modelling problem involves the computation of two decision boundaries of which one related with that of kernel learning and the other with that of input data. In our approach, they are found with the aid of a single cost function by constructing a global reproducing kernel Hilbert space (RKHS) as the direct sum of the RKHSs corresponding to the decision boundaries of kernel learning and input data and searching that function from the global RKHS, which can be represented as the direct sum of the decision boundaries under consideration. In our experimental analysis, the proposed model had shown superior performance in comparison with that of existing two stage function approximation formulation of MKL, where the decision functions of kernel learning and input data are found separately using two different cost functions. This is due to the fact that single stage representation helps the knowledge transfer between the computation procedures for finding the decision boundaries of kernel learning and input data, which inturn boosts the generalisation capacity of the model.     

Data representations and generalization error in kernel based learning machines

This paper focuses on the problem of how data representation influences the generalization error of kernel based learning machines like support vector machines (SVM) for classification. Frame theory provides a well founded mathematical framework for representing data in many different ways. We analyze the effects of sparse and dense data representations on the generalization error of such learning machines measured by using leave-one-out error given a finite amount of training data. We show that, in the case of sparse data representations, the generalization error of an SVM trained by using polynomial or Gaussian kernel functions is equal to the one of a linear SVM. This is equivalent to saying that the capacity of separating points of functions belonging to hypothesis spaces induced by polynomial or Gaussian kernel functions reduces to the capacity of a separating hyperplane in the input space. Moreover, we show that, in general, sparse data representations increase or leave unchanged the generalization error of kernel based methods. Dense data representations, on the contrary, reduce the generalization error in the case of very large frames. We use two different schemes for representing data in overcomplete systems of Haar and Gabor functions, and measure SVM generalization error on benchmarked data sets.     

基于模糊时序和支持向量机的高速公路SO2浓度预测算法

针对现有SO₂浓度预测方法中存在的污染物来源和影响因素认识不统一、小样本数据敏感、易于陷入局部最优等问题,文中提出了基于模糊时序和支持向量机的高速公路SO₂浓度预测算法,为搭建高速公路环境健康监测系统提供了可靠的理论支持.该方法依据SO₂浓度的季节变动规律,以季节作为时间序列,以24h为粒化窗宽,通过高斯核函数提取原始样本数据的特征值,输入支持向量机训练模型,并利用k重交叉验证法结合网格划分优化模型参数.文中应用该方法建立了SO₂浓度预测模型,并以2014年4月至2015年3月山西省太旧高速公路某监测点SO₂小时浓度监测值为样本数据,在MATLAB平台下应用LIBSVM工具实现了计算过程.结果表明,基于模糊时序和支持向量机的高速公路SO₂浓度预测算法不受机理性理论研究的限制,支持小样本学习,非线性拟合效果好,泛化能力强.     

基于小波核LS—SVM的网络流量预测

网络流量预测对大规模网络管理、规划、设计具有重要意义。支持向量机方法是近年来发展起来的新型机器学习算法,用于解决高度非线性分类及回归问题。介绍了基于小波核最小二乘支持向量机的网络流量预测方法,利用小波核函数的多分辨特性提高了支持向量机的非线性建模能力。通过对实测网络流量数据的学习,对未来网络流量进行预测。实验结果表明,取得了较好的预测效果。     

NAP序列核函数在话者识别中的应用

针对话者识别系统中特征向量不定长和交叉信道干扰等问题,提出一种基于超向量的扰动属性投影(NAP)核函数。该函数是一种新型的序列核函数,使支持向量机能在整体语音序列上分类,移除核函数空间中与话者识别无关的信道子空间信息。仿真实验结果表明,该函数可有效提高支持向量机的分类性能和话者识别系统的识别准确率。     

基于SVM-MLP的乳腺癌预测

乳腺癌一直是影响女性健康最重要的问题之一,已经成为全球女性发病率最高的恶性肿瘤。近年来,利用机器学习和深度学习方法来诊断癌症已经成为发展较快的一个分支。通过使用逻辑回归模型(LR)、高斯核函数支持向量机(SVM)、前馈神经网络(MLP)对同一数据集进行预测,得出其中SVM迭代时间最短,前馈神经网络预测准确率最高。为了减少前馈神经网络的迭代时间,提出了基于SVM优化的前馈神经网络分类乳腺癌模型,实验结果表明:基于SVM优化后的前馈神经网络模型与Logistic模型、传统SVM模型相比具有更高的分类准确率,且迭代时间相对减少。     

模糊多核支持向量机研究进展

模糊多核支持向量机将模糊支持向量机与多核学习方法结合,通过构造隶属度函数和利用多个核函数的组合形式有效缓解了传统支持向量机模型对噪声数据敏感和多源异构数据学习困难等问题,广泛应用于模式识别和人工智能领域.综述了模糊多核支持向量机的理论基础及其研究现状,详细介绍模糊多核支持向量机中的关键问题,即模糊隶属度函数设计与多核学习方法,最后对模糊多核支持向量机算法未来的研究进行展望.     

网络入侵检测中的自动决定聚类数算法

针对模糊C均值算法(fuzzy C-means algorithm,简称FCM)在入侵检测中需要预先指定聚类数的问题,提出了一种自动决定聚类数算法(fuzzy C-means and support vector machine algorithm,简称F-CMSVM).它首先用模糊C均值算法把目标数据集分为两类,然后使用带有模糊成员函数的支持向量机(support vector machihe,简称SVM)算法对结果进行评估以确定目标数据集是否可分,再迭代计算,最终得到聚类结果.支持向量机算法引入模糊C均值算法得出的隶属矩阵作为模糊成员函数,使得不同的输入样本可以得到不同的惩罚值,从而得到最优的分类超平面.该算法既不需要对训练数据集进行标记,也不需要指定聚类数,因此是一种真正的无监督算法.在对KDD CUP 1999数据集的仿真实验结果表明,该算法不仅能够得到最佳聚类数,而且对入侵有较好的检测效果.     

Recognition of control chart patterns using fuzzy SVM with a hybrid kernel function

Accurate control chart patterns recognition (CCPR) plays an essential role in the implementation of control charts. However, it is a challenging problem since nonrandom control chart patterns (CCPs) are normally distorted by “common process variations”. In this paper, a novel method of CCPR by integrating fuzzy support vector machine (SVM) with hybrid kernel function and genetic algorithm (GA) is proposed. Firstly, two shape features and two statistical features that do not depend on the distribution parameters and number of samples are presented to explicitly describe the characteristics of CCPs. Then, a novel multiclass method based on fuzzy SVM with a hybrid kernel function is proposed. In this method, the influence of outliers on classification accuracy of SVM-based classifiers is weakened by assigning a degree of membership for every training sample. Meanwhile, a hybrid kernel function combining Gaussian kernel and polynomial kernel is adopted to further enhance the generalization ability of the classifiers. To solve the issue of features selection and parameters optimization, GA is used to simultaneously optimize the input features subsets and parameters of fuzzy SVM-based classifier. Finally, several simulation experiments and a real example are addressed to validate the feasibility and effectiveness of the proposed methodology. And the results of simulation experiments demonstrate that it can achieve excellent performance for CCPR and outperforms other approaches, such as learning vector quantization network, multi-layer perceptron network, probability neural network, fuzzy clustering and SVM, in term of recognition accuracy. The results of the practical cases manifest that the proposed method has application potential for solving the problem of control chart interpretation in real-world.     

高斯核支持向量机分类和模型参数选择研究

支持向量机(SupportVectorMachine,SVM)是近几年发展起来的机器学习新方法,以高斯核为核函数的支持向量机在实际应用中表现出良好的学习性能,被广泛应用于模式分类中。论文研究了高斯核支持向量机分类在IRIS分类问题上的应用,并结合结构风险最小化原则分析了误差惩罚参数C和高斯核宽度σ对SVM性能的影响,最后通过数值实验进一步分析了这种影响。     

支持向量机在模式识别中的核函数特性分析

支持向量机是20世纪90年代中期发展起来的一种机器学习技术,与传统人工神经网络不同之处在于前者基于结构风险最小化原理,后者基于经验风险最小化原理。支持向量机不仅结构简单,而且技术性能尤其是泛化能力与BP神经网络相比有明显提高。讨论了支持向量机的分类原理,并用多项式函数、径向基函数和感知机函数等3种核函数作为内积回旋,分别以平面点集分类、手写体汉字识别及双螺旋线识别为例,在不同的结构参数下进行了仿真实验,并对3种核函数的分类特性进行了对比分析,给出了在不同模式识别问题中3种核函数的选择条件。     

基于支持向量机的网络入侵检测

将统计学习理论引人入侵检测研究中，提出了一种基于支持向量机的入侵检测方法(SVM-Based ID)．针对入侵检测所获得的高维小样本异构数据集，将SVM算法在这种异构数据集上进行推广，构造了基于异构数据集上HVDM距离定义的RBF形核函数，并基于这种核函数将有监督的C-SVM算法和无监督One-Class SVM算法用于网络连接信息数据中的攻击检测和异常发现，通过对DARPA数据的检测试验结果表明提出的方法是可行的、高效的．     

组合核函数SVM在网络安全风险评估中的应用

核函数是SVM的关键技术,核函数的选择将影响着支持向量机的学习能力和泛化能力。各个普通核函数各有利弊,在分析各个普通核函数的基础上,采用了一种新的组合核函数,它既具有很好的泛化能力,也具有很好的学习能力,并将其构造的支持向量机应用到网络安全的风险评估中,与普通核函数构造的支持向量机的评估效果进行比较。结果表明组合核函数支持向量机不仅提高了分类速度,而且具有较高的分类精度。     

基于类内方差归一化和SVM的说话人识别方法

支持向量机（SVM）由于其强大的分类能力,引起人们广泛的重视,并且成功地应用于说话人识别。其中基于GLDS核的SVM系统性能比较优异。引入类内方差归一化（WCCN）方法来处理SVM的输入特征向量,并和GLDS核相结合,提出一种基于类内方差归一化和SVM的说话人识别方法。该方法利用WCCN方法对SVM的输入特征向量进行变换,增强特征向量的类间区分能力,再采用GLDS核函数进行SVM的训练,以提高SVM的分类效果。实验表明,新方法是有效的,其性能优于基于GLDS核的SVM系统。     

支持向量的信息冗余和SVM改进方法

在研究RBF核函数的几何特性和分析SVM数据依赖性改进方法的基础上,提出了支持向量携带数据冗余信息的论点。冗余信息掩盖了所研究对象的特征,影响SVM的性能。基于黎曼几何的SVM数据依赖性改进方法能够剔除支持向量携带的冗余信息,改进SVM的性能。理论分析和实验研究表明,该方法能够有效提高SVM的分类能力和分类速度。     

高斯小波支持向量机的研究

证明了偶数阶高斯小波函数满足支持向量机的平移不变核函数条件．应用小波核函数建立了相应的高斯小波支持向量机,并且使用云遗传算法对支持向量机及其核函数的参数进行优化．用该算法与常用的高斯核和Morlet小波核支持向量机进行对比实验．通过对非线性函数的逼近和电力系统短期负荷的预测,验证了该算法的有效性和优越性,表明其具有一定的实用价值．