组合核函数SVM在特定领域文本分类中的应用

面向特定领域文本分类的实际应用,存在大量样本相互掺杂的现象,使其无法线性表述,在SVM中引入核函数可以有效地解决非线性分类的问题,而选择不同的核函数可以构造不同的SVM,其识别性能也不同,因此,选择合适的核函数及其参数优化成为SVM的关键.本文基于单核核函数的性质,对多项式核函数与径向基核函数进行线性加权,构建具有良好的泛化能力与良好的学习能力的组合核函数.仿真实验结果表明,在选择正确参数的情况下,组合核函数SVM的宏平均准确率、宏平均召回率及宏平均综合分类率都明显优于线性核、多项式核与径向基核,而且能够兼顾准确率与召回率.     

GMM-UBM和SVM在说话人识别中的应用

针对说话识别领域短语音导致的训练数据不充分的问题,选择能够突出说话人个性特征的GMM-UBM作为基线系统模型,并引入SVM解决GMM-UBM导致的系统鲁棒性差的问题. 选择不同的核函数对SVM的识别性能有较大的影响,针对多项式核函数泛化能力较强、学习能力较差与径向基核函数学习能力较强、泛化能力较差的特性,对两种单核核函数进行线性加权组合,以使组合核函数兼具各单核的优点. 仿真实验结果表明,组合核函数SVM的识别率和等错误率明显优于不引入SVM的GMM-UBM的基线系统及其它三个单核函数,并在不同信噪比情况下也兼顾了系统识别准确率与鲁棒性.     

组合核函数SVM在说话人识别中的应用

针对说话人识别实际应用中训练数据不足的问题,选取GMM-UBM作为基准系统模型,用EigenVoice对其作自适应,应用泛化能力较强的多项式核函数和学习能力较强的径向基核函数进行线性加权组合后的组合核函数进行模型参数优化,并用多重网格搜索法确定核函数的最优参数,采用DAG方法实现SVM核函数的多元分类.在仿真实验中评估了线性核、多项式核、径向基核以及组合核函数,实验结果表明,在采用正确的参数前提下,在不同的多分类策略、自适应时间、信噪比和不同的说话人数量的情况下,组合核函数的识别性能明显都优于其它三个单核函数.     

用于说话人识别支持向量机模型的核函数选择

支持向量机(SVM)已广泛地应用于文本无关的说话人辨认系统,不同的核函数影响识别性能。基于此,在TIMIT语料库上对线性核、多项式核以及径向基核进行了对比实验。实验表明多项式核在多项式次数等于6的情况下具有最佳的识别性能,其识别率可以达到82.88%。     

Web页面中数据表的识别方法研究

为提高Web数据表识别的准确性,提出一种基于支持向量机与混合核函数的数据表识别方法。给出表格的结构特征、内容特征以及行(列)相似特征,将多项式核函数和线性核函数组成混合核函数,利用其进行Web数据表的自动识别。实验结果表明,该方法在7个站点上,准确率和召回率的平均值为95.14%和95.69%。     

SVM与规则相结合的中文地名自动识别

在分析中文文本中地名特点的基础上,提出了一种支持向量机(SVM)与规则相结合的中文地名自动识别方法:按字抽取特征向量的属性,然后将这些属性转换成二进制向量并建立训练集,采用多项式Kernel函数,得到SVM识别地名的机器学习模型;通过对错误识别结果的分析,构建规则库对识别结果进行后处理,弥补了机器学习模型获取知识不够全面导致召回率偏低的不足。实验表明,用SVM与规则相结合的机制识别中文文本中的地名是有效的:系统开式召回率、精确率和F-值分别达89.57%、93.52%和91.50%。     

一种改进的多项式核支持向量机文本分类器 *

多项式核函数由于具有良好的泛化性能而受到重视,并被研究用于文本分类问题。针对多项式核学习 能力较差的缺点,将学习能力较强的条件正定核与多项式核构成一个混合核函数作为改进的多项式核。实验表 明,改进的多项式核SVM文本分类器的分类效果要好于多项式核SVM文本分类器。     

基于混合核函数PSO-SVM的初期肝病患者辨识模型研究

以肝脏病人为例,提出将PSO-SVM分类模型用于识别肝病患者.针对单核函数SVM的局限性和改善SVM分类器的非线性处理能力和泛化能力的问题,提出将全局核函数和局部核函数结合的混合核函数应用到SVM模型建模中.然后通过PSO算法对SVM模型的参数寻优,最后利用混合核分类器对与肝功能相关的9种指标进行分类并识别初期肝病患者.该实验结果证明该模型对初期肝病患者的辨识有很好的准确率,可以为医生的诊断提供重要的辅助手段和对患者尤其是初期肝病患者及时发现、及时治疗.     

基于KPCA组合核函数SVM的网络危险因素识别

本文在传统的支持向量机（SVM）分类算法中采用核主成分分析（KPCA）对网络数据进行特征抽取,将高维输入特征转化为新的低维特征;并对SVM的核函数进行改进,采用多项式核函数和径向基核函数混合的组合核函数,具有良好的学习能力和外推能力。最后在KDDCUP1999数据集上进行实验,证明了本文方法能够有效的减少学习样本数及训练时间,在网络危险因素识别中具有更高的检测率和更强的泛化能力。     

基于近似高斯核显式描述的大规模SVM求解

大规模数据集上非线性支持向量机(support vector machine,SVM)的求解代价过高,然而对于线性SVM却存在高效求解算法.为了应用线性SVM高效求解算法求解非线性SVM,并保证非线性SVM的精确性,提出一种基于近似高斯核显式描述的大规模SVM求解方法.首先,定义近似高斯核并建立其与高斯核的关系,推导近似高斯核与高斯核的偏差上界.然后给出近似高斯核对应的再生核希尔伯特空间(reproducing kernel Hilbert space,RKHS)的显式描述,由此可精确刻画SVM解的结构,增强SVM方法的可解释性.最后显式地构造近似高斯核对应的特征映射,并将其作为线性SVM的输入,从而实现了用线性SVM算法高效求解大规模非线性SVM.实验结果表明,所提出的方法能提高非线性SVM的求解效率,并得到与标准非线性SVM相近的精确性.     

Design of semi-tensor product-based kernel function for SVM nonlinear classification

The kernel function method in support vector machine (SVM) is an excellent tool for nonlinear classification. How to design a kernel function is difficult for an SVM nonlinear classification problem, even for the polynomial kernel function. In this paper, we propose a new kind of polynomial kernel functions, called semi-tensor product kernel (STP-kernel), for an SVM nonlinear classification problem by semi-tensor product of matrix (STP) theory. We have shown the existence of the STP-kernel function and verified that it is just a polynomial kernel. In addition, we have shown the existence of the reproducing kernel Hilbert space (RKHS) associated with the STP-kernel function. Compared to the existing methods, it is much easier to construct the nonlinear feature mapping for an SVM nonlinear classification problem via an STP operator.     

组合核支持向量机的模式分析新方法

基于支持向量机核函数的条件,将Sobolev Hilbert空间的再生核函数和多项式核函数进行有效的线性组合,给出一种新的支持向量机的组合核函数,提出一种基于再生核的组合核函数支持向量机的模式分析方法,该方法兼具了全局核函数与局部核函数的优点,且算法的复杂度被降低。仿真实验结果表明：支持向量机的核函数采用基于再生核的组合核函数是可行的,且此核函数不仅具有核函数的非线性映射特征,而且也继承了核函数对非线性逐级精细逼近的特征,模式分析的效果比单核函数可以更加细腻。     

基于支持向量机的直接逆模型辨识

在简单讨论逆模型辨识原理的基础上,利用支持向量机(SVM)对函数逼近的能力,提出了基于支持向量机的直接逆模型辨识方法.分别采用二次核函数以及高斯RBF核函数,利用训练数据对线性和非线性系统进行黑箱辨识.仿真结果表明,基于支持向量机的直接逆模型辨识方法在处理线性和非线性对象时,辨识性能都优于传统的BP神经网络,不仅辨识精度高,辨识速度快,而且泛化能力较强.     

Face recognition using Gabor-based direct linear discriminant analysis and support vector machine

This paper presents a novel and uniform framework for face recognition. This framework is based on a combination of Gabor wavelets, direct linear discriminant analysis (DLDA) and support vector machine (SVM). First, feature vectors are extracted from raw face images using Gabor wavelets. These Gabor-based features are robust against local distortions caused by the variance of illumination, expression and pose. Next, the extracted feature vectors are projected to a low-dimensional subspace using DLDA technique. The Gabor-based DLDA feature vectors are then applied to SVM classifier. A new kernel function for SVM called hyperhemispherically normalized polynomial (HNP) is also proposed in this paper and its validity on the improvement of classification accuracy is theoretically proved and experimentally tested for face recognition. The proposed algorithm was evaluated using the FERET database. Experimental results show that the proposed face recognition system outperforms other related approaches in terms of recognition rate.     

基于多项式核RVM的非线性模型预测控制

针对非线性、不确定性对象不易建模的特点,提出了基于多项式核关联向量机(RVM)的解析型非线性预测控制方法,该方法采用多项式核RVM进行模型辨识,得到的对象模型作为预测模型。由于RVM具有较好的非线性建模能力,弥补了SVM参数设定难和稀疏性不强等弱点;同时,多项式形式的模型表达式使二次型优化目标函数可以通过函数解析方法求得最优控制输入,即简化了滚动优化模块,增强了控制的实时性。通过对一个标准的非线性Benchmark问题进行仿真实验,结果表明该方法具有良好的控制性能。     

An enhanced Support Vector Machine classification framework by using Euclidean distance function for text document categorization

This paper presents the implementation of a new text document classification framework that uses the Support Vector Machine (SVM) approach in the training phase and the Euclidean distance function in the classification phase, coined as Euclidean-SVM. The SVM constructs a classifier by generating a decision surface, namely the optimal separating hyper-plane, to partition different categories of data points in the vector space. The concept of the optimal separating hyper-plane can be generalized for the non-linearly separable cases by introducing kernel functions to map the data points from the input space into a high dimensional feature space so that they could be separated by a linear hyper-plane. This characteristic causes the implementation of different kernel functions to have a high impact on the classification accuracy of the SVM. Other than the kernel functions, the value of soft margin parameter, C is another critical component in determining the performance of the SVM classifier. Hence, one of the critical problems of the conventional SVM classification framework is the necessity of determining the appropriate kernel function and the appropriate value of parameter C for different datasets of varying characteristics, in order to guarantee high accuracy of the classifier. In this paper, we introduce a distance measurement technique, using the Euclidean distance function to replace the optimal separating hyper-plane as the classification decision making function in the SVM. In our approach, the support vectors for each category are identified from the training data points during training phase using the SVM. In the classification phase, when a new data point is mapped into the original vector space, the average distances between the new data point and the support vectors from different categories are measured using the Euclidean distance function. The classification decision is made based on the category of support vectors which has the lowest average distance with the new data point, and this makes the classification decision irrespective of the efficacy of hyper-plane formed by applying the particular kernel function and soft margin parameter. We tested our proposed framework using several text datasets. The experimental results show that this approach makes the accuracy of the Euclidean-SVM text classifier to have a low impact on the implementation of kernel functions and soft margin parameter C.