一种新的混合核函数支持向量机

针对单核函数支持向量机性能的局限性问题,提出将sigmoid核函数与高斯核函数组成一种新的混合核函数支持向量机.高斯核是典型的局部核;sigmoid核在神经网络中被证明具有良好的全局分类性能.新混合核函数结合二者的优点,其支持向量机的分类性能优于由单核函数构成的支持向量机,实验结果表明该方法的有效性.     

组合核函数相关向量机的网络安全态势预测

为了提高网络安全态势的预测精度,针对单一核函数的局限性,提出一种组合核函数相关向量机的网络安全态势预测模型。首先对网络安全态势时间序列进行重新构造,得到相关向量机的学习样本,然后采用多项式和高斯核函数构建组合核函数,并采用组合核函数相关向量机对网络安全态势样本进行学习,建立网络安全态势预测模型,最后对网络安全态势预测性能进行测试。实验结果表明,相对于单一核函数相关向量机以及其它网络安全态势预测模型,组合核函数相关向量机提高了网络安全态势的预测准确性,可以满足网络安全态势预测的实际应用需求     

基于改进核主元和支持向量数据描述故障检测

提出基于改进核主元和支持向量数据描述(SVDD)故障检测方法,适合于复杂工业过程具有非线性和非高斯性的情况.首先,通过对核主元(KPCA)特征空间样本进行重构误差,在样本集上自动识别异常值,减少对KPCA算法的影响并增强非线性核映射.然后,利用支持向量数据描述算法处理数据非高斯信号,据此构建统计量对工业过程进行检测.最后,将所提出的改进核主元和支持向量数据描述方法应用于田纳西-伊斯曼(TE,Tennessee Eastman)过程的仿真实验,结果说明提出方法的有效性.     

高斯小波支持向量机的研究

证明了偶数阶高斯小波函数满足支持向量机的平移不变核函数条件．应用小波核函数建立了相应的高斯小波支持向量机,并且使用云遗传算法对支持向量机及其核函数的参数进行优化．用该算法与常用的高斯核和Morlet小波核支持向量机进行对比实验．通过对非线性函数的逼近和电力系统短期负荷的预测,验证了该算法的有效性和优越性,表明其具有一定的实用价值．     

一种核正交局部敏感辨别分析算法

为了发掘嵌入在人脸样本的非线性结构信息,把核方法和基向量正交化思想引入局部敏感分析算法中,提出一种新的人脸识别算法-核正交局部敏感辨别分析(Kernel based Orthogonal Locality Sensitive Discriminant Analysis).并给出了算法的推导过程及计算步骤.首先用核方法提取人脸样本的非线性信息,并将其投影至高维非线性空间,然后采用局部敏感辨别分析做线性映射,最后采用施密特正交化方法得到正交的基向量,从而使算法更好地描述人脸非线性流形结构特征.在ORL和YaleB人脸库的人脸识别实验证明了所提算法的有效性.     

基于CSO-RVM的瓦斯涌出量预测模型研究

为了实时监测和精准预测煤矿回采工作面绝对瓦斯涌出量,提出猫群算法(CSO)优化相关支持向量机(RVM)的绝对瓦斯涌出量预测方法.相关向量机的组合核函数可实现多特征空间的信息融合,为有限样本、高维数瓦斯涌出量预测建模问题提供一种行之有效的方法.并用CSO算法对RVM瓦斯涌出量预测模型的核函数权重p和高斯核参数σ快速寻优.利用矿井无线传感器网络检测到的各项历史数据试验.结果表明,相比BP、SVM算法,该耦合模型有效提高了预测精度,具有更好的泛化能力,为矿井瓦斯预测提供理论支持.     

基于近似高斯核显式描述的大规模SVM求解

大规模数据集上非线性支持向量机(support vector machine,SVM)的求解代价过高,然而对于线性SVM却存在高效求解算法.为了应用线性SVM高效求解算法求解非线性SVM,并保证非线性SVM的精确性,提出一种基于近似高斯核显式描述的大规模SVM求解方法.首先,定义近似高斯核并建立其与高斯核的关系,推导近似高斯核与高斯核的偏差上界.然后给出近似高斯核对应的再生核希尔伯特空间(reproducing kernel Hilbert space,RKHS)的显式描述,由此可精确刻画SVM解的结构,增强SVM方法的可解释性.最后显式地构造近似高斯核对应的特征映射,并将其作为线性SVM的输入,从而实现了用线性SVM算法高效求解大规模非线性SVM.实验结果表明,所提出的方法能提高非线性SVM的求解效率,并得到与标准非线性SVM相近的精确性.     

一种支持向量机的混合核函数

核函数是支持向量机的核心,不同的核函数将产生不同的分类效果.由于普通核函数各有其利弊,为了得到学习能力和泛化能力较强的核函数,根据核函数的基本性质,两个核函数之和仍然是核函数,将局部核函数和全局核函数线性组合构成新的核函数--混合核函数.该核函数吸取了局部核函数和全局核函数的优点.利用混合核函数进行流程企业供应链预测实验,仿真结果验证了该核函数的有效性和正确性.     

通过全局核降低高斯核的局部风险与基于遗传算法的两阶段模型选择

支持向量分类时,由于样本分布的不均匀性,单宽度的高斯核会在空间的稠密区域产生过学习现象,在稀疏区域产生欠学习现象,即存在局部风险.针对于此,构造了一个全局性次核来降低高斯核产生的局部风险.形成的混合核称为主次核.利用幂级数构造性地给出并证明了主次核的正定性条件,进一步提出了基于遗传算法的两阶段模型选择算法来优化主次核的参数.实验验证了主次核和模型选择法的优越性.     

复高斯小波核函数的支持向量机研究

针对基于常用核函数的支持向量机在非线性系统参数辨识及预测方面的不足之处,构建了一种新的核函数——复高斯小波函数核函数。首先证明了新构建的核函数的正确性,即满足Mercy条件,表明其可以作为核函数;然后构建基于该核函数的支持向量机,并将该支持向量机用于非线性系统的辨识和未知部分的预测。通过与常用核函数构建的支持向量机的仿真结果进行对比,验证了该方法的正确性和有效性。     

基于统计检验的核函数度量方法研究

将统计检验方法应用于核函数度量.以核函数、规范化核函数、中心化核函数和核距离作为样本在特征空间中的几何关系度量,使用t检验和F检验等7种统计检验方法检验特征空间中同类样本间几何关系度量值与异类样本间几何关系度量值的分布差异,以此反映特征空间中同类样本间内聚性与异类样本间分离性间的差异.在11个UCI数据集上进行的核函数选择实验表明,基于统计检验的核度量方法达到或超过了核校准与特征空间核度量标准等方法的效果,适用于核函数度量;并且发现两类数据分布差异主要体现在了方差差异上.此外,对核函数的处理(规范化或中心化)会改变特征空间,使得度量结果失真.     

一种基于样本加权的多尺度核支持向量机方法

多核学习方法是机器学习领域中的一个新的热点。核方法通过将数据映射到高维空间来增加线性分类器的计算能力,是目前解决非线性模式分析与分类问题的一种有效途径。但是在一些复杂的情况下,单个核函数构成的核学习方法并不能完全满足如数据异构或者不规则、样本规模大、样本分布不平坦等实际应用中的需求问题,因此将多个核函数进行组合以期获得更好的结果,是一种必然的发展趋势。因此提出一种基于样本加权的多尺度核支持向量机方法,通过不同尺度核函数对样本的拟合能力进行加权,从而得到基于样本加权的多尺度核支持向量机决策函数。通过在多个数据集上的实验分析可以得出所提方法对于各个数据集都获得了很高的分类准确率。     

基于字典学习的核稀疏表示人脸识别方法

受Metafaces方法的启发,提出一种基于字典学习方法的核稀疏表示方法并成功应用于人脸识别。首先,采用核技术将稀疏表示方法推广到高维空间得到核稀疏表示方法。其次,借鉴Metaface字典学习方法,进行字典学习得到一组核基向量构成核稀疏表示字典。最后,利用学习得到的核字典基重构样本,并根据样本与重构样本之间的残差最小原则对人脸图像进行分类。在AR、ORL和Yale人脸数据库上的实验表明该方法的良好识别性能。     

一种基于Morlet小波核的约简支持向量机

针对支持向量机（SVM）的训练数据量仅局限于较小样本集的问题,结合Morlet小波核函数,提出了一种基于Morlet小波核的约倚支持向量机（MWRSVM—DC）．算法的核心是通过密度聚类寻找聚类中每个簇的边缘点作为约倚集合,并利用该约倚集合寻找支持向量．实验表明,利用小波核,该算法不仅提高了分类的准确率,而且提高了整体分类效率．     

基于多种核函数的SVM在垃圾邮件过滤中的应用

采用TF-IDF和Bernoulli两种模型构造邮件向量,首先详细测试了CHI降维策略对线性支持向量机进行邮件分类的影响。将基于核函数的支持向量机引入到垃圾邮件过滤中,对基于线性核、多项式核和径向基核的支持向量机在邮件分类中的准确率和训练时间进行了比较,分析了训练样本不平衡对分类的影响,并从理论上对实验结果进行了分析,实验结果证明基于径向基核函数的SVM分类器对垃圾邮件有较好的过滤效果。     

A novel approach to estimate proximity in a random forest: An exploratory study

A data proximity matrix is an important information source in random forests (RF) based data mining, including data clustering, visualization, outlier detection, substitution of missing values, and finding mislabeled data samples. A novel approach to estimate proximity is proposed in this work. The approach is based on measuring distance between two terminal nodes in a decision tree. To assess the consistency (quality) of data proximity estimate, we suggest using the proximity matrix as a kernel matrix in a support vector machine (SVM), under the assumption that a matrix of higher quality leads to higher classification accuracy. It is experimentally shown that the proposed approach improves the proximity estimate, especially when RF is made of a small number of trees. It is also demonstrated that, for some tasks, an SVM exploiting the suggested proximity matrix based kernel, outperforms an SVM based on a standard radial basis function kernel and the standard proximity matrix based kernel.     

Fast kernel Fisher discriminant analysis via approximating the kernel principal component analysis

Kernel Fisher discriminant analysis (KFDA) extracts a nonlinear feature from a sample by calculating as many kernel functions as the training samples. Thus, its computational efficiency is inversely proportional to the size of the training sample set. In this paper we propose a more approach to efficient nonlinear feature extraction, FKFDA (fast KFDA). This FKFDA consists of two parts. First, we select a portion of training samples based on two criteria produced by approximating the kernel principal component analysis (AKPCA) in the kernel feature space. Then, referring to the selected training samples as nodes, we formulate FKFDA to improve the efficiency of nonlinear feature extraction. In FKFDA, the discriminant vectors are expressed as linear combinations of nodes in the kernel feature space, and the extraction of a feature from a sample only requires calculating as many kernel functions as the nodes. Therefore, the proposed FKFDA has a much faster feature extraction procedure compared with the naive kernel-based methods. Experimental results on face recognition and benchmark datasets classification suggest that the proposed FKFDA can generate well classified features.     

基于神经网络的快速核子空间人脸识别算法研究

针对现有核子空间人脸识别算法计算量大且速度缓慢的现状,提出了一种基于神经网络的快速核子空间人脸识别算法模型,利用神经网络的隐含层神经元将核特征子空间的基表示进行约减,从而大幅提高了识别速度。进而基于KPCA和KFDA两种核子空间人脸识别算法,建立了神经网络逼近模型,并基于ORL、UMIST和YALE 3种人脸数据库进行了实证分析。实验结果表明,当隐含层神经元个数设置为训练样本总数一半或更少时,基于神经网络的快速核子空间算法能够取得相近甚至相当于核子空间算法的识别率。从而在满足一定识别正确率的条件下,能将识别时间缩短到50%甚至更低。     

一种基于标签传播的半监督核学习算法

一个好的核函数能提升机器学习模型的有效性,但核函数的选择并不容易,其与问题背景密切相关,且依赖于领域知识和经验。核学习是一种通过训练数据集寻找最优核函数的机器学习方法,能通过有监督学习的方式寻找到一组基核函数的最优加权组合。考虑到训练数据集获取标签的代价,提出一种基于标签传播的半监督核学习方法,该方法能够同时利用有标签数据和无标签数据进行核学习,通过半监督学习中被广泛使用的标签传播方法结合和谐函数获得数据集统一的标签分布。在UCI数据集上对提出的算法进行性能评估,结果表明该方法是有效的。     

核聚类快速后向传播算法

后向传播神经网络算法是一种经典的分类算法,但是通常该算法训练时间较长。针对这种不足,提出了一种基于核聚类的快速后向传播算法。利用核聚类将原始样本划分为多个簇,对每一个簇计算簇中心样本,利用所有的簇中心样本作为新训练集进行神经网络学习。在UCI标准数据集和说话人识别数据集上的仿真实验,充分说明了算法较传统后向传播算法具有明显的速度优势。