基于支持向量机的不平衡数据分类算法的研究*

针对不平衡数据分类问题,提出了基于Smote与核函数修改相结合的算法。首先用Smote方法处理数 据,降低不平衡度;然后以黎曼几何为依据,利用保角变换,对核函数进行修改,提高支持向量机的分类泛化能 力;最后用修改后的支持向量机对新的数据进行处理。实验结果表明,这种方法能在保持整体正确率的前提下 有效地提高少数类样本的分类准确率。     

超核函数支持向量机

支持向量机是当前机器学习、模式识别和数据挖掘等领域的重要学习方法,核函数的构造是研究和应用支持向量机的关键问题.针对这一问题,提出了核函数构造的组合理论,定义了超核函数概念,并通过多项式组合现有核函数构造出一类超核函数.具体地,首先分析了一般核函数存在的过学习和欠学习现象,然后证明了组合理论构造的核函数的Mercer性质,并通过在仿真数据集和标准数据集上的对比实验,验证了超核函数的性能.理论分析和实验结果阐明了所提出的超核函数组合构造理论的合理性和有效性,开拓了模型选择组合方法的研究途径.     

基于SVM的混沌时间序列分析

支持向量机是一种基于统计学习理论的新的机器学习方法,该方法已用于解决模式分类问题．本文将支持向量机（SVM）用于混沌时间序列分析,实验数据采用典型地Mackey-Glass混沌时间序列,先对混沌时间序列进行支持向量回归实验;然后采用局域法多步预报模型,利用支持向量机对混沌时间序列进行预测．仿真实验表明,利用支持向量机可以较准确地预测混沌时间序列的变化趋势．     

基于尺度核函数的最小二乘支持向量机

支持向量机的核函数一直是影响其学习效果的重要因素.本文基于小波分解理论和支持向量机核函数的条件,提出一种多维允许支持向量尺度核函数.该核函数不仅具有平移正交性,且可以以其正交性逼近二次可积空间上的任意曲线,从而提升支持向量机的泛化性能.在尺度函数作为支持向量核函数的基础之上,提出基于尺度核函数的最小二乘支持向量机(LS-SSVM).实验结果表明,LS-SSVM在同等条件下比传统支持向量机的学习精度更高,因而更适用于复杂函数的学习问题.     

基于混合核函数的SVM及其应用

支持向量机可以很好地应用于函数拟合中．其中核函数的选择尤其重要。由于普通核函数各有其利弊，为了得到学习能力和泛化性能都很强的核函数，文中采用了混合核函数，并将由其构造的支持向量机运用于函数拟合中，且与普通核函数构造的支持向量机的实验结果进行了比较。结果表明其性能明显优于由普通核函数构造的支持向量机。     

混合核函数最小二乘支持向量机的网络流量预测模型

针对网络流量复杂多杂特点,基于组合优化理论,提出一种混合核函数最小二乘支持向量机的网络流量预测模型。首先,基于混沌理论将一维网络流量变为多维时间序列,然后,采用多项式核函数和高斯径向基核函数构建混合核函数,并将训练样本输入到最小二乘支持向量机中学习,最后,采用真实网络流量数据对模型性能进行测试。结果表明,相对于单核函数最小二乘支持向量机及其它网络流量预测模型,模型能够准确捕捉网络流量变化规律,有效地提高了网络流量的预测精度,而且具有一定的鲁棒性。     

基于混合核函数的SVM及其应用

支持向量机可以很好地应用于函数拟合中,其中核函数的选择尤其重要。由于普通核函数各有其利弊,为了得到学习能力和泛化性能都很强的核函数,文中采用了混合核函数,并将由其构造的支持向量机运用于函数拟合中,且与普通核函数构造的支持向量机的实验结果进行了比较。结果表明其性能明显优于由普通核函数构造的支持向量机。     

一种新的支持向量回归核函数构建方法

首先，讨论了支持向量回归（support vector regression，SVR）的基本原理．然后，从信息几何的角度分析了核函数的几何结构，通过共形变换（conformal transformation）构建与数据依赖(data-dependent)的核函数，使得特征空间在支持向量附近的体积元缩小，以改善SVR的机器性能．实验结果表明了方法的有效性．     

基于SVM的语音关键词确认方法研究

对支持向量机理论进行了简要分析，并将支持向量机引入汉语语音关键词识别系统中，根据关键词置信度将关键词假想命中分为接受和拒识两类，从而提高系统正确识别率。针对线性支持向量机、不同核函数下的非线性支持向量机以及核函数为径向基函数时支持向量机的性能做了一些相关实验。实验结果显示，支持向量机是一种相当有效的关键词确认方法。     

网络时延的混沌特性分析及预测

针对互联网的传输时延处于不确定状态的问题,从网络时延序列表现出的性质出发,将混沌理论引入对网络时延的特性分析.通过对实际网络时延数据的处理,计算验证了网络时延具有混沌特性.并提出了采用混沌一支持向量机回归模型对互联网络时延进行预测的方法,通过实例分析对该方法进行了验证.分析结果证明了混沌一支持向量机模型可以对网络时延的变化趋势进行较为准确的预测,和BP神经网络回归预测相比,混沌一支持向量机对时延的短期预测具有更高精度.     

多阶灰色支持向量机集成预测模型研究

对灰色预测模型GM(1,1)和支持向量机SVM预测模型进行分析,提出了多阶灰色支持向量机集成预测模型Dm_GM(1,1)-SVM。通过多阶缓冲算子改进灰色预测模型的预测精度,对最终预测值的各个相关指标进行预测;同时,采用粒子群优化算法对支持向量机模型进行径向基核参数和惩罚参数寻优,得到最佳参数对(c,g),从而确定支持向量机的最佳回归模型;最后将各指标预测值作为支持向量机模型的输入,依据预测模型和预测模型的输入值求得预测结果。实验实例表明,多阶灰色支持向量机集成模型和传统的预测模型相比,在本例中预测精度更高,说明多阶灰色预测模型和支持向量机模型相结合在解决实际预测问题中具有实用价值。     

小波核支持向量机的网络入侵检测

将小波理论和统计学习运用到网络入侵检测中,使用小波核支持向量机(WSVM)对网络连接信息进行攻击检测和异常发现。仿真试验结果表明,与RBF核相比,小波核支持向量机在泛化能力和检测能力方面都有所提高。     

基于混沌粒子群算法和小波SVM的P2P流量识别方法

针对对等网络(Peer-to-Peer,P2P)流量具有的多尺度和突变性等问题,提出了基于小波核函数的支持向量机(Support Vector Machine,SVM)的P2P流量识别算法。进一步,对常用的SVM参数训练方法训练时间过长和易陷入局部极优值等缺陷进行分析,使用混沌粒子群算法对SVM参数进行优化以提高参数训练效率和识别准确率。最后利用真实的校园网网络流量数据对所提方法的有效性进行测试,结果表明,相对于使用传统核函数和参数训练方法的支持向量机P2P流量识别方法,所提方法具有更高的P2P流量识别正确率和计算效率。     

疲劳驾驶面部表情识别算法 *

针对疲劳驾驶的六种表情 ,提出几何规范化结合 Gabor滤波提取表情特征 ,使用支持向量机对疲劳驾驶的面部表情分类识别的系统。首先对视频图像预处理进行几何规范化 ,利用二维 Gabor核函数构造最优滤波器 48个,获取 48个面部表情特征点 ,最后利用支持向量机进行面部表情分类识别。实验结果表明径向基函数的 SVM性能最好。     

基于混合核函数的SVM在文本自动分类的应用

核函数是SVM的关键技术,核函数的选择将影响着学习机器的学习能力和泛化能力。不同的核函数确定了不同的非线性变换和特征空间,选取不同核函数训练SVM就会得到不同的分类效果。本文提出了一种混合的核函数[1]Kmix=λKpoly+(1-λ)Krbf,从而兼并二项式核函数及径向基核函数的优势。实验证明选用混合核函数的支持向量机,与普通核函数构造的支持向量机的评估效果进行比较,混合核函数支持向量机具有较高的分类精度。     

基于支持向量机的网络入侵检测

将统计学习理论引人入侵检测研究中，提出了一种基于支持向量机的入侵检测方法(SVM-Based ID)．针对入侵检测所获得的高维小样本异构数据集，将SVM算法在这种异构数据集上进行推广，构造了基于异构数据集上HVDM距离定义的RBF形核函数，并基于这种核函数将有监督的C-SVM算法和无监督One-Class SVM算法用于网络连接信息数据中的攻击检测和异常发现，通过对DARPA数据的检测试验结果表明提出的方法是可行的、高效的．     

基于最小二乘支持向量机的航煤干点软测量应用研究

传统支持向量机是近几年发展起来的一种基于统计学习理论的学习机器,在非线性函数回归估计方面有许多应用。最小二乘支持向量机用等式约束代替传统支持向量机方法中的不等式约束,利用求解一组线性方程得出对象模型,避免了求解二次规划问题。本文采用最小二乘支持向量机解决了航空煤油干点的在线估计问题,结果表明,最小二乘支持向量机学习速度快、精度高,是一种软测量建模的有效方法。在相同样本条件下,比RBF网络具有较好的模型逼近性和泛化性能,比传统支持向量机可节省大量的计算时间。     

Support vector machine with adaptive parameters in financial time series forecasting

A novel type of learning machine called support vector machine (SVM) has been receiving increasing interest in areas ranging from its original application in pattern recognition to other applications such as regression estimation due to its remarkable generalization performance. This paper deals with the application of SVM in financial time series forecasting. The feasibility of applying SVM in financial forecasting is first examined by comparing it with the multilayer back-propagation (BP) neural network and the regularized radial basis function (RBF) neural network. The variability in performance of SVM with respect to the free parameters is investigated experimentally. Adaptive parameters are then proposed by incorporating the nonstationarity of financial time series into SVM. Five real futures contracts collated from the Chicago Mercantile Market are used as the data sets. The simulation shows that among the three methods, SVM outperforms the BP neural network in financial forecasting, and there are comparable generalization performance between SVM and the regularized RBF neural network. Furthermore, the free parameters of SVM have a great effect on the generalization performance. SVM with adaptive parameters can both achieve higher generalization performance and use fewer support vectors than the standard SVM in financial forecasting.     

Deep kernel learning in core vector machines

In machine learning literature, deep learning methods have been moving toward greater heights by giving due importance in both data representation and classification methods. The recently developed multilayered arc-cosine kernel leverages the possibilities of extending deep learning features into the kernel machines. Even though this kernel has been widely used in conjunction with support vector machines (SVM) on small-size datasets, it does not seem to be a feasible solution for the modern real-world applications that involve very large size datasets. There are lot of avenues where the scalability aspects of deep kernel machines in handling large dataset need to be evaluated. In machine learning literature, core vector machine (CVM) is being used as a scaling up mechanism for traditional SVMs. In CVM, the quadratic programming problem involved in SVM is reformulated as an equivalent minimum enclosing ball problem and then solved by using a subset of training sample (Core Set) obtained by a faster \((1+\epsilon )\) approximation algorithm. This paper explores the possibilities of using principles of core vector machines as a scaling up mechanism for deep support vector machine with arc-cosine kernel. Experiments on different datasets show that the proposed system gives high classification accuracy with reasonable training time compared to traditional core vector machines, deep support vector machines with arc-cosine kernel and deep convolutional neural network.     

最小二乘Littlewood-Paley小波支持向量机

基于小波分解理论和支持向量机核函数的条件，提出了一种多维允许支持向量核函数——Littlewood-Paley小波核函数．该核函数不仅具有平移正交性，而且可以以其正交性逼近二次可积空间上的任意曲线，从而提升了支持向量机的泛化性能．在Littlewood-Paley小波函数作为支持向量核函数的基础上，提出了最小二乘Littlewood-Paley小波支持向量机(LS-LPWSVM)．实验结果表明，LS-LPWSVM在同等条件下比最小二乘支持向量机的学习精度要高，因而更适用于复杂函数的学习问题．