采用划分融合双向控制的粒度支持向量机

粒度支持向量机（granular support vector machine,GSVM）引入粒计算的方式对原始数据集进行粒度划分以提高支持向量机（support vector machine, SVM）的学习效率。传统GSVM采用静态粒划分机制,即通过提取划分后数据簇中的代表信息进行模型训练,有效地提升了SVM的学习效率,但由于GSVM对信息无差别的粒度划分导致对距离超平面较近的强信息粒提取不足,距离超平面较远的弱信息粒被过多保留,影响了SVM的学习性能。针对这一问题,本文提出了采用划分融合双向控制的粒度支持向量机方法（division-fusion support vector machine,DFSVM）。该方法通过动态数据划分融合的方式,选取超平面附近的强信息粒进行深层次的划分,同时将距离超平面较远的弱信息粒进行选择性融合,以动态地保持训练样本规模的稳定性。通过实验表明,采用划分融合的方法能够在保证模型训练精度的条件下显著提升SVM的学习效率。     

基于模糊核聚类粒化的粒度支持向量机

针对传统的粒度支持向量机（granular support vector machine, GSVM）将训练样本在原空间粒化后再映射到核空间,导致数据与原空间的分布不一致,从而降低GSVM的泛化能力的问题,本文提出了一种基于模糊核聚类粒化的粒度支持向量机学习算法（fuzzy kernel cluster granular support vector machine, FKC-GSVM）。FKC-GSVM通过利用模糊核聚类直接在核空间对数据进行粒的划分和支持向量粒的选取,在相同的核空间中进行支持向量粒的GSVM训练。在UCI数据集和NDC大数据上的实验表明:与其他几个算法相比,FKC-GSVM在更短的时间内获得了精度更高的解。     

动态粒度SVM学习算法

粒度支持向量机(GSVM)在处理分布均匀的数据集时较有效,但现实生活中数据集的分布往往是不可预测的,且分布不均匀.文中提出一种动态粒度支持向量机(DGSVM)学习算法,根据粒的不同分布自动粒划分,使SVM可在不同层次的粒上训练.标准数据集上的实验表明,与GSVM相比,DGSVM具有更好的分类性能.     

处理非平衡数据的粒度SVM学习算法

针对支持向量机对于非平衡数据不能进行有效分类的问题,提出一种粒度支持向量机学习算法。根据粒度计算思想对多数类样本进行粒划分并从中获取信息粒,以使数据趋于平衡。通过这些信息粒来寻找局部支持向量,并在这些局部支持向量和少数类样本上进行有效学习,使SVM在非平衡数据集上获得令人满意的泛化能力。     

一种结合共享最近邻法和粒度支持向量机的混合模型

粒度支持向量机GSVM(Granular Support Vector Machine)在处理大规模数据集时,粒的划分对其模型的训练效能、泛化能力等有很大的影响。然而传统划分方法的随机性,严重影响着其模型的训练效果。针对这个问题提出一种结合共享最近邻法和粒度支持向量机的混合模型(GSVM-SNN)。利用共享最近邻法将样本点自动划分成若干个信息粒,从中提取出关键信息。由于支持向量点大都分布在信息粒的边缘,提出一种KNN连通度,通过计算连通度提取纯粒边缘点并融合关键信息建立最终决策模型。实验结果表明,与传统的GSVM相比,该方法在分类时间、分类准确率上都有一定的优越性。     

基于支持向量机分类的回归方法

支持向量机(support vector machine,简称SVM)是一种基于结构风险最小化原理的分类技术,也是一种新的具有很好泛化性能的回归方法.提出了一种将回归问题转化为分类问题的新思想.这种方法具有一定的理论依据,与SVM回归算法相比,其优化问题几何意义清楚明确.     

回归支持向量机的改进序列最小优化学习算法

支持向量机(support vector machine,简称SVM)是一种基于结构风险最小化原理的学习技术,也是一种新的具有很好泛化性能的回归方法,提出了实现回归支持向量机的一种改进的SMO(sequential minimal optimization)算法,给出了两变量子优化问题的解析解,设计了新的工作集选择方法和停止条件,仿真实例说明,所提出的SMO算法比原始SMO算法具有更快的运算速度.     

基于连续过松弛方法的支持向量回归算法

支持向量回归(support vector regression,简称SVR)训练算法需要解决在大规模样本条件下的凸二次规划(quadratic programming,简称QP)问题.尽管此种优化算法的机理已经有了较为明确的认识,但已有的支持向量回归训练算法仍较为复杂且收敛速度较慢.为解决这些问题.首先采用扩展方法使SVR与支撑向量机分类(SVC)具有相似的数学形式,并在此基础上针对大规模样本回归问题提出一种用于SVR的简化SOR(successive overrelaxation)算法.实验表明,这种新的回归训练方法在数据量较大时,相对其他训练方法有较快的收敛速度,特别适于在大规模样本条件下的回归训练算法设计.     

光滑CHKS孪生支持向量回归机

针对目前光滑孪生支持向量回归机（smooth twin support vector regression ,STSVR）中采用的Sigmoid光滑函数逼近精度不高,从而导致算法泛化能力不够理想的问题,引入一种具有更强逼近能力的光滑（chen‐harker‐kanzow‐smale ,CHKS）函数,采用CHKS函数逼近孪生支持向量回归机的不可微项,并用 Newton‐Armijo 算法求解相应的模型,提出了光滑 CHKS 孪生支持向量回归机（smooth CHKS twin support vector regression ,SCTSVR）。不仅从理论上证明了SCTSVR具有严格凸,能满足任意阶光滑和全局收敛的性能,而且在人工数据集和UCI数据集上的实验表明了SCTSVR比STSVR具有更好的回归性能。     

无偏置支持向量回归优化问题

为了研究偏置对支持向量回归(support vector regression,简称SVR)问题泛化性能的影响,首先提出了无偏置SVR(NBSVR)的优化问题及其对偶问题.推导出了NBSVR优化问题全局最优解的必要条件,然后证明了SVR的对偶问题只能得到NBSVR对偶问题的次优解.同时提出了NBSVR的有效集求解算法,并证明了它是线性收敛的.基于21个标准数据集的实验结果表明,在对偶问题解空间上,有偏置支持向量回归算法只能得到无偏置支持向量回归算法的次优解,NBSVR的均方根误差要低于SVR.NBSVR的训练时间不仅低于SVR,而且对核参数变化不太敏感.     

基于小样本SVR的迁移学习及其应用

当前机器学习的技术已经运用到很多工程项目中,但大部分机器学习的算法只有在样本数量充足且运用在单一场景中的时候,才能获得良好的结果。其中,经典的支持向量回归机是一种具有良好泛化能力的回归算法。但若当前场景的样本数量较少时,则得到的回归模型泛化能力较差。针对此问题,以加权ε支持向量回归机为基础,提出了一种小样本数据的迁移学习支持向量回归机算法。该算法以加权ε支持向量回归机为Bagging算法的基学习器,使用与目标任务相关联的源域数据,通过自助采样生成多个子回归模型,采用简单平均法合成一个总回归模型。在UCI数据集和现实数据集——玉米棒与花生粒储藏环节损失数据集上的实验结果表明,该算法较标准ε-SVR算法与改进的RMTL算法在小数据样本上有更好的泛化能力。     

An Incremental Learning Strategy for Support Vector Regression

Support vector machine (SVM) provides good generalization performance but suffers from a large amount of computation. This paper presents an incremental learning strategy for support vector regression (SVR). The new method firstly formulates an explicit expression of ||W||² by constructing an orthogonal basis in feature space together with a basic Hilbert space identity, and then finds the regression function through minimizing the formula of ||W||² rather than solving a convex programming problem. Particularly, we combine the minimization of ||W||² with kernel selection that can lead to good generalization performance. The presented method not only provides a novel way for incremental SVR learning, but opens an opportunity for model selection of SVR as well. An artificial data set, a benchmark data set and a real-world data set are employed to evaluate the method. The simulations support the feasibility and effectiveness of the proposed approach.     

基于聚类算法的支持向量回归建模的新策略

针对支持向量机对时变的样本集采用单一模型建模困难的问题，提出了一种新的学习策略．首先，使用自组织映射(SOM)神经网络和k-means聚类算法对初始样本集合进行聚类．然后，针对每个聚类数据集合，通过最优加权组合不同核函数的支持向量回归模型建立最终的模型．实验表明，采用这种学习策略的建模精度要优于单一支持向量回归建模方法．     

最小二乘孪生参数化不敏感支持向量回归机

孪生参数化不敏感支持向量回归机（Twin Parametric Insensitive Support Vector Regression,TPISVR）是最近提出的一种新型机器学习方法.和其它回归方法相比,TPISVR在处理异方差噪声方面具有独特的优势.标准TPISVR的训练算法可以归结为在对偶空间求解一对具有不等式约束的二次规划问题.然而,这种求解方法的时间消耗比较大.本文引入最小二乘思想,将TPISVR的两个二次规划问题转化为两个线性方程组,并在原始空间上直接求解,提出了最小二乘孪生参数化不敏感支持向量回归机（Least Squares TPISVR,LSTPISVR）.为了解决LSTPISVR的参数选择问题,提出混沌布谷鸟优化算法,并用其对LSTPISVR的参数进行优化选择.在人工数据集和UCI数据集上的实验表明了LSTPISVR在保持精度不下降的情况下比TPISVR具有更高的运行效率.     

基于支持向量回归的非线性多功能传感器信号重构

在多功能传感器信号重构中,通常采用经验风险最小化准则实现函数回归,在小样本情况下,该方法易导致泛化性差和过拟合问题.本文利用支持向量回归方法实现非线性多功能传感器信号重构,支持向量机是基于结构风险最小化准则的新型机器学习方法,可有效抑制过拟合问题并改善泛化性能.仿真结果表明经该算法重构后的信号重构误差率在0.4%以下,重构效果较好,验证了该算法的有效性.     

一种基于支持向量机的图像边缘检测方法

支持向量机是一种新的机器学习的方法。它以统计学习理论为基础,能够较好地解决小样本的学习问题。由于其出色的学习性能,该技术已成为当前国际机器学习界的研究热点。支持向量函数回归(SVR)是SVM的一个重要分支,它已经成功地应用于系统识别、非线性系统的预测等方面,并取得了较好的效果。文中通过图像的SVR表示,对SVR图像的边缘检测进行了研究。文中算例说明了该方法在实际应用中的可行性。实验结果表明,该算法能有效提高图像边缘检测效果。同时对其他边缘检测方法有一定的借鉴作用。     

一种数据域描述的加权支持向量回归算法

针对支持向量回归中由于噪声和孤立点带来的过拟合问题,提出了一种基于支持向量数据域描述的加权系数函数模型,根据样本到特征空间最小包含超球球心的距离来确定其加权系数。将提出的加权系数模型用于加权支持向量回归中,一维数据集仿真表明,提出的模型可以有效减小回归误差,提高支持向量回归算法的抗噪声能力。