一种改进的鲁棒模糊孪生支持向量机算法

针对模糊孪生支持向量机算法（FTSVM）对噪声仍然敏感,容易过拟合以及不能有效区分支持向量和离群值等问题,提出了一种改进的鲁棒模糊孪生支持向量机算法（IRFTSVM）。将改进的k近邻隶属度函数和基于类内超平面的隶属度函数结合,构造了一种新的混合隶属度函数;在FTSVM算法的目标函数中引入正则化项和额外的约束条件,实现了结构风险最小化,避免了逆矩阵运算,且非线性问题可以像经典的SVM算法一样直接从线性问题扩展而来;将铰链损失函数替换为pinball损失函数,以此降低对噪声的敏感性。此外,在UCI数据集和人工数据集上对该算法进行评估,并与SVM、TWSVM、FTSVM、PTSVM和TBSVM五个算法进行比较。实验结果表明,该算法的分类结果是令人满意的。     

一种模糊支持向量机主动学习算法

模糊支持向量机具有很好的抗噪声能力,受到很多专家的重视。然而模糊支持向量机上的主动学习算法却一直鲜有研究。提出一种针对模糊支持向量机的主动学习算法,该算法首先在训练集合上利用模糊支持向量机得到决策超平面,然后选取间隔内的未标记样本进行标记,并计算相应的模糊权重,以及更新原有训练样本的模糊权重。最后结合赋予模糊权重的新标记样本重新进行学习,直到未标记样本集为空或者分类性能满足要求。在UCI标准数据集和语音识别数据集上的实验充分验证了该算法的有效性。     

模糊大间隔最小超球模型*

针对当前异常检测方法面临的分类性能有限以及分类结果易受噪声影响等问题,在分析当前异常检测方法的基础上,提出模糊大间隔最小超球模型FMHM。该模型引入模糊理论,在一定程度上减少噪声对分类结果的影响;正常样本与奇异样本之间的间隔最大化确保错分率最小。标准UCI数据集上的比较实验表明,较之单类支持向量机OCSVM、支持向量数据描述SVDD、K近邻KNN等算法,本文所提方法FMHM在异常检测方面具有一定优势。     

一种抗噪的钢印打码字符识别方法

针对总间隔支持向量机对噪声敏感的问题,引入pinball损失函数,提出基于pinball损失函数的总间隔支持向量机。同时提出噪声环境下的钢印打码字符识别方法,首先对钢印图像的字体进行预处理,然后使用基于pinball损失函数的总间隔支持向量机对图像特征进行分类。实验结果分析表明本文提出的基于pinball损失函数的总间隔支持向量机可以较好地应用于噪声环境下的钢印打码字符识别,在分类效果和ROC曲线指标上具有令人满意的效果。     

新型鲁棒孪生支持向量回归机

回归问题是模式识别与机器学习领域的基本问题之一,孪生支持向量回归机（TSVR）是在支持向量回归机（SVR）基础上发展而来的一种处理回归问题的新算法,它在处理无噪声数据时表现出较好的性能,但在处理有噪声数据时往往性能不佳。为了降低噪声对孪生支持向量回归机性能的影响,结合ε-不敏感损失函数与Huber损失函数构造了混合Hε损失函数,该损失函数可以有效地适应于不同分布类型的噪声;然后基于混合Hε损失函数和结构风险最小化（SRM）原则提出了一种鲁棒的孪生支持向量回归机（Hε-TSVR）,并在原始空间中利用牛顿迭代法求解模型。分别在有噪声和无噪声的人工数据集、UCI数据集上进行实验,与支持向量回归机和孪生支持向量回归机等算法比较,实验结果验证了所提算法的有效性。     

非球形分布数据集的去噪方法

针对传统支持向量机(SVM)对噪声点过于敏感,模糊支持向量机(FSVM)又对样本集几何形状过分依赖等问题,提出基于噪声过滤系统的粗糙支持向量机(NFS-RSVM)。该方法首先用噪声过滤系统(NFS)将极可能为噪声点的样本过滤掉;然后将数据间隐含的等价类信息作为双惩戒因子融入到支持向量机模型中,进一步区分有效样本和噪声样本。基于UCI数据集的仿真结果表明,NFS-RSVM方法能有效地将数据中的大部分噪声点去除,与传统的SVM和FSVM相比分类精度有一定程度的提高。因此,该方法在处理噪声样本较多又呈现非球形分布的数据集时,表现出较好的抗噪性、分类效果和泛化能力。     

基于模糊分割的支持向量机分类器

支持向量机算法对噪声点和异常点是敏感的,为了解决这个问题,人们提出了模糊支持向量机,但其中的模糊隶属度函数需要人为设置。提出基于模糊分割的支持向量机分类器。在该算法中,首先根据聚类有效性用模糊c-均值聚类分别对训练集中的正负类数据聚类;然后,选择距离最近的c个聚类对构成c个二分类问题;最后,对c个二分类器用加权平均策略得到最终分类结果。为了验证所提算法的有效性,对三个UCI数据集进行了数值实验,结果表明,该算法能有效提高带噪声点和异常点数据集分类的预测精度。     

基于模糊支持向量机的多分类算法研究

针对支持向量机理论中的多分类问题以及SVM对噪声数据的敏感性问题,提出了一种基于二叉树的模糊支持向量机多分类算法。该算法是在基于二叉树的支持向量机多分类算法的基础上引入模糊隶属度函数,根据每个样本数据对分类结果的不同影响,通过基于KNN的模糊隶属度的度量方法计算出相应的值,由此得到不同的惩罚值,这样在构造分类超平面时,就可以忽略对分类结果不重要的数据。通过实验证明,该算法有较好的抗干扰能力和分类效果。     

局部关注支持向量机算法

针对训练数据集的不均衡性这一问题,结合采样方法和集成方法,提出一种集成支持向量机分类算法。该算法首先对不均衡的训练集进行非监督聚类;然后依靠其底层的局部关注支持向量机进行数据集局部划分,以精确把控数据集间的局部特征;最后通过顶层支持向量机进行分类预测。在UCI数据集上的评测结果显示,该算法与当前流行的算法（如基于采样的核化少数类过采样技术（K-SMOTE）、基于集成的梯度提升决策树（GTB）和代价敏感集成算法（AdaCost）等）相比,分类效果有明显提升,能在一定程度上解决数据集的不均衡问题。     

基于最小二乘支持向量机的非平衡分布数据分类

支持向量机是在统计学习理论基础上发展起来的一种十分有效的分类方法。然而当两类样本数量相差悬殊时,会引起支持向量机分类能力的下降。为了提高支持向量机的非平衡数据分类能力,文章分析了最小二乘支持向量机的本质特征,提出了一种非平衡数据分类算法。在UCI标准数据集上进行的实验表明,该算法能够有效提高支持向量机对非均衡分布数据的正确性,尤其对于大规模训练集的情况,该算法在保证不损失训练精度的前提下,使训练速度有较大提高。     

基于SVM概率输出与证据理论的多分类方法

单一技术无法有效解决多类分类问题。为此,提出一种基于一对多支持向量机(SVM)的基本概率分配输出方法,并与置信最大熵模型的D-S证据组合方法结合,给出基于SVM概率输出和证据理论的多分类模型。在3种UCI标准数据集上的仿真结果表明,该方法的分类精度优于传统的一对多和一对一硬输出方法,是一种有效的多类分类方法。     

处理非平衡数据的粒度SVM学习方法

通过多维关联规则挖掘,将粒度计算（Granular Computing,GrC）和支持向量机（Support Vector Machine,SVM）有效融合,提出一种粒度支持向量机（Granular SVM,GSVM）学习方法,称为AR-GSVM。该方法用于非平衡数据处理时,不仅可以有效降低分类器的复杂性,而且本质上可以进行并行计算以提高学习效率,同时提高分类器的泛化能力。考虑到保持数据在原始空间和特征空间的分布一致性,在AR-GSVM的基础上又提出核空间上的粒度支持向量机学习方法,称为AR-KGSVM,该方法具有更好的泛化性能。通过在UCI数据集上的实验表明：AR-GSVM和AR-KGSVM的泛化能力优于一些常用非平衡数据处理的方法。     

基于中心核对齐的多核单类支持向量机

多核学习(MKL)方法在分类及回归任务中均取得了优于单核学习方法的性能,但传统的MKL方法均用于处理两类或多类分类问题.为了使MKL方法适用于处理单类分类(OCC)问题,提出了基于中心核对齐(CKA)的单类支持向量机(OCSVM).首先利用CKA计算每个核矩阵的权重,然后将所得权重用作线性组合系数,进而将不同类型的核函...     

A genetically optimized neural network model for multi-class classification

Multi-class classification is one of the major challenges in real world application. Classification algorithms are generally binary in nature and must be extended for multi-class problems. Therefore, in this paper, we proposed an enhanced Genetically Optimized Neural Network (GONN) algorithm, for solving multi-class classification problems. We used a multi-tree GONN representation which integrates multiple GONN trees; each individual is a single GONN classifier. Thus enhanced classifier is an integrated version of individual GONN classifiers for all classes. The integrated version of classifiers is evolved genetically to optimize its architecture for multi-class classification. To demonstrate our results, we had taken seven datasets from UCI Machine Learning repository and compared the classification accuracy and training time of enhanced GONN with classical Koza’s model and classical Back propagation model. Our algorithm gives better classification accuracy of almost 5% and 8% than Koza’s model and Back propagation model respectively even for complex and real multi-class data in lesser amount of time. This enhanced GONN algorithm produces better results than popular classification algorithms like Genetic Algorithm, Support Vector Machine and Neural Network which makes it a good alternative to the well-known machine learning methods for solving multi-class classification problems. Even for datasets containing noise and complex features, the results produced by enhanced GONN is much better than other machine learning algorithms. The proposed enhanced GONN can be applied to expert and intelligent systems for effectively classifying large, complex and noisy real time multi-class data.     

基于决策树对支持向量机的医学图像分类新方法

针对传统对支持向量机多类分类算法（Multi-TWSVM）中出现的模糊性问题,提出了一种基于遗传算法的决策树对支持向量机（GA-DTTSVM）多类分类算法。GA-DTTSVM用遗传算法对特征数据建立决策树,通过构建决策树可以分离样本的模糊区域,提高模糊区域样本的识别率。在决策树的每个节点上用对支持向量机（TWSVM）训练分类器,最后用训练的分类器进行分类和预测。实验结果表明,与决策树对支持向量机（DTTSVM）多类分类算法以及Multi-TWSVM相比,GA-DTTSVM多类分类算法具有较高的分类精度和较快的训练速度。     

距离加权极端支持向量机

由于极端支持向量分类机（ESVM）在对样本进行分类时并没有考虑到数据集中样本点的分布情况,对所有样本点的误差项都给予了相同的惩罚因子,使得分类器的分类效果很容易受到噪声、野值数据的干扰,针对这个问题,在ESVM的基础上提出了一种基于距离加权的极端支持向量机（WESVM）。由于不同的样本到其类中心距离的不同,因此对不同的样本给予不同的权重。分类实验结果表明WESVM与ELM、ESVM相比具有更好的分类精度。     

基于多分类AdaBoost改进算法的TEE标准切面分类

针对超声图像样本冗余、不同标准切面因疾病导致的高度相似性、感兴趣区域定位不准确问题,提出一种结合特征袋（BOF）特征、主动学习方法和多分类AdaBoost改进算法的经食管超声心动图（TEE）标准切面分类方法。首先采用BOF方法对超声图像进行描述;然后采用主动学习方法选择对分类器最有价值的样本作为训练集;最后,在AdaBoost算法对弱分类器的迭代训练中,根据临时强分类器的分类情况调整样本更新规则,实现对多分类AdaBoost算法的改进和TEE标准切面的分类。在TEE数据集和三个UCI数据集上的实验表明,相比AdaBoost.SAMME算法、多分类支持向量机（SVM）算法、BP神经网络和AdaBoost.M2算法,所提算法在各个数据集上的G-mean指标、整体分类准确率和大多数类别分类准确率都有不同程度的提升,且比较难分的类别分类准确率提升最为显著。实验结果表明,在包含类间相似样本的数据集上,分类器的性能有显著提升。     

基于线性孪生支持向量机的特征选择方法

提出了一种基于线性孪生支持向量机（TWSVM）的嵌入式特征选择方法。该方法在构造分类器的过程中,通过在TWSVM原有优化模型中引入一个惩罚项,来实现特征选择。在求解过程中,采用交替迭代优化方法将该模型求解问题分解成两个子问题来处理,即标准TWSVM优化问题和关于特征权重的非线性约束优化问题,并分别对子问题进行有效求解。在UCI数据集上对算法进行了仿真分析和比较,仿真结果验证了算法的有效性。     

基于EEMD-GWO-LSSVM的公共交通短期客流预测

为了提高大型公共交通短期客流预测精度,提出了一种在利用集成经验模态分解原始数据的条件下,采用灰狼优化算法优化最小二乘支持向量机（EEMD-GWO-LSSVM）的算法,利用该算法实现城市大型公共交通短期客流预测。该模型采用EEMD分解原始数据,将分解后的各个本征模函数（IMF）分量运用最小二乘支持向量机进行回归预测,最小二乘支持向量机的预测参数由灰狼算法进行优化。通过对西安地铁二号线北客站一个月进出站人数进行训练预测,将预测结果和支持向量机（SVM）,自回归移动平均模型（ARIMA）,仅利用灰狼优化参数的最小二乘支持向量机（GWO-LSSVM）算法以及基于交叉检验进行参数优化的最小二乘支持向量机进行对比,分析得出该算法具有更加精确的预测结果。