一种改进的临近支持向量机

基于线性临近支持向量机,提出一种改进的分类器一直接支持向量机.该分类器与临近支持向量机相比,对线性分类二者相同;对于非线性分类,直接支持向量机的Lagrangian乘子求解公式和分类器的表达式都更加简单,计算复杂度降低一半,且通过替代核函数就可实现线性与非线性的统一,可使用相同的算法代码,改正了临近支持向量机的不足.数值实验表明,非线性分类时,直接支持向量机的训练速度比临近支持向量机要快一倍左右,而测试速度则快更多,且分类精度并没有降低.     

改进的超球支持向量机算法

超球支持向量机算法用于解决多类别数据的分类问题。对超球重叠区域的数据正确分类对球结构支持向量机的分类性能至关重要。在分析这些样本点特点的基础上,提出了一种新的分类规则,使超球支持向量机算法的泛化性能高于现有的算法。实验结果表明该算法有效可行,提高了最小包围球分类器的分类精度。     

基于实值遗传算法与TAFSVM的遥感图像分类

支持向量机已经被成功应用于遥感图像分类。一种新型具有良好特性的支持向量机--全间隔自适应模糊支持向量机被提出。这种新型的支持向量机具有通过训练集的模糊性来增强泛化能力;对不平衡训练集具有自适应性,对正负数据采用不同的损失算法,可以提高正确分类率;通过引进全间隔算法来代替软间隔算法,可以得到更低的泛化误差等优良特性,符合遥感图像数据的内在规律。并且运用实值遗传算法对其进行参数优选,得到一种新的分类器——AGATAFSVM。最后将该分类器应用于遥感图像分类。实验结果表明,该分类器非常适用于遥感图像分类,分类精度和稳定性明显高于径向基神经网络分类器、 最近邻分类器和标准支持向量机。     

结合SVM和KNN实现求解大规模复杂问题的分治算法

针对于使用支持向量机求解大规模复杂问题存在训练时间过长和分类精度不高等困难,本文提出了一种结合支持向量机(SvM)和K-最近邻(KNN)分类的分治算法.首先对支持向量机分类机理进行分析可以得出它作为分类器实际相当于每类只选一个代表点的最近邻分类器.在此基础上,根据分治算法的基本思想将训练集划分为多个训练子集,用每个子集单独训练一个SVM,这样每个训练子集由训练后的SVM可以分别得到正例和反例的一个代表点,由这些代表点的全体构成了整个训练集的正例和反例代表点的集合,然后在这个代表点集合基础上使用KNN分类器最为整个问题的解.实验结果表明该分治算法对于大规模数据可使训练时间大幅度下降且使分类精度不同程度提高.     

可保证分类性能的最小二乘支持向量机

当前支持向量机是分类研究与应用的一个热点。提出了一个新的最小二乘支持向量机算法,该算法向最小二乘支持向量机（LS-SVM）优化模型中融入了类内散度（VSLSVM）思想,即用优化准则Min w′Mw对原LS-SVM进行重组合,w为对应LS-SVM中的权向量,M是类内散度矩阵。提出的方法仅仅需要求解一个线性系统而不是凸规划问题,实验主要对SVM和Suykens等人的方法进行了比较,并验证了提出的算法的有效性。     

直接支持向量机

基于最小二乘支持向量机变形,得到一个极其简单快速的分类器--直接支持向量机.与最小二乘支持向量机相比,该分类器只需直接求解一个更小规模矩阵的逆,大大减小了计算量,并未降低分类精度.从理论上证明了该矩阵可逆,保证了分类面存在的唯一性.对于线性情形,采用Sherman-Morrison-Woodbury公式降低可逆矩阵的维数,进一步减少了计算复杂度,使其可适用于更大规模的样本集.数值实验表明,新分类器可行并具有上述优势.     

基于支持向量机和距离度量的纹理分类

针对图象纹理分类问题，提出了一种将支持向量机和距离度量相结合，以构成两级组合分类器的分类方法，用该方法分类时，先采用距离度量进行前级分类，然后根据图象的纹理统计特征，采用欧氏距离来度量图象之间的相似性，若符合条件，则给出分类结果，否则拒识，并转入后级分类器，而后级分类器则采用一种新的模式分类方法－支持向量机进行分类，该组合分类方法不仅充分利用了支持向量机识别率高和距离度量速度快的优点，并且还利用距离度量的结果去指导支持向量机的训练和测试，由纹理图象分类的实验表明，该算法具有较高的效率和识别精度，同时也对推动支持向量机这一新的模式分类方法的实际应用具有积极意义。     

KNN-SVM网页分类器介绍

网页分类算法中,KNN算法的缺陷之一是分类效率较低,分类的效果很大程度上依赖于相似度函数和参敷K的选择.同时,基于支持向量机(SVM)网页分类器的限制在于要求处理的向量是数值型向量,而网页特征向量往往是词条特征向量.利用KNN算法生成训练样本,进而将词务特征向量数值化,再利用支持向量机分类器对测试网页进行分类,构建了一种新的分类器--KNN-SVM分类器.     

超球体多类支持向量机理论

目前的多类分类器大多是经二分类器组合而成的,存在训练速度较慢的问题,在分类类别多的时候,会遇到很大困难,超球体多类支持向量机将超球体单类支持向量机扩展到多类问题,由于每类样本只参与一个超球体支持向量机的训练.因此,这是一种直接多类分类器,训练效率明显提高.为了有效训练超球体多类支持向量机,利用SMO算法思想,提出了超球体支持向量机的快速训练算法.同时对超球体多类支持向量机的推广能力进行了理论上的估计.数值实验表明,在分类类别较多的情况,这种分类器的训练速度有很大提高,非常适合解决类别数较多的分类问题.超球体多类支持向量机为研究快速直接多类分类器提供了新的思路.     

基于支持向量机的改进分类算法

为了进一步提高支持向量机分类的准确性和泛化能力,提出一种基于支持向量机的改进二叉树分类算法.首先介绍支持向量机的基本原理,总结了常见的多分类器分类算法及其特点,结合现有分类算法的优点,为分类器引入了不同的权值,提出二叉树改进分类算法,有效避免了常用分类算法不足.通过仿真实验,与典型的多类分类算法对比,验证该算法的有效性,为多类分类预测研究提供了一条有效的途径.     

An Ordinal Multi-Dimensional Classification (OMDC) for Predictive Maintenance

Predictive Maintenance is a type of condition-based maintenance that assesses the equipment's states and estimates its failure probability and when maintenance should be performed. Although machine learning techniques have been frequently implemented in this area, the existing studies disregard to the natural order between the target attribute values of the historical sensor data. Thus, these methods cause losing the inherent order of the data that positively affects the prediction performances. To deal with this problem, a novel approach, named Ordinal Multi-dimensional Classification (OMDC), is proposed for estimating the conditions of a hydraulic system's four components by taking into the natural order of class values. To demonstrate the prediction ability of the proposed approach, eleven different multi-dimensional classification algorithms (traditional Binary Relevance (BR), Classifier Chain (CC), Bayesian Classifier Chain (BCC), Monte Carlo Classifier Chain (MCC), Probabilistic Classifier Chain (PCC), Classifier Dependency Network (CDN), Classifier Trellis (CT), Classifier Dependency Trellis (CDT), Label Powerset (LP), Pruned Sets (PS), and Random k-Labelsets (RAKEL)) were implemented using the Ordinal Class Classifier (OCC) algorithm. Besides, seven different classification algorithms (Multilayer Perceptron (MLP), Support Vector Machine (SVM), k-Nearest Neighbour (kNN), Decision Tree (C4.5), Bagging, Random Forest (RF), and Adaptive Boosting (AdaBoost)) were chosen as base learners for the OCC algorithm. The experimental results present that the proposed OMDC approach using binary relevance multi-dimensional classification methods predicts the conditions of a hydraulic system's multiple components with high accuracy. Also, it is clearly seen from the results that the OMDC models that utilize ensemble-based classification algorithms give more reliable prediction performances with an average Hamming score of 0.853 than the others that use traditional algorithms as base learners.     

基于空间支持向量域分类器的人脸识别

提出了一种基于小波变换、奇异值分解与空间支持向量域分类器相结合的人脸识别方法。在使用空间支持向量分类器对不同人脸图像的奇异特征向量进行分类时,计算所测样本到各个超球球心的距离,并根据其与超球半径的关系来判断其所归属。并在ORL人脸数据库中进行实验。实验表明提出的人脸识别方法识别精度可达97.5%。     

基于模糊分割的支持向量机分类器

支持向量机算法对噪声点和异常点是敏感的,为了解决这个问题,人们提出了模糊支持向量机,但其中的模糊隶属度函数需要人为设置。提出基于模糊分割的支持向量机分类器。在该算法中,首先根据聚类有效性用模糊c-均值聚类分别对训练集中的正负类数据聚类;然后,选择距离最近的c个聚类对构成c个二分类问题;最后,对c个二分类器用加权平均策略得到最终分类结果。为了验证所提算法的有效性,对三个UCI数据集进行了数值实验,结果表明,该算法能有效提高带噪声点和异常点数据集分类的预测精度。     

Leave one support vector out cross validation for fast estimation of generalization errors

A Support Vector Classifier (SVC) is formulated in terms of a kernel. The bandwidth of the kernel affects the generalization performance of the SVC. This paper presents a Leave One Support Vector Out Cross Validation (LOSVO-CV) algorithm for estimating the optimal bandwidth of the kernel for classification purpose. The proposed algorithm is based on the Leave One Out Cross Validation (LOO-CV) algorithm (Numer. Math. 31 (1979) 377) that was proposed to find the optimal bandwidth but difficult to be implemented due to its large amount of computation. The properties of LOSVO-CV are analyzed in comparison with the LOO-CV. The simulation study demonstrates that the LOSVO-CV is a fast algorithm and it has the same generalization performance optimized by a bootstrap method (Neural Process. Lett. 11 (2000) 51) which can find an optimal bandwidth of the kernel of the SVC. The LOSVO-CV algorithm is able to provide consistent results with different sizes of a benchmark data set which is obtained from the University of California (UCI) repository.     

泛化误差界指导的鉴别字典学习

在提高字典鉴别能力的过程中，最大间隔字典学习忽视了利用重新获得的数据构建分类器的泛化性能，不仅与最大间隔原理有关，还与包含数据的最小包含球（MEB）半径有关。针对这一事实，提出泛化误差界指导的鉴别字典学习算法GEBGDL。首先，利用支持向量机（SVM）的泛化误差上界理论对支持向量引导的字典学习算法（SVGDL）的鉴别条件进行改进；然后，利用SVM大间隔分类原理和MEB半径作为鉴别约束项，促使不同类编码向量间的间隔最大化，并减小包含所有编码向量的MEB半径；最后，为了更充分考虑分类器的泛化性能，采用交替优化策略分别更新字典、编码系数和分类器，进而获得编码向量相对间隔更大的分类器，从而促使字典更好地学习，提升字典鉴别能力。在USPS手写数字数据集，Extended Yale B、AR、ORL三个人脸集，Caltech101、COIL20、COIL100物体数据集中进行实验，讨论了超参数和数据维度对识别率的影响。实验结果表明，在七个图像数据集中，多数情况下所提算法的识别率优于类标签一致K奇异值分解（LC-KSVD）、局部特征和类标嵌入约束字典学习（LCLE-DL）算法、Fisher鉴别字典学习（FDDL）和SVGDL等算法；且在七个数据集中，该算法也取得了比基于稀疏表示的分类（SRC）、基于协作表示的分类（CRC）和SVM更高的识别率。     

A novel adaptive SVR based filter ASBF for image restoration

In this paper, a novel adaptive filter ASBF based on support vector regression (SVR) is proposed to preserve more image details and efficiently suppress impulse noise simultaneously. The main idea of the novel filter ASBF here is to employ a SVR based impulse detector to judge whether an input pixel is contaminated or not by impulse noise. If this case happens, a median filter is employed to remove the corresponding impulse noise. This judgment procedure is executed by regressing the filter window of an input pixel using SVR and then judging the input pixel by its regression distance. Huber loss function is used in SVR regression, due to its excellent robustness capability. The distinctive advantage of the filter ASBF over the latest Support Vector Classifier (SVC) based filter is that no training for the original noise-free image is required in our approach, which is well in accordance with our visual judgment way. Experimental results for benchmark images demonstrate that our filter ASBF here outperforms the extensively-used median-based filters and the SVC based filter.     

基于共同向量的非常态语音说话人识别算法

针对预先给定参数求解共同向量所存在的不足,提出了一种基于共同向量的非常态语音说话人识别算法,首先,通过系统识别率自适应调整求解共同向量的参数;然后,将系统识别率最高的参数视为最优参数,为测试语音提取共同向量,并用SVM分类器进行非常态语音说话人分类。实验结果表明：该算法所提取的共同向量,对轻微感冒语音说话人识别率为85.4%,比对特征不进行处理的GMM算法、SVM和结合共同向量的GMM算法的识别率分别提高了16.9%、15.2%和3.2%。     

数据挖掘技术在优化中药提取工艺中的应用

从中药提取工艺的历史数据中,挖掘确定提取参数的相关知识,用于指导工艺人员选择正交试验的影响因素及各因素水平。采用决策树ID3算法和支持向量分类算法,构建了提取次数的分类器;采用支持向量回归算法分别为提取时间和溶媒量建立了回归预测模型。实验结果表明,尽管ID3算法的结果可理解性较好,但支持向量分类算法有更高的精度;支持向量回归算法建立的预测模型是可靠的。     

基于多实体的矢量数据压缩改进算法

矢量数据压缩在地形环境仿真、制图综合、GIS等研究中具有重要作用,对增加移动设备的存储能力和提高矢量数据的网络传输效率来说是一项很重要的工作。根据动态规划算法理论、Douglas-Peucker算法和矢量数据的特点,提出了基于动态规划算法的矢量数据压缩的模型和改进方法,通过一条参考路径构造一条带形成最小误差搜索范围,同时条带宽度可自适应调整。并将单一实体的优化压缩算法扩展为基于多实体的压缩算法,解决了图层压缩的全局优化问题。实验结果表明,该方法具有较高的效率,能够得到较小的压缩误差。