基于代价敏感思想和自适应增强集成的SVM多分类算法

针对数据识别分类在传统的支持向量机(SVM)个体分类器上正确识别率不理想的问题，提出一种基于代价敏感思想(cost-sensitive)和自适应增强(AdaBoost)的SVM集成数据分类算法(CAB-SVM)。在自适应增强算法每次迭代训练SVM弱分类器之前，根据样本总数设置初始样本权值，并抽取样本组成临时训练集训练SVM弱分类器。其中在权重迭代更新阶段，赋予被分错样本更高的误分代价，使得被分错样本权重增加更快，有效地减少了算法迭代次数。同时，算法迭代过程极大地优化了个体分类器的识别鲁棒性能，使得提出的CAB-SVM算法获得了更优越的数据分类性能。利用UCI数据样本集的实验结果表明CAB-SVM分类算法的正确识别率高于SVM和SVME算法。     

基于支持矢量机和决策树的多值分类器

基于SVM理论的分类器已经发展为一种通用的二值分类器，但它不适用于多值的场合。该文在分析经典的SVM分类算法和决策树分类算法的基础上，采用了将SVM和二叉决策树结合的方法来实现多类问题的分类，实验表明它与一对一的多值分类器具有相似的分类精度，并比一对一的分类算法具有快的测试速度。     

基于覆盖算法的SVM雷达辐射源识别

传统的支持向量机(SVM)多值分类算法在构造多个二值分类器时存在计算量较大和分类速度较低的问题。为此,将覆盖思想引入SVM分类算法中,提出一种基于覆盖的SVM多分类算法,通过构造覆盖集寻找更紧致的优化区域,从而提高分类速度。将该算法应用到雷达辐射源识别中,仿真结果表明,该算法能够获得较好的识别效果。     

基于SVM算法的文本分类技术研究

在优化分类技术的研究中,文本特征化后通常具有高维性和不平衡性的特点,导致传统的分类算法准确率不高的问题.针对文本分类器的性能容易受到核函数和参数的影响的问题,为提高文本分类器的准确性.采用支持向量机(SVM)的理论在文本分类技术同时将根据优化的粒子群算法(PSO)引入SVM分类算法中进行优化文本分类器的参数,将分类器的准确率作为PSO算法适应度函数通过粒子移动操作找出最佳参数并用SVM算法进行分类.在文本数据集上的仿真结果表明,与传统的算法相比,经PSO算法优化后的SVM文本分类器的准确性更高,PSO算法是一种有效的优化方法,能广泛应用于文本分类问题.     

粒子群优化支持向量机的入侵检测算法

为了提高网络入侵的检测正确率,针对网络入侵检测中特征选择问题,将二值粒子群优化算法(BPSO)用于网络入侵特征选择,结合支持向量机(SVM)提出了一种基于BPSO-SVM的网络入侵检测算法。该算法将网络入侵检测转化为多分类问题,采用wrapper特征选择模型,以SVM为分类器,通过样本训练分类器,根据分类结果,利用BPSO算法在特征空间中进行全局搜索,选择最优特征集进行分类。实验结果表明,BPSO-SVM有效降低了特征维数,显著提高了网络入侵的检测正确率,还大大缩短了检测时间。     

一种利用K-SVM的测谎新算法

文中将支持向量机( SVM)和K近邻算法( KNN)相结合,提出一种基于K-SVM分类器的心理意识真实性识别新方法,获得了满意的结果。对15名受试者分别进行两组测试：模拟犯罪组和自传信息组。提取多通道ERP的P300幅值、波形面积和峰峰值组成特征向量,利用K-SVM算法分类,获得平均识别率分别为92.11%和97.37%,两组实验中分类精度都比单纯的SVM分类算法有明显的提高。因此文中的新算法可以为心理意识真实性检测提供一定的参考。     

基于损失最小化的SVM多类网页分类算法

本文提出一种基于损失最小化的SVM多类网页分类算法，该算法在多类的网页分类问题上将基于损失最小化的SVM分类算法和KNN相结合，在选择分类器顺序的问题上采用剩余样本最小错误率方法。实验表明该方法简单有效，较大地提高了SVM分类算法的准确性。     

基于KNN+层次SVM的文本自动分类技术

针对大规模文本的自动层次分类问题,K近邻(KNN)算法分类效率较高,但是对于处于类别边界的样本分类准确度不是很高。而支持向量机(SVM)分类算法准确度比较高,但以前的多类SVM算法很多基于多个独立二值分类器组成,训练过程比较缓慢并且不适合层次类别结构等。提出一种融合KNN与层次SVM的自动分类方法。首先对KNN算法进行改进以迅速得到K个最近邻的类别标签,以此对文档的候选类别进行有效筛选。然后使用一个统一学习的多类稀疏层次SVM分类器对其进行自上而下的类别划分,从而实现对文档的高效准确的分类过程。实验结果表明,该方法在单层和多层的分类数据集上的分类准确度比单独使用其中任何一种要好,同时分类时间上也比较接近其中最快的单个分类器。     

基于混沌粒子群优化的SVM分类器研究

支持向量机(SVM)分类器能较好地解决小样本、非线性、高维等分类问题,具有很强的实用性。然而,支持向量机训练参数的选择对其分类精度有着很大的影响。常用的支持向量机优化方法有遗传算法、粒子群算法都存在易陷入局部极值,优化效果较差的不足。为解决上述问题在粒子群优化算法中引入混沌思想,提出了基于混沌粒子群优化算法(CPSO)的SVM分类器优化方法,CPSO算法能提高种群的多样性和粒子搜索的遍历性,从而有效地提高了PSO算法的收敛速度和精度,更好的优化SVM分类器。并以网络异常入侵检测为研究对象进行仿真,实验结果表明,根据混沌粒子群优化的SVM分类器比传统算法优化的SVM分类器的精度高,速度快。     

双层分类策略及其实现算法*

针对常见分类算法在全局和局部区域性能不一致的问题,提出了双层分类策略及其实现算法。双层分类策略的思想是离线地建立全局分类器,当全局分类器决策信用度低于指定阈值时,在线生成局部分类器进行决策修正。实现算法以支持向量机(support vector machine,SVM)和模糊分类器(fuzzy classifier)作为全局与局部分类器,命名为SFC。为全局分类器定义了SVM决策信用度的评估机制,并以此给出局部分类器的启动条件。为局部分类器设计了基于新测度的模糊隶属度函数完成决策修正。实验结果表明,SFC     

基于SVM的图像分类研究

图像分类技术有着重要的应用前景，而且对于基于内容的图像检索的发展会有积极的推动作用。多类图像分类是图像分类中的难点，对基于SVM的多类图像分类方法进行了研究，提出在二类支持向量机的基础上构造多类分类器的方法，实验结果证明和传统方法相比，分类准确率有了较大的提高。     

支持向量机多类目标分类器的结构简化研究

由于支持向量机(SVM)在模式识别和回归分析中有着独特优势，因此成为近来研究的热点，其优势主要体现在处理非线性和高维数据问题方面。最初的SVM特别适合解决两类目标分类问题，而对于多类目标分类，则需将其转化为多个两类目标分类问题，相应地即可构造多个两类目标子分类器，但由于这种情况导致了分类器结构的过于复杂，从而导致判决速度的降低。为了快速地进行分类．提出了一种简化结构的多类目标分类器，其不仅使得子分类器数目大大减少，而且使分类速度明显提高；同时对其分类精度和复杂度进行了对比分析。实验结果证明。该分类器是有效的。     

多类支持向量机算法综述

传统的支持向量机是基于两类问题提出的，如何将其有效的推广至多类问题仍是一个有待研究的问题。本文中作者致力于对现有的几种较有成效的多类支持向量机做一介绍，并比较其优劣，以期对研究者以后的研究能有所启发。     

基于Gabor直方图特征和MVBoost的人脸表情识别

提出采用Gabor变换与分级直方图统计相结合的方法来提取表情特征,以分层次反映局部区域内纹理变化的信息.这比仅用一维的Gabor系数具有更强的特征表示能力.借助直方图特征,还设计了向量输入、多类连续输出的弱分类器,并嵌入到多类连续AdaBoost的算法框架中,得到了向量输入、多类输出的MVBoost方法.该方法直接对特征进行多类的判决以满足多类时分类的需求,而不必训练多个二分类的AdaBoost分类器,从而使训练过程和分类过程都得到简化.     

一种用于贝叶斯分类器的文本特征选择方法

特征选择是文本分类中一种重要的文本预处理技术,它能够有效地提高分类器的精度和效率。文本分类中特征选择的关键是寻求有效的特征评价指标。一般来说,同一个特征评价指标对不同的分类器,其效果不同,由此,一个好的特征评价指标应当考虑分类器的特点。由于朴素贝叶斯分类器简单、高效而且对特征选择很敏感,因此,对用于该种分类器的特征选择方法的研究具有重要的意义。有鉴于此,提出了一种有效的用于贝叶斯分类器的多类别文本特征评价指标:CDM。利用贝叶斯分类器在两个多类别的文本数据集上进行了实验。实验结果表明提出的CDM指标具有比其它特征评价指标更好的特征选择效果。     

基于多类指数损失函数逐步添加模型的改进多分类AdaBoost算法

多类指数损失函数逐步添加模型（SAMME）是一种多分类的AdaBoost算法,为进一步提升SAMME算法的性能,针对使用加权概率和伪损失对算法的影响进行研究,在此基础上提出了一种基于基分类器对样本有效邻域分类的动态加权AdaBoost算法SAMME.RD。首先,确定是否使用加权概率和伪损失;然后,求出待测样本在训练集中的有效邻域;最后,根据基分类器针对有效邻域的分类结果确定基分类器的加权系数。使用UCI数据集进行验证,实验结果表明：使用真实的错误率计算基分类器加权系数效果更好;在数据类别较少且分布平衡时,使用真实概率进行基分类器筛选效果较好;在数据类别较多且分布不平衡时,使用加权概率进行基分类器筛选效果较好。所提的SAMME.RD算法可以有效提高多分类AdaBoost算法的分类正确率。     

基于朴素贝叶斯的中文海事文本多分类器研究

设计一个有效地基于朴素贝叶斯的中文海事文本多分类器。在文本分类的预处理步骤中,在中文分词上选取领域词典和停用词典有效地降低特征维数、选取IG特征提取方法、改进的TF-IDF公式中特征词权重的计算方法,以建立词频矩阵等,最后用选取的海事样本数据进行训练建立分类库。实验数据表明,本文的基于朴素贝叶斯的中文海事文本多分类器具有很好的高效性和准确性。     

多标签代价敏感分类集成学习算法

尽管多标签分类问题可以转换成一般多分类问题解决,但多标签代价敏感分类问题却很难转换成多类代价敏感分类问题.通过对多分类代价敏感学习算法扩展为多标签代价敏感学习算法时遇到的一些问题进行分析,提出了一种多标签代价敏感分类集成学习算法.算法的平均错分代价为误检标签代价和漏检标签代价之和,算法的流程类似于自适应提升（Adaptive boosting,AdaBoost）算法,其可以自动学习多个弱分类器来组合成强分类器,强分类器的平均错分代价将随着弱分类器增加而逐渐降低.详细分析了多标签代价敏感分类集成学习算法和多类代价敏感AdaBoost算法的区别,包括输出标签的依据和错分代价的含义.不同于通常的多类代价敏感分类问题,多标签代价敏感分类问题的错分代价要受到一定的限制,详细分析并给出了具体的限制条件.简化该算法得到了一种多标签AdaBoost算法和一种多类代价敏感AdaBoost算法.理论分析和实验结果均表明提出的多标签代价敏感分类集成学习算法是有效的,该算法能实现平均错分代价的最小化.特别地,对于不同类错分代价相差较大的多分类问题,该算法的效果明显好于已有的多类代价敏感AdaBoost算法.     

A genetically optimized neural network model for multi-class classification

Multi-class classification is one of the major challenges in real world application. Classification algorithms are generally binary in nature and must be extended for multi-class problems. Therefore, in this paper, we proposed an enhanced Genetically Optimized Neural Network (GONN) algorithm, for solving multi-class classification problems. We used a multi-tree GONN representation which integrates multiple GONN trees; each individual is a single GONN classifier. Thus enhanced classifier is an integrated version of individual GONN classifiers for all classes. The integrated version of classifiers is evolved genetically to optimize its architecture for multi-class classification. To demonstrate our results, we had taken seven datasets from UCI Machine Learning repository and compared the classification accuracy and training time of enhanced GONN with classical Koza’s model and classical Back propagation model. Our algorithm gives better classification accuracy of almost 5% and 8% than Koza’s model and Back propagation model respectively even for complex and real multi-class data in lesser amount of time. This enhanced GONN algorithm produces better results than popular classification algorithms like Genetic Algorithm, Support Vector Machine and Neural Network which makes it a good alternative to the well-known machine learning methods for solving multi-class classification problems. Even for datasets containing noise and complex features, the results produced by enhanced GONN is much better than other machine learning algorithms. The proposed enhanced GONN can be applied to expert and intelligent systems for effectively classifying large, complex and noisy real time multi-class data.     

支持向量机解决多分类问题研究

支持向量机(SVM)是建立在统计学习理论基础上的一种小样本机器学习方法,用于解决二分类问题。但在解决实际问题中遇到的多为多分类问题,通过研究现有提出的一些支持向量机多分类的方法,并进行分析比较,在一对一分类方法基础上提出具有容噪声的分类方法,通过标准数据集实验加以验证。