集成学习的多分类器动态组合方法

为了提高数据的分类性能,提出一种集成学习的多分类器动态组合方法(DEA)。该方法在多个UCI标准数据集上进行测试,并与文中使用的基于Adaboost算法训练出的各个成员分类器的分类效果进行比较,证明了DEA的有效性。     

一种新的双层多分类器组合算法

多分类器组合是解决复杂模式识别问题的有效办法。文章提出了一种新的双层多分类器组合算法,首先利用分类对象的主次特征构建了多个差异的融合方案,然后对这些融合方案进行最终的组合决策。实验结果表明,对于复杂分类问题,本文算法具有较高的正确识别率。     

手写体字符识别的多特征多分类器设计

特征选取和分类器设计是字符识别系统设计的关键。文章针对手写体汉字和阿拉伯数字混和字符集的识别提出了依据不同的分类要求,分别选取不同的字符特征并采用神经网络多分类器进行识别的设计方法。实验结果表明,该方法用于手写体混合字符集的识别是行之有效的。     

神经网络集成与支持向量机在多值分类问题上的比较研究

神经网络集成和支持向量机都是在机器学习领域很流行的方法。集成方法成功地提高了神经网络的稳健性和精度,其中选择性集成方法通过算法选择差异度大的个体,取得了很好的效果。而支持向量机更是克服了神经网络的局部最优,不稳定等缺点,也在多个方面取得了很好的结果。该文着重研究这两种方法在小样本多类数据集上的性能,在四个真实数据集上的结果表明,支持向量机性能要比神经网络集成稍好.     

Hierarchical Fusion of Multiple Classifiers for Hyperspectral Data Analysis

Many classification problems involve high dimensional inputs and a large number of classes. Multiclassifier fusion approaches to such difficult problems typically centre around smart feature extraction, input resampling methods, or input space partitioning to exploit modular learning. In this paper, we investigate how partitioning of the output space (i.e. the set of class labels) can be exploited in a multiclassifier fusion framework to simplify such problems and to yield better solutions. Specifically, we introduce a hierarchical technique to recursively decompose a C-class problem into C_1 two-(meta) class problems. A generalised modular learning framework is used to partition a set of classes into two disjoint groups called meta-classes. The coupled problems of finding a good partition and of searching for a linear feature extractor that best discriminates the resulting two meta-classes are solved simultaneously at each stage of the recursive algorithm. This results in a binary tree whose leaf nodes represent the original C classes. The proposed hierarchical multiclassifier framework is particularly effective for difficult classification problems involving a moderately large number of classes. The proposed method is illustrated on a problem related to classification of landcover using hyperspectral data: a 12-class AVIRIS subset with 180 bands. For this problem, the classification accuracies obtained were superior to most other techniques developed for hyperspectral classification. Moreover, the class hierarchies that were automatically discovered conformed very well with human domain experts’ opinions, which demonstrates the potential of using such a modular learning approach for discovering domain knowledge automatically from data. Received: 21 November 2000, Received in revised form: 02 November 2001, Accepted: 13 December 2001     

基于F-SVMs的多模型建模方法

针对全局模型难以精确描述复杂工业过程的问题,提出一种基于模糊支持向量机(F-SVMs)的多模型(F-SVMs MM)建模方法。用模糊支持向量分类算法(F-SVC)对输入数据进行预处理,得到多模型模糊隶属度;用模糊支持回归算法(F-SVR)建立多模型(MM)估计器。应用该方法对pH中和滴定过程进行建模,仿真结果表明,F-SVMs MM跟踪性能好、泛化能力强,比USOCPN方法和标准支持向量机(SVMs)方法具有更好的性能和推广能力。     

基于重采样和集成选择的适用于实体识别的多分类器系统

实体识别常利用分类器根据记录对的字段相似度向量将记录对分为匹配、不匹配和可能匹配,因此分类器的准确性与实体识别的准确性直接相关。为提高分类准确性,本文基于重采样和集成选择技术构建一个多分类器系统。充分利用实体识别的特点,在分类之前发现分类困难的样本,并使重采样比率在一个区间内变化,生成一组重采样样本;然后用重采样后的样本训练分类器构建一个并行多分类器系统,强调分类器之间的差异度和稀疏度,从该多分类器系统中选择最优分类器子集,即最优的重采样比率组合,分别用非线性规划和极值方法求解该集成选择模型。实验结果表明,本方法与现有的多分类器系统相比具有更高的准确性。     

基于多微商核函数的SVM话者确认

给出了一种基于多微商核函数(MDK)的结合高斯混合模型(GMM)和支持向量机(SVM)的方法,并应用于SVM文本无关话者确认。从GMM话者语音特征概率分布出发,用多阶微商描述GMM概率分布,将GMM和SVM结合的问题转化为用多阶微商建立SVM话者模型的问题。首先对说话人语音进行基于因子分析的参数域失配补偿,用GMM描述失配补偿后的话者语音特征的概率分布;然后对GMM求多阶微商;最后构建多微商核函数,建立多SVM话者模型。在NIST’01 2min-1min话者确认数据库上的实验表明,基于多微商核函数的SVM话者确认系统性能优于基于失配补偿的GMM系统,也比基于失配补偿的Fisher核函数SVM话者系统和基于失配补偿的Kullback-Leibler(KL)距离SVM话者系统有较大的提高。     

集成特征选择的广义粗集方法与多分类器融合

为改善多分类器系统的分类性能, 提出了基于广义粗集的集成特征选择方法. 为在集成特征选择的同时获取各特征空间中的多类模式可分性信息, 研究并提出了关于多决策表的相对优势决策约简, 给出了关于集成特征选择的集成属性约简 (Ensemble attribute reduction,EAR) 方法, 结合基于知识发现的 KD-DWV 算法进行了高光谱遥感图像植被分类比较实验. 结果表明, EAR 方法与合适的多分类器融合算法结合可有效提高多分类器融合的推广性.     

基于多种LBP特征集成学习的人脸识别*

单一的特征与分类器只能对限定条件下的人脸进行较好的识别,当在非限定条件下(如光照、背景等发生变化时)将出现人脸识别率较低问题,针对该问题,提出了一种基于多种局部二进制特征集成学习的人脸识别算法。首先,使用监督梯度下降法 (SDM)对人脸特征点定位,应用中心对称局部二进制(CSLBP)算子提取每个特征点邻域特征,将所有人脸特征点邻域特征合成为精细的纹理特征;同时运用分区LBP直方图算法提取人脸区域的微观空间结构特征;然后,使用K最近邻算法(KNN)和支持向量机(SVM)分别训练这两种特征,得到类别排序列表和投票决策矩阵;最后,利用加权求和的规则融合决策矩阵,构成最优集成分类器,从而得到输出类别。通过在非限制性人脸库LFW上实验结果表明,所提算法采用集成的方法明显优于单一的特征和分类器。     

基于自适应增强SVM集成算法的风机故障诊断

提出了自适应增强支持向量机集成算法,并结合风机噪声信号的人耳听觉谱特征,对风机故障进行分类识别.现场实测数据的识别实验证明,该算法可正确识别99%的正常机器,并且对故障类型诊断的正确识别率比单个支持向量机分类器高1.88%～2.50%.     

多类支持向量机方法的研究现状与分析

支持向量机（SVM）是建立在统计学理论基础上的一种小样本机器学习方法，最初应用于解决两类分类问题．然而在解决实际问题中遇到的多为多分类问题，如何有效的将其推广到多类分类问题是一个正在研究的问题．该文对现有的多类支持向量机方法从组合多个两类分类器、层次结构、一次性优化问题和纠错编码等4个角度进行了综合归纳和分析，详细介绍了每种方法的代表性算法，并比较其优劣．     

Choosing Multiple Parameters for Support Vector Machines

The problem of automatically tuning multiple parameters for pattern recognition Support Vector Machines (SVMs) is considered. This is done by minimizing some estimates of the generalization error of SVMs using a gradient descent algorithm over the set of parameters. Usual methods for choosing parameters, based on exhaustive search become intractable as soon as the number of parameters exceeds two. Some experimental results assess the feasibility of our approach for a large number of parameters (more than 100) and demonstrate an improvement of generalization performance.     

基于证据理论的多类分类支持向量机集成

针对多类分类问题,研究支持向量机集成中的分类器组合架构与方法.分析已有的多类级和两类级支持向量机集成架构的不足后,提出两层的集成架构.在此基础上,研究基于证据理论的支持向量机度量层输出信息融合方法,针对一对多与一对一两种多类扩展策略,分别定义基本概率分配函数,并根据证据冲突程度采用不同的证据组合规则.在一对多策略下,采用经典的Dempster规则;在一对一策略下则提出一条新的规则,以组合冲突严重的证据.实验表明,两层架构优于多类级架构,证据理论方法能有效地利用两类支持向量机的度量层输出信息,取得了满意的结果.     

高维数据的1-范数支持向量机集成特征选择

特征选择是机器学习和模式识别领域的关键问题之一.随着模式识别与数据挖掘的深入,研究对象越来越复杂,对象的特征维数也越来越高,此时特征选择的稳定性也显得尤为重要.分析了1-范数支持向量机,用该方法对高维数据进行特征选择,并对特征选择的结果进行集成;提出了一种针对高维数据的稳定性度量方法;在基因表达数据上的实验结果表明,集成特征选择可以有效提高算法的稳定性.     

半监督SVM分类算法的交通视频车辆检测方法

针对交通场景运动车辆检测中车辆数目统计准确率不高、自适应性不强等问题,提出了一种基于半监督支持向量机(SVM)分类算法的交通视频车辆检测方法。利用人工标记的少量样本,分别训练2个基于方向梯度直方图(HOG)特征与基于局部二值模式(LBP)特征的不同核函数的SVM分类器;结合半监督算法的思想,构建SVM的半监督分类方法(SEMI-SVM),标记未知样本并加入到原样本库中,该方法支持样本库动态更新,避免了繁重的人工标记样本的工作,提高了自适应性;最后,通过三帧差分法提取运动区域,加载分类器在该区域进行多尺度检测,标记检测出来的运动车辆,统计车辆数目。实验结果表明:该方法在具有一定的自适应性的同时,有较高的车辆检测准确率,即使在复杂交通情况下,对运动车辆依然有很好的检测效果。     

基于支持向量数据描述的网络可生存性综合评估

针对网络可生存性综合评估方法中指标权重难以确定的问题,提出了基于支持向量数据描述(SVDD)的网络可生存性综合评估方法。该方法分析了SVDD的几何意义,采用二进制粒子群(BPSO)算法对建立的评估特征指标集进行特征选择,将所得的特征指标集视为整体来建立SVDD分类模型,并以测试样本点与模型的相对距离为依据评估系统的可生存性,避免了综合评估中指标权重确定的主观性。最后通过网络实例验证了评估模型的有效性。     

高速列车转向架故障信号的聚合经验模态分解和 模糊熵特征分析

为了对高速列车转向架关键部件进行状态监测,利用转向架故障振动信号的特点,提出了一种结合聚合经验模态分解和模糊熵的特征提取方法.对故障信号进行聚合经验模态分解,得到一系列具有不同物理意义的简单成分信号,采用相关分析法选取最能反映原信号特征的本征模态函数.对这些本征模态函数和原信号分别计算模糊熵值构成多尺度复杂性度量的特征向量,输入最小二乘支持向量机中进行分类识别,与模糊熵特征相比得到了更好的识别效果,证明了算法的有效性.