One-Class分类器研究

 传统的多类分类问题需要多类样本训练分类器,然而由于样本获取(复杂性或代价)的原因很多情况下只能获取一类样本,故只能利用这一类样本进行学习,形成数据描述从而实现分类,故称之为One-Class分类.鉴于目前单类分类研究存在领域相关方法和通用方法百花齐放的格局,本文首先给出了当前One-Class分类器的研究综述,然后重点针对基于核方法的单类分类器进行分析,将该类方法分为对偶方式和核距离方式两类,并分析各自的特点.最后论文介绍了目前的单类分类器的应用领域,指出其在故障分析、异常检测、疾病诊断和敌我识别等现实问题中的重要作用.     

一种集成式Beta过程最大间隔一类分类方法

一类分类是一种将目标类样本和其他所有的非目标类样本区分开的分类方法.传统的一类分类方法针对所有训练样本建立一个分类器,忽视了数据的内在结构,在样本分布复杂时,其分类性能会严重下降.为了提升复杂分布情况下的分类性能,该文提出一种集成式Beta过程最大间隔一类方法.该方法利用Dirichlet过程混合模型(DPM)对训练样本聚类,同时在每一个聚类学习一个Beta过程最大间隔一类分类器.通过多个分类器的集成,可以构造出一个描述能力更强的分类器,提升复杂分布下的分类效果.DPM聚类模型和Beta过程最大间隔一类分类器在同一个贝叶斯框架下联合优化,保证了每一个聚类样本的可分性.此外,在Beta过程最大间隔一类分类器中,加入了服从Beta过程先验分布的特征选择因子,从而可以降低特征冗余度以及提升分类效果.基于仿真数据、公共数据集和实测SAR图像数据的实验结果证明了所提方法的有效性.     

一种基于遗传算法的SVM决策树多分类方法

在当前的机器学习领域,如何利用支持向量机（SVM）对多类目标进行分类,同时提高分类器的分类效率已经成为研究的热点之一,有效地解决此问题对于提高目标的识别概率具有较大意义。本文针对SVM多分类问题提出了一种基于遗传算法的SVM最优决策树生成算法。算法以随机生成的决策树构建的SVM分类器对同一测试样本的分类正确率作为遗传算法的适应度函数,通过遗传算法寻找到最优决策树,再以最优决策树构建SVM分类器,最终实现SVM的多分类。将该算法应用于低空飞行声目标识别问题,实验结果表明,新方法比传统的1-a-1、1-a-r、SVM-DL和GADT-SVM方法有更高的分类精度和更短的分类时间。      

一种新的基于SVM的文本分类增量学习算法

文本分类将自然语言文本按内容归入一个或多个预定义类别中,在许多信息组织和管理中都是一项重要的内容。不同算法的分类;佳确性各不相同。在文本分类领域,SVM分类器是一种常用且效果较好的分类器,具有较严密的理论基础。对SVM分类器进行了分析,提出了利用增量模式实现多类文本分类的算法。实验表明：增量方法大大减少新类增加时分类器更新所需要的学习步骤和时间,是一种较好的分类算法。     

基于支持向量机分类器的活动形状模型

为了精确地寻找活动形状模型中特征点的新位置,提出了一种基于支持向量机分类器的活动形状模型用于人脸特征点定位,即把寻找特征点新位置的任务转化为分类问题.起初,这是典型的两类分类问题,但两类分类器寻找特征点新位置效果并不理想.因此进一步提出把两类分类问题转化为多类分类问题.为每一个特征点训练一个支持向量机多类分类器,并用此分类器寻找该特征点新位置.实验结果表明,基于支持向量机多类分类器的活动形状模型比原始活动形状模型更为精确,稳健.     

基于MKSVM的多示例学习算法及刑侦图像分类

针对刑侦图像分类问题,提出一种基于多核支持向量机的多示例学习(MIL)算法.首先,该方法采用金字塔网格划分法对刑侦图像进行分块,再将每幅图像作为一个多示例包,每个子块的底层视觉特征作为包中的示例,将刑侦图像分类问题转化为MIL问题;然后,采用K-means双重聚类方法对所有多示例包进行聚类生成聚类中心并定义为视觉字,再把视觉字的集合构造成视觉投影空间;最后,通过设计的非线性投影函数将每个包映射为视觉投影空间中的一个点,则MIL问题被转化为一个标准的有监督学习问题,并采用多核支持向量机(MKSVM)来训练刑侦图像分类器.基于真实刑侦图像库的对比实验表明,所提方法具有较好的鲁棒性,且分类精度高于其他方法.     

中国民歌地域风格分类中的特征选择

 歌曲风格的自动分类技术研究,是音乐信息检索领域中一个重要课题.本文主要讨论了对中国民歌地域风格自动分类中不同特征选择方法对于分类性能的影响.论文选用10个不同地域的1392首原生态中国民歌,进行了地域风格的分类实验.实验结果表明:在多种分类器的试验中,SVM分类器的分类准确率最高;在多种特征选择实验中使用SVM与Active Feature Selection的特征选择方法的分类准确率最高,为83%,且选择出的有效特征参数从74维降为35维,更便于进行参数分析.     

基于二叉树SVM的弹道目标RCS识别

二叉树支持向量机(SVM)是一种针对多类问题的有效分类器,具有结构简单、训练快的特点,但二叉树SVM容易出现误差积累,且不能输出识别结果的置信度。文中设计了一种基于隶属度计算的二叉树SVM分类器,首先,该分类器利用方差和最小准则选择节点,将多类问题转化为偏二叉树SVM分类问题,避免了误差积累,然后,利用特征变换空间的类中心和类半径,计算出样本结果的置信度,使得二叉树SVM分类器能够输出模糊结果。将上述二叉树SVM分类器应用于弹道目标的RCS特征识别,仿真结果表明了该方法的有效性。     

多分类器融合的快速高维特征聚类图像分割

提出一种多分类器融合的快速高维特征聚类图像分割方法,将图像高维特征数据的分类分解为基于灰度(颜色)特征的最佳模糊分类以及基于空域约束的统计分类等多个低维特征数据的分类.通过多分类器融合的方法将不同分类器得到的分类结果进行优化整合,得到最后的分类结果.实验证明:与其它图像分类算法相比,该方法拥有更好的分割性能并大大提高了计算速度,最大限度地保证了分割算法计算的简单有效性.     

加权解码在解决纠错输出编码Consistent-Diverse平衡问题的应用

 纠错输出编码作为解决多类分类问题的通用集成框架,能有效的把多类问题分解为二类问题从而使问题得以简化.然而在生成基分类器的过程中,经常面临提高基分类器之间的差异性和增加各基分类器与集成分类器学习的一致性的矛盾,称之为consistent-diverse平衡问题.在保证差异性的前提下减小由学习不一致性引起的分类错误率是解决该平衡问题的一个出发点,在此利用加权解码,通过对加权系数矩阵的再学习进而减弱和消除由基分类器学习不一致性产生的误差.实验利用人工数据集和UCI数据集分别加以验证,结果表明以集成分类器的分类错误率为适应度函数的遗传算法搜索出的最优加权系数矩阵相比其它方法产生的系数矩阵在解决consistent-diverse平衡问题更具有优越性.     

Intravascular Ultrasound Tissue Characterization with Sub-class Error-Correcting Output Codes

Intravascular ultrasound (IVUS) represents a powerful imaging technique to explore coronary vessels and to study their morphology and histologic properties. In this paper, we characterize different tissues based on radial frequency, texture-based, and combined features. To deal with the classification of multiple tissues, we require the use of robust multi-class learning techniques. In this sense, error-correcting output codes (ECOC) show to robustly combine binary classifiers to solve multi-class problems. In this context, we propose a strategy to model multi-class classification tasks using sub-classes information in the ECOC framework. The new strategy splits the classes into different sub-sets according to the applied base classifier. Complex IVUS data sets containing overlapping data are learnt by splitting the original set of classes into sub-classes, and embedding the binary problems in a problem-dependent ECOC design. The method automatically characterizes different tissues, showing performance improvements over the state-of-the-art ECOC techniques for different base classifiers. Furthermore, the combination of RF and texture-based features also shows improvements over the state-of-the-art approaches.     

基于ROC的三元再编码研究

针对三元编码矩阵中基分类器不包含被忽略样本类别先验知识的问题,该文提出一种基于接收机工作特性(ROC)曲线的矩阵再编码方法。首先基于ROC曲线寻找构造拒绝域的阈值对,从而获得最优分类器;然后利用最优分类器对训练样本中被忽略的类别进行分类,将经典的二值输出变为三值输出,从而对初始编码矩阵的码元0进行重新编码。在解码阶段,采用经典的汉明距离解码方法对未知样本进行决策。该方法能够避免基分类器的二次训练,适用于任意的三元纠错输出编码,具有良好的普适性和实用性。基于人工和UCI公共数据集的实验结果表明该方法简单高效,在不增加训练时间的基础上,能够提高解码的速度和精度,促进分类效果的提升。     

一种基于遗传算法的SVM决策树多分类策略研究

提出了一种基于遗传算法(GA)的SVM最优决策树生成算法,并将其应用于解决SVM多分类问题.首先以最大分类间隔为准则,利用遗传算法对传统的SVM决策树进行优化,生成最优(或近优)决策二叉树;然后在各个决策节点,利用传统的SVM算法进行二值分类,最终实现SVM的多值分类.理论分析及实验结果表明,新方法比传统的DT-SVM、DAG-SVM方法有更高的分类精度,比经典的1-a-1、1-a-r有更高的训练和分类效率.     

Higher-dimensional Hadamard matrices

The concept of a Hadamard matrix as a binary orthogonal matrix is extended to higher dimensions. Ann-dimensional Hadamard matrix[h_{ijk cdots n}]is defined as one in which all parallel(n - 1)-dimensional layers, in any axis-normal orientation, are uncorrelated. This is equivalent to the requirements thath_{ijk cdots n} = pm1and thatsum_{p} sum_{q} sum_{r} cdots sum_{y} h_{pqr cdots yb}= m^{(n-1)} delta_{ab}where(pqr cdots yz)represents all permutations of(ijk cdots n). A "proper"n-dimensional Hadamard matrix is defined as a special case of the above in which all two-dimensional layers, in all axis-normal orientations, are Hadamard matrices, as a consequence of which all intermediate-dimensional layers are also Hadamard matrices. Procedures are described for deriving three- and four-dimensional Hadamard matrices of varying propriety from two-dimensional Hadamard matrices. A formula is given for a fully propern-dimensional matrix of order two, which can be expanded by direct multiplication to yield proper(2^{t})^{n}Hadamard matrices. It is suggested that proper higher dimensional Hadamard matrices may find application in error-correcting cedes, where their hierarchy of orthogonalitias permit a variety of checking procedures. Other types of Hadamard matrices may be of use in security codes on the basis of their resemblance to random binary matrices.     

New bounds on the total squared correlation and optimum design of DS-CDMA binary signature sets

The Welch lower bound (see Welch, R.L., IEEE Trans. Inform. Theory, vol.IT-20, p.397-9, 1974) on the total squared correlation (TSC) of signature sets is known to be tight for real-valued signatures and loose for binary signatures whose number is not a multiple of four. We derive new bounds on the TSC of binary signature sets for any number of signatures K and any signature length L. Then, for almost all K, L in {1,2,...,256}, we design optimum binary signature sets that achieve the new bounds. The design procedure is based on simple transformations of Hadamard matrices.     

ECOC多类分类研究综述

纠错输出编码能有效地将多类问题转化为二类问题进行求解,已受到国内外从事机器学习的研究者们的重视,并使其成为多类分类领域的研究热点.本文首先分析了ECOC多类分类的原理和框架,指出解决ECOC多类分类问题的关键在于解码策略和编码策略的确定;然后从这两个关键点出发综述了ECOC多类分类的最新进展和应用领域;最后指出了目前存在的问题以及下一步研究方向.论文研究成果将为基于ECOC多类分类方法在实际应用过程中起借鉴和参考作用.     

Multi-class pattern recognition with the group match competition method

High recognition rate of multi-class pattern recognition is difficult to obtain, especially when the feature extraction is not ideal. So achieving a high recognition rate with nonideal feature extraction makes great sense. Based on the early study of multiple-set-compete method (MSCM) and the algorithm of result reliability, this article proposes a new recognition method named group match competition method (GMCM). The GMCM precedes the early work with a larger scope of applications. Early work which the authors did can only deal with the recognition work with the number of powers of 2 classes, while GMCM can cope with the classes of any number. This article further illustrates the MSCM, the algorithm of result reliability and their functions in the GMCM. Three sets of cases are demonstrated and formats of grouping are discussed. The recognition results show that the GMCM is a robust method and it is capable of achieving the high recognition rate of the multi-class pattern recognition.     

Study on the classification of multi-spectral images based on a FSVM multi-class classifier with the binary tree

Due to the features of the multi-spectral images, the result with the usual methods based on the support vector machine (SVM) and binary tree is not satisfactory. In this paper, a fuzzy SVM multi-class classifier with the binary tree is proposed for the classification of multi-spectral images. The experiment is conducted on a multi-spectral image with 6 bands which contains three classes of terrains. The experimental results show that this method can improve the segmentation accuracy. 更多还原     

一种基于HDDT集成的多类不平衡学习方法

在很多真实世界问题中,不同类别的数据样本往往有显著的不平衡性,即大类的样本远多于小类.对类别不平衡样本进行学习,是目前国内外数据挖掘和机器学习领域的研究热点之一.以往对不平衡样本学习的研究主要针对二分类问题进行,由此针对多分类问题,提出一种基于HDDT决策树集成的多类不平衡学习方法.实验表明,该方法可以有效地对多类不平衡问题进行学习.     

基于修正核函数SVM的一维距离像识别

支持向量机的识别性能很大程度上依赖于核函数的使用。根据黎曼几何理论,提出了一种新的保角变换,对核函数进行数据依赖性改进。该方法通过扩大分类边界处的黎曼张量,使得分类间隔扩大,从而提高支持向量机的分类能力。针对多类舰船目标的识别,利用聚类分析中的均值距离来生成二叉树,将分类器分布在各个节点上,构成多分类支持向量机。对四类舰船目标仿真实验的结果表明,该分类方法无论识别率还是识别速度都具有优势。