带拒绝域的ECOC多类分类

针对纠错输出编码分解框架的自身特点、从降低误判风险出发,研究了带拒绝域的ECOC多类分类方法.首先在二类划分过程中引入拒绝域,对不属于正负子类的待识别样本进行拒识;其次,在基分类器内部引入拒绝域,以最小化风险贝叶斯决策为目标,利用后验概率输出和代价矩阵寻找拒绝域阈值,对样本输出值落入拒绝域中的样本进行拒识;最后,研究了不同拒绝域输出的解码方法,并讨论了拒识码字个数和矩阵最小Hamming距离之间的关系.实验结果表明基于二类划分构造的拒绝域能够提高分类正确率,而基于基分类器构造的拒绝域能够减小分类代价.     

基于免疫克隆选择的最优ECOC编码输出

纠错输出编码（Error Correcting Output Codes,ECOC）是解决模式识别领域多类分类问题的有效工具。在寻找最优编码输出的问题上,现有方法忽略了样本类别之间的相关性,导致学习效率和分类效果低下。为构造数据感知的编码矩阵,提出基于免疫克隆选择（Immune Clonal Selection Algorithm,ICSA）的最优纠错输出编码方法,将矩阵构造的多约束NP（Non-deterministic Polynomial,NP）难问题转换为优化搜索问题.首先基于分类精度和编码长度定义亲合度函数,然后结合样本知识改进变异交叉算子,根据约束性条件对矩阵进行搜索,从而快速有效地构建最优ECOC编码.实验表明该方法能够在提升多类分类精度的同时加快算法效率,而且输出的编码矩阵更加紧凑.     

基于神经网络的纠错输出编码方法研究

构造基于数据编码矩阵是目前利用纠错输出编码解决多类分类问题的研究重点.为此提出利用单层感知器作为学习框架,结合解码策略把输出编码矩阵各码元值映射为感知器网络中的权值,同时引入含权值取值约束的目标函数作为该网络代价函数,并对其进行学习,最终得到基于子类划分的数据编码矩阵.实验中利用人工数据集和UCI数据集并选择线性逻辑分类器作为基分类器分别进行测试,通过与几种经典编码方法比较,结果表明该编码方法能在编码长度较小情况下得到更好的分类效果.     

加权解码在解决纠错输出编码Consistent-Diverse平衡问题的应用

 纠错输出编码作为解决多类分类问题的通用集成框架,能有效的把多类问题分解为二类问题从而使问题得以简化.然而在生成基分类器的过程中,经常面临提高基分类器之间的差异性和增加各基分类器与集成分类器学习的一致性的矛盾,称之为consistent-diverse平衡问题.在保证差异性的前提下减小由学习不一致性引起的分类错误率是解决该平衡问题的一个出发点,在此利用加权解码,通过对加权系数矩阵的再学习进而减弱和消除由基分类器学习不一致性产生的误差.实验利用人工数据集和UCI数据集分别加以验证,结果表明以集成分类器的分类错误率为适应度函数的遗传算法搜索出的最优加权系数矩阵相比其它方法产生的系数矩阵在解决consistent-diverse平衡问题更具有优越性.     

基于自助法抽样分布的ROC分析

对于两类分类问题,错误率描述了分类器在单一判决阈值下的推广性能.然而,当两类错分代价不相等时,人们往往需要了解分类器在不同判决阈值下的性能.ROC(receiver operating characteristics)分析提供了一种全面了解分类器性能的途径,但是由于实际样本个数有限,训练集和测试集的划分必然会影响ROC曲线的形状,从而导致ROC分析具有不确定性.针对Fisher线性判别,本文提出了一种基于自助法抽样分布的ROC曲线生成方法.具体如下:定义Fisher线性分类器对测试样本的判别值为统计量,由自助法分别得到Fisher线性分类器对两类测试样本判别值的两个抽样分布,在这两个抽样分布范围内连续地改变阈值即可得到ROC曲线.实验表明,与随机划分和10重交叉验证相比,由本文方法生成的ROC曲线形状更加稳定,并且相应ROC曲线下面积的置信区间更短,也即本文方法能产生更加精确的ROC分析.     

基于混合属性的零样本图像分类

对于具有相似属性的类别而言,在有限维度的语义属性下,基于属性的零样本图像分类器难以对它们进行正确区分.考虑到语义属性描述类别的有限性,在直接属性预测(Direct Attribute Prediction,DAP)模型的基础上,提出一种基于混合属性的零样本图像分类模型(Hybrid Attribute-Based DAP,HA-DAP).首先,对样本的底层特征进行稀疏编码并利用编码后的非语义属性来辅助现有的语义属性;将非语义属性与语义属性构成混合属性并将其作为DAP模型的属性中间层,利用属性预测模型的思想进行混合属性分类器的训练;最后,根据预测的混合属性以及属性与类别之间的关系进行测试样本类别标签的预测.在OSR、Pub Fig以及Shoes数据集上的实验结果表明,HA-DAP的分类性能优于DAP,不仅能够取得较高的零样本图像分类精度,而且还获得了较高的AUC值.     

文本分类中基于K-means的类偏斜KNN样本剪裁

KNN算法是经典的文本分类算法.训练样本的数量和类别密度是影响算法性能的主要瓶颈,合理的样本剪裁可以提高分类器效率.文中提出了一种基于聚类的改进KNN分类模型.首先对训练集进行聚类,基于测试样本与簇之间的相对位置对训练集进行合理裁剪以节约计算开销;然后基于簇内样本分布进行样本赋权,改善大类别样本的密度占优现象.实验结果表明,本文提出的样本剪裁方法提高了KNN算法的分类性能.     

基于贝叶斯分类器的图像隐写分析

集成分类器是目前用于图像隐写分析的主流分类器。为提高集成分类器的检测精度,针对集成分类器基分类器组合方法过于简单,无法体现基分类器之间的内在联系,不能从整体上对结果进行判定的缺点,依据图像特征在集成分类器分类超平面上的投影值服从多维正态分布这一特性,提出了一种基于贝叶斯分类器的图像隐写分析算法。首先基于随机森林算法生成若干基分类器,然后计算类条件概率密度函数与先验概率并训练贝叶斯分类器,最后使用经过训练的贝叶斯分类器代替简单投票方法进行分类判决。算法的检测错误率比以往算法平均降低了1.6%,ROC曲线比简单投票方法更接近于左上角,即具有更高的检测率,AUC值平均增长约2.12%,并且训练时间仅有少量提高,最大提高约2.610s。可以有效提高集成分类器的检测精度。     

基于复合核支持向量回归机的多类分类算法

针对传统支持向量机(SVM)在解决多类分类问题时需要训练多个分类器、存在不可分区域等问题,研究了基于支持向量回归机的多类分类算法。利用回归思想求解多类分类问题,将分类样本作为回归输入,样本的类别标识作为回归输出,通过支持向量回归机训练拟合出各样本与其类别标识之间的函数关系。将待分类样本代入回归函数,对其输出取整后即可得到样本类别。该算法仅使用1个分类器,明显简化了分类过程。另外,引入复合核函数来提高支持向量回归机的性能。采用加州大学欧文分校(UCI)例题库中的多类分类问题进行仿真验证,并将改进算法与传统算法作对比,结果表明改进算法在分类速度和准确率上都有显著提高。     

基于ROC曲线的目标识别性能评估方法

在自动目标识别（ATR）领域,评估目标识别算法性能的指标常用的有分类准确度、精确度、检测概率、混淆矩阵等,但这些指标都存在固有的局限性,对类别先验概率不具有稳健性。近几年来采用的基于雷达接收机工作特性曲线即ROC曲线的评估方法得到的评估结论不敏感于类别先验概率,从根本上克服了以上指标的缺陷。同时,该评估方法可以在错误分类代价未知的情况下进行,并能对识别算法进行多门限评估,因而在分类器识别算法性能评估中得到了广泛应用。文中首先叙述了ROC曲线和ROC曲线建立的方法,然后详细论述了基于ROC曲线的评估方法中常用的性能评估指标。     

ECOC多类分类研究综述

纠错输出编码能有效地将多类问题转化为二类问题进行求解,已受到国内外从事机器学习的研究者们的重视,并使其成为多类分类领域的研究热点.本文首先分析了ECOC多类分类的原理和框架,指出解决ECOC多类分类问题的关键在于解码策略和编码策略的确定;然后从这两个关键点出发综述了ECOC多类分类的最新进展和应用领域;最后指出了目前存在的问题以及下一步研究方向.论文研究成果将为基于ECOC多类分类方法在实际应用过程中起借鉴和参考作用.     

Intravascular Ultrasound Tissue Characterization with Sub-class Error-Correcting Output Codes

Intravascular ultrasound (IVUS) represents a powerful imaging technique to explore coronary vessels and to study their morphology and histologic properties. In this paper, we characterize different tissues based on radial frequency, texture-based, and combined features. To deal with the classification of multiple tissues, we require the use of robust multi-class learning techniques. In this sense, error-correcting output codes (ECOC) show to robustly combine binary classifiers to solve multi-class problems. In this context, we propose a strategy to model multi-class classification tasks using sub-classes information in the ECOC framework. The new strategy splits the classes into different sub-sets according to the applied base classifier. Complex IVUS data sets containing overlapping data are learnt by splitting the original set of classes into sub-classes, and embedding the binary problems in a problem-dependent ECOC design. The method automatically characterizes different tissues, showing performance improvements over the state-of-the-art ECOC techniques for different base classifiers. Furthermore, the combination of RF and texture-based features also shows improvements over the state-of-the-art approaches.     

Voronoi域模式分类器

提出基于模式训练的Voronoi划分向量分类器结构,指出该结构是以欧几里得距离为测量的最优模式分类器,给出M类k维(k2)Voronoi域分类器的两个判决准则和三种结构。     

Classification of malignant and benign masses based on hybrid ART2LDA approach

A new type of classifier combining an unsupervised and a supervised model was designed and applied to classification of malignant and benign masses on mammograms. The unsupervised model was based on an adaptive resonance theory (ART2) network which clustered the masses into a number of separate classes. The classes were divided into two types: one containing only malignant masses and the other containing a mix of malignant and benign masses. The masses from the malignant classes were classified by ART2. The masses from the mixed classes were input to a supervised linear discriminant classifier (LDA). In this way, some malignant masses were separated and classified by ART2 and the less distinguishable benign and malignant masses were classified by LDA. For the evaluation of classifier performance, 348 regions of interest (ROI's) containing biopsy proven masses (169 benign and 179 malignant) were used. Ten different partitions of training and test groups were randomly generated using an average of 73% of ROI's for training and 27% for testing. Classifier design, including feature selection and weight optimization, was performed with the training group. The test group was kept independent of the training group. The performance of the hybrid classifier was compared to that of an LDA classifier alone and a backpropagation neural network (BPN). Receiver operating characteristics (ROC) analysis was used to evaluate the accuracy of the classifiers. The average area under the ROC curve (A(z)) for the hybrid classifier was 0.81 as compared to 0.78 for the LDA and 0.80 for the BPN. The partial areas above a true positive fraction of 0.9 were 0.34, 0.27 and 0.31 for the hybrid, the LDA and the BPN classifier, respectively. These results indicate that the hybrid classifier is a promising approach for improving the accuracy of classification in CAD applications.     

Information–Theoretic Multiclass Classification Based on Binary Classifiers

In this paper, we consider the multiclass classification problem based on sets of independent binary classifiers. Each binary classifier represents the output of a quantized projection of training data onto a randomly generated orthonormal basis vector thus producing a binary label. The ensemble of all binary labels forms an analogue of a coding matrix. The properties of such kind of matrices and their impact on the maximum number of uniquely distinguishable classes are analyzed in this paper from an information-theoretic point of view. We also consider a concept of reliability for such kind of coding matrix generation that can be an alternative to other adaptive training techniques and investigate the impact on the bit error probability. We demonstrate that it is equivalent to the considered random coding matrix without any bit reliability information in terms of recognition rate.     

Hadamard 纠错码结合支持向量机在多分类问题中的应用

多分类问题一直是模式识别领域的一个热点,本文提出了将Hadamard纠错码同二元分类器相结合的方法来解决此问题,相对于其它类型的纠错码多分类器法,该方法的实现简单快捷,且更容易构造出性能优越的纠错码本.本文将Hadamard纠错码和支持向量机相结合,应用于说话人辨认这样一个多分类问题中,并同传统的"1对余"的多类推广方式进行了比较.实验结果表明在多分类任务中,Hadamard纠错码对于不同的类别都表现出了很强的分类能力,且性能优于"1对余"法,对于类间码字的不同分配方式也具有良好的鲁棒性.