多分类器组合及其应用于手写体数字识别

在许多模式识别的应用中经常遇到这样的问题:组合多个分类器.提出了一种新的组合多个分类器的方法,这个方法由反向传播神经网络来控制,一个无标号的模式输入到每一个单独的分类器,它也同时输入到神经网络中来决定哪两个分类器作为冠军和亚军.让这两个分类器通过一个随机数发生器来决定最终的胜者.并且将这个方法应用到识别手写体数字.实验显示单个分类器的性能能够得到可观的改变.     

改进的贝叶斯多分类器组合规则

多分类器组合是提高识别效果的一条有效途径。文中提出一种用于多分类器组合的改进贝叶斯规则,即首先通过对大量样本的统计获得有关每个分类器识别性能的先验知识,将其作为多分类器组合的依据。组合时对每个类设置不同的阈值,使组合效果得以改善,这些阈值可以通过训练获得。在数字识别中的应用结果表明,改进的贝叶斯规则可以使多分类器的组合结果识别率和置信度得到明显提高。     

权重自适应调整的多分类器集成判决及其在文本分类中的应用

1 引言近年来,多分类器的组合方法已成为模式识别研究的热点问题,并已在模式识别的多个应用方面,如字符识别、目标识别、文本分类等领域获得了较好的应用效果。多分类器组合方法的基本假设是:对一个需要专家进行的任务,k个专家个人判断的有效组合应该优于个人的判断。利用具有不同特性和性能的多分类器,通过进行有效的组合可以获得更高的模式识别性能。     

基于置信度的手写体数字识别多分类器动态组合

多分类器组合利用不同分类器、不同特征之间的互补性，提高了组合分类器的识别率。传统的组合方法里，各分类器在组合中所承担的角色是固定的，而实际应用中，对于不同的测试样本，每个分类器识别结果的可信度是不同的。该文根据分类器置信度理论，提出了各类别的置信度。用测试样本自身的置信度信息实现分类器的动态组合，并把这种动态组合方法具体应用到手写体数字的识别。这种方法还可以在不影响已有数据的情况下添加新的分类器进行组合。     

神经网络分类器的组合

利用神经网络分类器组合,对手写体数字识别问题进行了研究。通过对同一训练样本集抽取不同的特征集合,从而获得不同的神经网络分类器。对这些分类器的分类结果组合得到最终的分类结果。提出性能函数PF（S,T）用来确定阈值S,T,从而获得错误率与拒识率间的最佳平衡,实验结果表明,此种分类器组合方法能根据不同应用的要求,自动地选取性能函数中的参数,减少分类错误率,提高识别的可靠性。     

基于多特征集成分类器的脱机满文识别方法

为提高脱机满文手写字体的识别率,提出了基于BP网络的多特征集成分类器识别方法.对扫描成图像的手写满文进行预处理,切分出满文字元;分别提取满文字元的投影特征、链码特征以及端点和交叉点特征,并对这三类特征及其相互组合进行分类识别;通过隐马尔科夫算法对识别结果进行后处理,进一步提高识别的精度.实验结果表明,集成分类器的识别率要比单个特征的识别率要高,同时集成分类器中的特征类别越多,识别效果越好.     

基于EM和GMM的朴素贝叶斯岩性识别

朴素贝叶斯分类器可以应用于岩性识别.该算法常使用高斯分布来拟合连续属性的概率分布,但是对于复杂的测井数据,高斯分布的拟合效果欠佳.针对该问题,提出基于EM算法的混合高斯概率密度估计.实验选取苏东41-33区块下古气井的测井数据作为训练样本,并选取44-45号井数据作为测试样本.实验采用基于EM算法的混合高斯模型来对测井数据变量进行概率密度估计,并将其应用到朴素贝叶斯分类器中进行岩性识别,最后用高斯分布函数的拟合效果作为对比.结果表明混合高斯模型具有更好的拟合效果,对于朴素贝叶斯分类器进行岩性识别的性能有不错的提升.     

一种基于遗传算法的优化分类器的方法

提出了一种通过遗传算法(GA)对单个分类器进行优化以及对多个分类器进行组合优化的方法.该方法使用叠加(stacking)的策略.经典的叠加策略分为两步,该方法将遗传算法作为叠加策略的第2步.实验结果表明,遗传算法可以较好地完成优化任务,同单个分类器比较,它可以提高分类的精度.在对分类器进行组合优化方面,它得到比单个分类器更高的精度以及使分类结果具有更好的可理解性.     

基于多分类器集成的维吾尔文联机手写字母识别

多分类器组合能够在一定程度上弥补单个分类器的缺陷,因此它在模式识别中得到了广泛应用。深入调研国内外联机手写识别技术的研究动态,结合维吾尔文字母的独特书写风格,研究了基于多分类器集成的维吾尔语联机手写字母识别。利用5种不同的特征提取方法构造了5个独立的维吾尔语字母分类识别器,采用了等权投票和不等权投票等两种策略将5种维吾尔语字母分类识别器进行了有效组合。其中,单分类器采用了基于动态时间弯折（DTW）匹配距离的最近邻分类方法。实验结果表明,提出的集成策略的识别率明显高于单分类器的识别率,而且为特征的综合集成提供了多种有效途径。     

基于笔划特征的单字符汉字字体识别

在文档电子化的文本自动分析、理解和识别过程中,除了有关文档内容的字符识别外,还必须解决字体识别问题.字体识别不仅是版面分析、理解和恢复的重要依据,还有助于实现高性能字符识别系统.有别于目前基于多个字符组成的文本块的字体识别方法,本文提出了一种基于单个汉字字符的字体识别方法.在单个汉字字符上提取两类特征:笔划属性特征和笔划分布特征,分别构成两个分类器对单个汉字字符进行字体识别,并集成两个分类器的结果得到最终的识别结果.我们使用的笔划属性特征分类器是文本无关的,而笔划分布特征分类器是文本相关的,集成的分类器属于文本相关的字体识别分类器.我们在包含7种字体的样本集上进行了测试,测试结果显示基于单字的字体识别率达到94.48%.     

基于聚类选择的分类器集成

提出了一种基于聚类选择的分类器集成方法,通过聚类把模式特征空间划分成不相交的区域,对于初始分类器集合,各区域给出分类器的删除分值,各分类器总分值确定其删除优先级别,由删除优先级别选择一组分类器组成集成。理论分析和实验结果表明,基于聚类选择的分类器集成方法能够更好地对模式进行分类。     

基于集成主成分分析的人脸识别

设计了一种基于主成分分析的分类器集成方法。应用随机子空间法获得多个初始分类器,由它们的分类性能给出分类器的保留分值,从而确定它们的保留优先级别,最后由保留优先级别选择一组分类器组成集成。理论分析和在人脸数据库ORL上的实验结果表明,这种基于集成PCA的分类方法能够更好地对模式进行分类。     

Pattern recognition for sensor array signals using Fuzzy ARTMAP

A Fuzzy ARTMAP classifier for pattern recognition in chemical sensor array was developed based on Fuzzy Set Theory and Adaptive Resonance Theory. In contrast to most current classifiers with difficulty in detecting new analytes, the Fuzzy ARTMAP system can identify untrained analytes with comparatively high probability. And to detect presence of new analyte, the Fuzzy ARTMAP classifier does not need retraining process that is necessary for most traditional neural network classifiers. In this study, principal component analysis (PCA) was first implemented for feature extraction purpose, followed by pattern recognition using Fuzzy ARTMAP classifiers. To construct the classifier with high recognition rate, parameter sensitive analysis was applied to find critical factors and Pareto optimization was used to locate the optimum parameter setting for the classifier. The test result shows that the proposed method can not only maintain satisfactory correct classification rate for trained analytes, but also be able to detect untrained analytes at a high recognition rate. Also the Pareto optimal values of the most important parameter have been identified, which could help constructing Fuzzy ARTMAP classifiers with good classification performance in future application.     

基于Sugeno模糊积分神经网络分类器融合方法在手写数字识别中的应用

神经网络是模式识别中一种常见的分类器.针对同一个分类问题,构建多个分类器并把多个分类器进行融合可以提高分类系统的分类正确率、改善系统的稳健性.首先介绍了Sugeno模糊积分及Sugeno模糊积分神经网络分类器融合方法的一般原理,而后将其应用于手写数字识别,通过实际的案例验证了该融合方法的有效性和可行性.     

Neural-network classifiers for recognizing totally unconstrainedhandwritten numerals

Artificial neural networks have been recognized as a powerful tool for pattern classification problems, but a number of researchers have also suggested that straightforward neural-network approaches to pattern recognition are largely inadequate for difficult problems such as handwritten numeral recognition. In this paper, we present three sophisticated neural-network classifiers to solve complex pattern recognition problems: multiple multilayer perceptron (MLP) classifier, hidden Markov model (HMM)/MLP hybrid classifier, and structure-adaptive self-organizing map (SOM) classifier. In order to verify the superiority of the proposed classifiers, experiments were performed with the unconstrained handwritten numeral database of Concordia University, Montreal, Canada. The three methods have produced 97.35%, 96.55%, and 96.05% of the recognition rates, respectively, which are better than those of several previous methods reported in the literature on the same database.     

免疫分类研究进展

过去的十多年中,人工免疫系统得到了长足的发展。由于其具备强大的信息处理能力,被广泛应用于模式识别领域,尤其是分类问题。介绍了免疫系统的识别原理、人工免疫原理,包括克隆选择原理、负向选择原理和免疫网络,综述了近年来出现的主要的免疫分类算法,对免疫分类算法性能进行了相互比较,比较了免疫分类算法与其他著名分类算法的性能,结果显示免疫分类算法具有良好的分类性能。     

From dynamic classifier selection to dynamic ensemble selection

In handwritten pattern recognition, the multiple classifier system has been shown to be useful for improving recognition rates. One of the most important tasks in optimizing a multiple classifier system is to select a group of adequate classifiers, known as an Ensemble of Classifiers (EoC), from a pool of classifiers. Static selection schemes select an EoC for all test patterns, and dynamic selection schemes select different classifiers for different test patterns. Nevertheless, it has been shown that traditional dynamic selection performs no better than static selection. We propose four new dynamic selection schemes which explore the properties of the oracle concept. Our results suggest that the proposed schemes, using the majority voting rule for combining classifiers, perform better than the static selection method.     

Correlation‐based classifier combination in the field of pattern recognition

Classifier combination methods have proved to be an effective tool to increase the performance of classification techniques that can be used in any pattern recognition applications. Despite a significant number of publications describing successful classifier combination implementations, the theoretical basis is still not matured enough and achieved improvements are inconsistent. In this paper, we propose a novel statistical validation technique known as correlation‐based classifier combination technique for combining classifier in any pattern recognition problem. This validation has significant influence on the performance of combinations, and their utilization is necessary for complete theoretical understanding of combination algorithms. The analysis presented is statistical in nature but promises to lead to a class of algorithms for rank‐based decision combination. The potentials of the theoretical and practical issues in implementation are illustrated by applying it on 2 standard datasets in pattern recognition domain, namely, handwritten digit recognition and letter image recognition datasets taken from UCI Machine Learning Database Repository ( http://www.ics.uci.edu/_mlearn ). 1 An empirical evaluation using 8 well‐known distinct classifiers confirms the validity of our approach compared to some other combinations of multiple classifiers algorithms. Finally, we also suggest a methodology for determining the best mix of individual classifiers.