对应用于手写体字符识别的最近邻分类器原型学习算法的评估（上）

原型学习对提高最近邻分类器的判决性能以及降低存储和计算量很有效。本文回顾了最近邻分类器的一些原型学习算法，并对其在手写体字符识别中的应用特性作了比较。这些算法包括著名的LVQ和一些通过梯度搜索使外界影响最小的参数最优化方法。本文还提出了一些新的算法，并同现有的算法作了比较。在基于CENPARMI数据库手写体数字识别和基于ETL8B2数据库手写体汉字识别方面，对11种原型学习算法进行了测试。实验结果显示，基于参数最优化的算法通常优于LVQ算法，特别是最小分类误差算法（MCE）、GLVO算法和一种新的算法（MAXP1）效果最好。     

独立分量分析在模式识别中的应用

模式识别中关键的两个环节是模式的特征提取及利用分类器分类识别。采用独立分量分析进行特征提取 ,并比较了最近邻分类器和cos分类器的分类识别性能。利用ORL人脸图像数据库进行实验 ,结果表明独立分量分析与cos分类器相结合可得到更好的识别结果。     

一种新的基于聚类的多分类器融合算法

提出了一种新的多分类器融合算法,该算法能找出各分类器在特征空间中局部性能较好的区域,并利用具有最优局部性能的分类器的输出作为最终的融合结果。首先,利用各分类器对训练样本进行分类,这样训练样本被划分为正确分类样本和错误分类样本两个集合;接着,对这两个样本集合分别进行聚类分析来划分特征空间,并计算各分类器在特征空间局部区域中的性能;在测试时,选择测试样本周围局部性能最优的分类器的输出作为最终的融合结果。基于ELENA数据集的实验显示了该算法的有效性。     

核最近邻凸包分类算法

为了增强最近邻凸包分类器的非线性分类能力,提出了基于核函数方法的最近邻凸包分类算法。该算法首先利用核函数方法将输入空间映射到高维特征空间,然后在高维特征空间采用最近邻凸包分类器对样本进行分类。最近邻凸包分类器是一类以测试点到各类别凸包的距离为相似性度量,并按最近邻原则归类的分类算法。人脸识别实验结果证实,这种核函数方法与最近邻凸包分类算法的融合是可行的和有效的。     

基于PCA及ICA的双空间特征提取算法

任何一种单子空间特征提取算法都不能在任何情况下优于其他子空间算法,但是采用双子空间却可以克服单子空间的局限性。为了提高分类结果的正确率,提出了一种基于PCA及ICA的双空间特征提取算法,该算法采用ICA作为PCA的补空间进行特征提取,其目的是将在PCA子空间中难以识别的样本,再次投影到ICA子空间中进行识别。该算法可分为以下两个步骤:首先进行预分类,即在一个子空间内同时使用两种分类器对测试样本进行分类,若某个测试样本被两种分类器划分到不同的类,则将该测试样本加入到新测试样本集中;然后将新测试样本集中的测试样本再次投影到另一个子空间中进行分类识别;最后,将识别结果与预分类结果一起进行正确率测试。在ORL及FERET人脸库上的实验结果表明,该算法的模式识别率明显优于传统的特征提取算法。     

基于选择性集成学习的高速列车故障识别研究*

在SVM分类识别中,分类器模型一经训练得到,对所有测试样本进行无差别的识别。但在高速列车故障中,样本的分类识别是存在区域分类精度的。本文提出了一种基于选择性集成学习的SVM多分类器融合算法,该方法选取测试样本最邻近的k个训练样本,然后选择对其分类效果好的SVM分类器进行融合,以提高分类准确率。最后使用高速列车故障数据进行了实验,并与AdaBoost、KNN、Bayes、SVM分类方法进行了比较。实验结果表明,该算法提高了分类识别准确率。     

基于正交梯度二值模式的单样本人脸识别

针对传统人脸识别方法在单样本条件下识别效果不佳的问题,提出一种改进的对光照和表情姿态等变化具有较强鲁棒性的梯度脸算法——正交梯度二值模式(OGBP)。首先采用正交梯度二值模式对样本图像进行特征提取,然后将每个方向特征向量串接起来作为用于人脸识别的总体特征向量,最后通过主成分分析(PCA)方法降维并利用最近邻分类器分类识别。在YALE和AR人脸库上进行测试,实验结果表明所提方法简单有效,性能优于原始的梯度脸算法,且对单样本人脸描述具有更好的效果。     

基于正交梯度二值模式的单样本人脸识别

针对传统人脸识别方法在单样本条件下识别效果不佳的问题,提出一种改进的对光照和表情姿态等变化具有较强鲁棒性的梯度脸算法——正交梯度二值模式(OGBP)。首先采用正交梯度二值模式对样本图像进行特征提取,然后将每个方向特征向量串接起来作为用于人脸识别的总体特征向量,最后通过主成分分析(PCA)方法降维并利用最近邻分类器分类识别。在YALE和AR人脸库上进行测试,实验结果表明所提方法简单有效,性能优于原始的梯度脸算法,且对单样本人脸描述具有更好的效果。     

基于单类分类器的半监督学习

提出一种结合单类学习器和集成学习优点的Ensemble one-class半监督学习算法.该算法首先为少量有标识数据中的两类数据分别建立两个单类分类器.然后用建立好的两个单类分类器共同对无标识样本进行识别,利用已识别的无标识样本对已建立的两个分类面进行调整、优化.最终被识别出来的无标识数据和有标识数据集合在一起训练一个基分类器,多个基分类器集成在一起对测试样本的测试结果进行投票.在5个UCI数据集上进行实验表明,该算法与tri-training算法相比平均识别精度提高4.5%,与仅采用纯有标识数据的单类分类器相比,平均识别精度提高8.9%.从实验结果可以看出,该算法在解决半监督问题上是有效的.     

基于子空间样本选择的最近凸包分类器

最近邻凸包分类器需要求解测试样本到训练集凸包距离的凸二次规划问题,对于训练集规模较大的情况,有必要在分类之前进行适当的样本选择。为此该文提出基于子空间样本选择的最近凸包分类方法。该方法首先采用子空间样本选择算法对训练集样本进行筛选,然后将各类选出的样本作为最近邻分类器的新的训练集。子空间样本选择方法的原理是在一类训练样本集内,迭代选择距离已选样本张成子空间最远的样本。在MIT-CBCL人脸识别数据库的training-synthetic子库的实验中,该方法只需5.6%的训练样本即可取得100%的识别率,并且执行时间较未经选样的最近邻凸包分类器也大为减少。     

基于粒计算的K近邻多标签学习算法

K近邻多标签学习算法的近邻点个数取固定值,而没有考虑样本分布的特点,可能会将相似度高的点排除在近邻集外,或者将相似度低的点包含在近邻集内,影响分类器的性能。为此,将粒计算的思想引入近邻集的构建,提出一种新的K近邻多标签学习算法。通过粒度控制,确定近邻点集,使得领域内的样本点有高相似性,且此类样本能进入近邻集。实验结果表明,该算法的大多数评价指标均优于现有的多标签学习算法。     

A bootstrap technique for nearest neighbor classifier design

A bootstrap technique for nearest neighbor classifier design is proposed. Our primary interest in designing a classifier is in small training sample size situations. Conventional bootstrapping techniques sample the training samples with replacement. On the other hand, our technique generates bootstrap samples by locally combining original training samples. The nearest neighbor classifier is designed on the bootstrap samples and is tested on the test samples independent of training samples. The performance of the proposed classifier is demonstrated on three artificial data sets and one real data set. Experimental results show that the nearest neighbor classifier designed on the bootstrap samples outperforms the conventional k-NN classifiers as well as the edited 1-NN classifiers, particularly in high dimensions     

Fisher鉴别特征的最近邻凸包分类

基于Fisher准则的特征提取方法是模式识别技术的重要分支，其中，Foley-Sammon变换和具有统计不相关性的最佳鉴别变换是这一技术典型代表，本文将它们与一种新型分类器一最近邻凸包分类器相结合，从而实现Fisher鉴别特征的有效分类。最近邻凸包分类器是一类以测试样本点到各类训练集生成类别凸包的距离为分类判别依据的模式分类新方法，具有非线性性，无参性，多类别适用性等特点。实验证实了本文方法的有效性。     

基于近邻密度和半监督KNN的集成自训练方法

针对集成自训练算法随机初始化有标记样本容易在迭代中局部过拟合,不能很好地泛化到样本原始空间结构和集成自训练算法用WKNN分类器做数据剪辑时没有考虑到无标记样本对待测样本类别判定有影响的问题,提出结合近邻密度和半监督KNN的集成自训练算法。该算法用近邻密度方法选取初始化的已标注样本,避免已标注样本周围[k]个近邻样本成为已标注候选集。这样使初始化的已标注样本间的距离尽量分散,以更好地反应样本原始空间结构。同时在已标注样本候选集中选取密度最大的样本作为已标注样本。为了提高数据剪辑的性能,用半监督KNN代替WKNN,弥补WKNN做数据剪辑的时候只考虑到了有标记样本对待测样本类别的影响,而没有利用待测样本周围的无标记样本的问题,在UCI数据集上的对比实验验证了提出算法的有效性。     

基于概率的两层最近邻自适应度量分类算法

针对有限样本下,KNN算法距离量的选择以及以前距离量学习研究中没有充分考虑样本分布的情况,提出了一种新的基于概率的两层最近邻自适应度量算法（PTLNN）。该算法分为两层,在低层使用欧氏距离来确定一个未标记的样本局部子空间;在高层,用AdaBoost在子空间进行信息提取。以最小化平均绝对误差为原则,定义一个基于概率的自适应距离度量进行最近邻分类。该算法结合KNN与AdaBoost算法的优势,在有限样本下充分考虑样本分布能降低分类错误率,并且在噪声数据下有很好的稳定性,能降低AdaBoost过度拟合现象发生。通过与其他算法对比实验表明,PTLNN算法取得更好的结果。     

基于近邻分类的增量学习分类算法研究

为解决分类器学习新样本知识的问题,提出一种基于近邻算法的增量学习算法。该算法以最近邻算法为基础,首先计算新样本与标准样本之间的匹配度,找到最佳匹配样本和次佳匹配样本,然后通过与匹配度阈值进行比较来决定是类内学习还是类别学习。算法采用UCI中的标准数据集进行实验并应用于车辆识别仿真,其结果验证了该算法的有效性。实验进一步研究了匹配度阈值的选择和初始化样本数量选取对分类正确率影响。     

Center-based nearest neighbor classifier

In this paper, a novel center-based nearest neighbor (CNN) classifier is proposed to deal with the pattern classification problems. Unlike nearest feature line (NFL) method, CNN considers the line passing through a sample point with known label and the center of the sample class. This line is called the center-based line (CL). These lines seem to have more capacity of representation for sample classes than the original samples and thus can capture more information. Similar to NFL, CNN is based on the nearest distance from an unknown sample point to a certain CL for classification. As a result, the computation time of CNN can be shortened dramatically with less accuracy decrease when compared with NFL. The performance of CNN is demonstrated in one simulation experiment from computational biology and high classification accuracy has been achieved in the leave-one-out test. The comparisons with nearest neighbor (NN) classifier and NFL classifier indicate that this novel classifier achieves competitive performance.     

基于BP神经网络的人体行为识别

针对人体行为识别问题,提出一种基于径向基函数（BP）神经网络的人体行为分类算法。首先,利用奇异值分解（SVD）算法提取视频每一帧的奇异值,将每一帧的奇异值按照行拼接起来即为一个视频的样本,样本按照行排成样本矩阵;然后,利用主成分分析（PCA）对得到的矩阵进行去相关并且降低维数,降低维数的矩阵再进行线性鉴别分析（LDA）,使样本变得线性可分;最后,利用BP神经网络对样本进行分类;实验结果表明,与采用最近邻分类和K近邻分类（kNN）相比,所提算法具有更高的识别率。     

基于FLANN改进的KNN医疗分类算法

本文通过研究KNN（K-最近邻）算法在疾病预测领域的使用与分析,总结出KNN的2点不足,针对不足进行相应改进并提出F_KNN（循环最近邻搜索）算法：1）针对KNN计算量大、效率低下的缺点,本文采用FLANN（快速最近邻搜索）循环搜索与待测样本距离最近的点,记录若干个最近邻点作为最近邻点子集,利用此子集取代全集对待测样本进行计算,可以降低计算量,极大地提高了KNN算法效率;2）针对KNN难以对高维数据集分类的缺点,本文采用AHP（层次分析法）对样本的特征属性进行相关性研究,使用合适的参数分配权重,提高了KNN算法准确率。本文采用一组脑中风数据集对优化后的算法进行实验,实验结果表明,F_KNN准确率达96.2%。与传统KNN相比,F_KNN提高了分类性能且极大地提高了算法效率。在处理高维且较大的数据集时,F_KNN算法优势明显,具有较好的应用前景。     

The nearest neighbor algorithm of local probability centers.

When classes are nonseparable or overlapping, training samples in a local neighborhood may come from different classes. In this situation, the samples with different class labels may be comparable in the neighborhood of query. As a consequence, the conventional nearest neighbor classifier, such as kappa-nearest neighbor scheme, may produce a wrong prediction. To address this issue, in this paper, we propose a new classification method, which performs a classification task based on the local probabilistic centers of each class. This method works by reducing the number of negative contributing points, which are the known samples falling on the wrong side of the ideal decision boundary, in a training set and by restricting their influence regions. In classification, this method classifies the query sample by using two measures of which one is the distance between the query and the local categorical probability centers, and the other is the computed posterior probability of the query. Although both measures are effective, the experiments show that the second one achieves the smaller classification error. Meanwhile, the theoretical analyses of the suggested methods are investigated, and some experiments are conducted on the basis of both constructed and real datasets. The investigation results show that this method substantially improves the classification performance of the nearest neighbor algorithm.