核化正交平衡类鉴别分析

现实生活中数据的分布往往是非线性且不平衡的,传统的线性鉴别方法已经很难提取有效的鉴别信息,于是文中将算法扩展到核空间,提出了基于欠采样技术的核化正交平衡类鉴别分析（KOCBD）的方法。该方法在非线性空间中使用核映射,令少样本类为特定类,在剩余样本中构建其近邻样本集,并重新进行平衡类划分,然后提取鉴别特征。为了得到更具鉴别力的特征,进一步去除特征间的冗余信息,文中为相关性大的类之间所获得的鉴别向量加上正交约束。在Coil₂0和USPS数据库上的实验结果表明,KOCBD方法能够有效地解决非线性空间的类不平衡问题,识别效果有一定程度的提高。     

基于主动学习的平衡类鉴别分析

特定类的思想是将传统的多类特征提取和识别任务转化为多个两类问题,由此产生了类不平衡问题,影响最优鉴别特征的提取。为了解决该问题,文中提出了一种主动学习平衡类鉴别分析（ALCBD）方法。对于每个特定类,ALCBD从其对应的大类中选取它的部分近邻样本构成特定类的近邻样本集,接着将这个近邻样本集划分成与特定类相同样本数的多个子集,然后根据主动学习的思想挑选最优子集与特定类结合成为新样本集,最后用传统的线性鉴别分析（LDA）方法得到鉴别向量。基于USPS和Honda/UCSD数据库的实验表明ALCBD方法能够有效地解决类不平衡问题,并改善了识别性能。     

基于核化图嵌入的最佳鉴别分析与人脸识别

将压缩映射和同构映射引入核化图嵌入框架(kernel extension of graph embedding,简称KGE),从理论上证明了KGE框架内的各种核算法其实质是KPCA(kernel principal component analysis)+LGE(linear extension of graph embedding,简称LGE)框架内的线性降维算法,并且基于所给出的理论框架提出了一种综合利用零空间和非零空间鉴别信息的组合方法.任何一种可以用核化图嵌入框架描述的核算法,都可以有相应的组合方法.在ORL,Yale,FERET和PIE人脸数据库上验证了所提出的理论和方法的有效性.     

面向不平衡数据的特征加权聚类算法

不平衡数据集类别分布严重倾斜,传统的聚类算法由于以提高整体学习性能为目标,往往偏向于聚集多数类,而忽视更有价值的稀有类.本文提出一种基于迭代的特征加权聚类算法,根据当前聚类后簇的特点以及特征重要性度量函数确定特征权值,利用所得权值进行下一轮聚类,直到权值稳定后结束迭代.在多个UCI不平衡数据集上的实验效果表明,本文算法能够较好地识别出重要特征并提高它们的权重,避免聚类算法过度偏向多数类,有效地提高了聚类性能.     

类不平衡数据的EM聚类过采样算法

针对分类任务中的不平衡数据集造成的分类性能低下的问题,提出了类不平衡数据的EM聚类过采样算法,通过过采样提高少数类样本数量,从根本上解决数据不平衡问题。首先,算法采用聚类技术,通过欧式距离衡量样本间的相似度,选取每个聚类簇的中心点作为过采样点,一定程度解决了样本的重要程度不够的问题;其次,通过直接在少数类样本空间上进行采样,可较好解决SMOTE、Cluster-SMOTE等方法对聚类空间没有针对性的问题;同时,通过对少数类样本数量的30%进行过采样,有效解决基于Cluster聚类的欠采样盲目追求两类样本数量平衡和SMOTE等算法没有明确采样率的问题。在公开的24个类不平衡数据集上进行了实验,验证了方法的有效性。     

面向类不平衡数据集的软件缺陷预测模型

软件缺陷预测是软件工程领域的重点研究方向,是保证软件质量的重要途径之一。其中软件缺陷数据的类不平衡问题会影响缺陷预测分类的准确性,为解决类不平衡数据对预测分类的影响,针对如何优化数据预处理的算法执行顺序进行了研究,提出了一种有效提升分类效果的软件缺陷预测模型（ASRAdaboost）。该算法模型在根据对照实验确定数据预处理最优顺序后,采用特征选择卡方检验算法,再执行SMOTE过采样与简单采样方法,解决数据类不平衡和属性冗余同时存在的问题,最后结合Adaboost集成算法,构建出软件缺陷预测模型ASRAdaboost。实验均采用J48决策树作为基分类器,实验结果表明：ASRAdaboost算法模型有效提高了软件缺陷预测的准确性,得到了更好的分类效果。     

多类不平衡数据分类方法综述

现实中许多领域产生的数据通常具有多个类别并且是不平衡的。在多类不平衡分类中,类重叠、噪声和多个少数类等问题降低了分类器的能力,而有效解决多类不平衡问题已经成为机器学习与数据挖掘领域中重要的研究课题。根据近年来的多类不平衡分类方法的文献,从数据预处理和算法级分类方法两方面进行了分析与总结,并从优缺点和数据集等方面对所有算法进行了详细的分析。在数据预处理方法中,介绍了过采样、欠采样、混合采样和特征选择方法,对使用相同数据集算法的性能进行了比较。从基分类器优化、集成学习和多类分解技术三个方面对算法级分类方法展开介绍和分析。最后对多类不平衡数据分类研究领域的未来发展方向进行总结归纳。     

不平衡数据的软子空间聚类算法

针对受均匀效应的影响,当前K-means型软子空间算法不能有效聚类不平衡数据的问题,提出一种基于划分的不平衡数据软子空间聚类新算法。首先,提出一种双加权方法,在赋予每个属性一个特征权重的同时,赋予每个簇反映其重要性的一个簇类权重;其次,提出一种混合型数据的新距离度量,以平衡不同类型属性及具有不同符号数目的类属型属性间的差异;第三,定义了基于双加权方法的不平衡数据子空间聚类目标优化函数,给出了优化簇类权重和特征权重的表达式。在实际应用数据集上进行了系列实验,结果表明,新算法使用的双权重方法能够为不平衡数据中的簇类学习更准确的软子空间;与现有的K-means型软子空间算法相比,所提算法提高了不平衡数据的聚类精度,在其中的生物信息学数据上可以取得近50%的提升幅度。     

基于一种改进的类内散布矩阵的核鉴别分析法

基于核的非线性判别方法及算法的研究近年来得到广泛的研究。在这些方法中,一个主要的缺点是对L类判别问题,判别向量最多只有[L-1]个。定义一种改进的核类间散布矩阵,并对两类问题给出改进的核鉴别分析法,该方法克服了以上缺陷。试验结果表明所提出的方法与其他方法相比具有很好的识别性能。     

一种核正交局部敏感辨别分析算法

为了发掘嵌入在人脸样本的非线性结构信息,把核方法和基向量正交化思想引入局部敏感分析算法中,提出一种新的人脸识别算法-核正交局部敏感辨别分析(Kernel based Orthogonal Locality Sensitive Discriminant Analysis).并给出了算法的推导过程及计算步骤.首先用核方法提取人脸样本的非线性信息,并将其投影至高维非线性空间,然后采用局部敏感辨别分析做线性映射,最后采用施密特正交化方法得到正交的基向量,从而使算法更好地描述人脸非线性流形结构特征.在ORL和YaleB人脸库的人脸识别实验证明了所提算法的有效性.     

结合类标签关联度的有序核判别回归学习

有序离散类标号通常由原始连续标号按一定规则映射得到，因 此它们彼此间是存在关联信息的，现有有序回归方法对此类关联信息的考虑仍然较少。 首先提出一类有序标号间关联度的量化表示,进而将其与典型有序回归方法(Kernel discrim inant learning for ordinal regression, KDLOR) 相结合，设计出了一种结合类标号关联度的有序核判别回归学习方法(Kernel discriminant learning for ordinal regression using label membership，LM KDLOR),最后通过在 多 个标准有序回归数据集上的对比实验验证了所提方法的有效性。     

基于特征融合和模糊核判别分析的面部表情识别方法

提出了基于特征融合和模糊核判别分析（FKDA）的面部表情识别方法。首先,从每幅人脸图像中手工定位34个基准点,作为面部表情图像的几何特征,同时采用Gabor小波变换方法对每幅表情图像进行变换,并提取基准点处的Gabor小波系数值作为表情图像的Gabor特征;其次,利用典型相关分析技术对几何特征和Gabor特征进行特征融合,作为表情识别的输入特征;然后,利用模糊核判别分析方法进一步提取表情的鉴别特征;最后,采用最近邻分类器完成表情的分类识别。通过在JAFFE国际表情数据库和Ekman“面部表情图片”数据库上的实验,证实了所提方法的有效性。     

基于零空间核判别分析的人脸识别

提取有效特征对高维数据的模式分类起着关键作用.零空间线性判别分析(null-space linear discriminant analysis,NLDA)在数据降维和特征提取上表现出较好的性能,但是该方法本质上仍是一种线性方法.为有效提取数据的非线性特征,提出了零空间核判别分析算法(null-space kernel discriminant analysis,NKDA)并将其应用于人脸识别.利用核函数将原始样本隐式地映射到高维特征空间后,采用一次瘦QR分解求核类内散布矩阵的零空间鉴别矢量集,最后再进行一次Cholesky分解求得具正交性的核空间鉴别矢量集.与NLDA相比,NKDA具有更好的识别性能且在大样本情况下也能应用.另外,基于NKDA,提出了增量NKDA算法,当增加新的训练样本时能正确地更新NKDA鉴别矢量集.在ORL库、Yale库和PIE子库上的实验结果表明了算法的有效性和效率,在有效降维的同时能进一步提高鉴别能力.     

基于多核Fisher判别分析的人脸特征提取

核Fisher判别分析法是一种有效的非线性判别分析法。传统的核Fisher判别分析仅选用单个核函数,在人脸特征提取方面仍显不足。鉴于此,提出多核Fisher判别分析法,即通过将多个单核Fisher判别得到的投影进行加权组合得到加权投影,以加权投影为依据进行特征提取和分类。实验表明,在进行人脸特征提取和分类时,多核Fisher判别分析法优于单核Fisher判别分析法。     

核不相关鉴别分析以及它在字符识别中的应用

核不相关鉴别分析是在线性不相关鉴别分析的基础上发展起来的．然而,由于核函数的运用,计算核不相关矢量集变得更加复杂．为了解决这个问题,提出一种解决核不相关鉴别分析的有效算法．该算法巧妙地利用了矩阵的分解,然后在一个矩阵对上进行广义奇异值分解．与此同时,提出了几个相关的定理．最重要的是,提出的算法能克服核不相关鉴别分析中矩阵的奇异问题．在某种意义上,提出的算法拓宽了已有的算法,即从线性问题到非线性问题．最后,用手写数字字符识别实验来验证提出的算法是可行和有效的．     

基于支持向量的Kernel判别分析

提出了一种新的基于支持向苗的核化判别分析方法（SV—KFD）．首先深入地分析了支持向量机（SVM）以及核化费舍尔判别分析（Kernel Fisher）方法的相互关系．基于作者证明的SVM本身所同有的零空间性质;SVM分类面的法向量在基于支持向量的类内散度矩阵条件下,具有零空间特性,提山了利用SVM的法向量定义核化的决策边界特征矩阵（Kernelized Decision Boundary Feature Matrix,KDBFM）的方法．进一步结合均值向量的差向量构建扩展决策边界特征矩阵（Ex—KDBFM）．最后以支持向量为训练集合,结合零空间方法来计算投影空间,该投影空间被用来从原始图像中提取判别特征．以人脸识别为例,作者在FERET和CAS—PEAL—R1大规模人脸图像数据怍上对所提出的方法进行了实验验证,测试结果表明该方法具有比传统核判别分析方法更好的识别性能．     

基于核Fisher判别分析的意识任务识别新方法

提出一种新的基于核Fisher判别分析的意识任务识别新方法。该方法首先通过核函数建立一个非线性映射,把原空间的样本点投影到一个高维特征空间,然后在特征空间应用线性Fisher判别。利用不同意识任务生成的脑电数据对KFDA和FDA进行比较,最后用线性支持向量机进行分类和识别,并与非线性支持向量机进行了比较,结果表明KFDA的识别率明显优于后二者。     

人脸识别中基于核的子空间鉴别分析

尽管基于Fisher准则的线性鉴别分析被公认为特征抽取的有效方法之一，并被成功地用于人脸识别，但是由于光照变化、人脸表情和姿势变化，实际上的人脸图像分布是十分复杂的，因此，抽取非线性鉴别特征显得十分必要。为了能利用非线性鉴别特征进行人脸识别，提出了一种基于核的子空间鉴别分析方法。该方法首先利用核函数技术将原始样本隐式地映射到高维（甚至无穷维）特征空间；然后在高维特征空间里，利用再生核理论来建立基于广义Fisher准则的两个等价模型；最后利用正交补空间方法求得最优鉴别矢量来进行人脸识别。在ORL和NUST603两个人脸数据库上，对该方法进行了鉴别性能实验，得到了识别率分别为94％和99．58％的实验结果，这表明该方法与核组合方法的识别结果相当，且明显优于KPCA和Kernel fisherfaces方法的识别结果。