代价敏感学习方法综述

分类是机器学习的重要任务之一.传统的分类学习算法追求最低的分类错误率,假设不同类型的错误分类具有相等的损失.然而,在诸如人脸识别门禁系统、软件缺陷预测、多标记学习等应用领域中,不同类型的错误分类所导致的损失差异较大.这要求学习算法对可能导致高错分损失的样本加以重点关注,使得学习模型的整体错分损失最小.为解决该问题,代价敏感学习方法引起了研究者的极大关注.以代价敏感学习方法的理论基础作为切入点,系统阐述了代价敏感学习的主要模型方法以及代表性的应用领域.最后,讨论并展望了未来可能的研究趋势.     

代价敏感的局部判别嵌入人脸识别算法

局部判别嵌入算法寻求最高的正确识别率时假设所有的错误分类具有相同的错分代价,然而这个假设在现实的人脸识别系统中往往是不成立的,因为不同的错误分类将会导致不同的错分代价.为此,提出一种代价敏感的局部判别嵌入算法.首先通过构造代价矩阵将代价敏感理念融入到特征提取阶段,以提高算法判别不同错误分类的能力;然后最大化异类近邻样本点之间的错分代价,同时最小化同类近邻样本点之间的距离;最后利用迭代算法求得最佳的正交投影向量,以更好地维持数据的度量架构.在Yale,ORL,AR和Extended Yale B人脸数据库上的实验结果表明,文中算法是有效的.     

一种引入成对代价的子类判别分析

传统的降维方法追求较低的识别错误率,假设不同错分的代价相同,这个假设在一些实际应用中往往不成立.例如,在基于人脸识别的门禁系统中,存在入侵者类和合法者类,将入侵者错分成合法者的损失往往高于将合法者错分成入侵者的损失,而将合法者错分成入侵者的损失又大于将合法者错分成其他合法者的损失.为此,首先通过对人脸识别门禁系统进行分析,将其归为一个代价敏感的子类学习问题,然后将错分代价以及子类信息同时注入判别分析的框架中,提出一种近似于成对贝叶斯风险准则的降维算法.在人脸数据集Extended Yale B以及ORL上的实验结果表明了该算法的有效性.     

基于ICA和GSPSO-SVM的人脸识别方法

针对人脸识别中,利用粒子群算法训练支持向量机进行分类识别时存在易陷入局部最优和收敛速度慢的问题,提出一种基于雁群优化算法的人脸识别方法。将主成分分析与独立成分分析相结合提取人脸特征,利用支持向量机进行分类,在分类识别的过程中,引入雁群优化算法以提高速度和效率。实验结果表明,与标准粒子群算法相比,改进的粒子群算法提高了人脸识别率,具有较快的识别速度。     

一种面向人脸识别的加权代价敏感局部保持投影

传统的局部保持降维方法追求最低的识别错误率,即假设每一类的错分代价都是相同的.这个假设在真实的人脸识别应用中往往是不成立的.人脸识别是一个多类的代价敏感和类不平衡问题.例如,在人脸识别的门禁系统中,将入侵者错分成合法者的损失往往高于将合法者错分成入侵者的损失.因此,每一类的错分代价是不同的.另外,如果任一类合法者的样本数少于入侵者的样本数,该类合法者和入侵者就是类别不平衡的.为此,将错分代价融入到局部保持的降维模型中,提出了一种错分代价最小化的局部保持降维方法.同时,采用加权策略平衡了各类样本对投影方向的贡献.在人脸数据集AR,PIE,Extended Yale B 上的实验结果表明了该算法的有效性.     

代价敏感学习中的损失函数设计

一般的学习算法通过最小化分类损失使分类错误率最小化,而代价敏感学习则以最小化分类代价为目标,需构造代价敏感损失.本文探讨代价敏感损失的设计准则,首先介绍基于代价敏感风险优化的代价敏感学习方法,然后在Bayes最优分类理论框架下,提出两条代价敏感损失设计准则.接着采用两种常用代价敏感损失生成方法构造平方损失、指数损失、对数损失、支持向量机损失等经典损失函数的代价敏感扩展形式.根据所提出的设计准则,从理论上分析这些代价敏感损失的性能.最后通过实验表明,同时满足两条设计准则的代价敏感损失能有效降低分类代价,从而证明了本文提出的代价敏感损失设计准则的合理性.     

客户价值细分的代价敏感支持向量机方法*

为了解决客户细分中由于客户价值不同和不同价值客户数量的悬殊差异造成对客户错误分类的代价不同和不平衡的数据样本,研究了客户价值细分问题中错误分类代价形成机理,建立基于客户价值的动态代价函数,在此基础上设计了代价敏感的支持向量机分类器。实验结果说明,该方法可以更精确地控制代价敏感性,降低总体的错误分类代价,使模型能更准确地反映分类的代价,有效地识别客户价值。     

一种融合两种主成分分析的人脸识别方法

提出了一种融合两种主成分分析的人脸识别方法。首先,利用两种不同的主成分分析方法分别获得人脸识别结果;然后,从信息融合的角度出发,采用模糊综合的原理对结果进行融合,给出最终的识别结果。基于ORL人脸数据库的实验证明该方法的识别性能优于单一的主成分分析方法。     

基于自适应特征融合的人脸识别

针对单一人脸特征在人脸识别中的局限性问题和二维主成分分析人脸特征缺少判别信息的问题,利用互补思想,提出了一种改进的二维主成分分析与二维线性鉴别分析加权融合的人脸识别算法。利用离散余弦变换对原始人脸图像进行压缩并重建,以滤除图像中人眼并不敏感的中高频部分,再利用二维主成分分析方法进行人脸特征的提取;运用二维线性鉴别分析方法提取原始人脸图像中具有鉴别性的人脸特征;最后,提出一种自适应的权值选取方法,将两种人脸特征进行加权融合以实现分类识别。在ORL和Yale人脸数据库上的实验结果证明了该方法的有效性。     

基于代价敏感卷积神经网络的人脸年龄识别方法

当年龄识别被看作是分类问题时,基于卷积神经网络(CNN)的方法通常直接采用一般图像分类的CNN进行年龄识别,常常忽略了进行人脸年龄识别时需要考虑的误分类代价问题,比如,将一个青年人误分类为中年人和老年人的代价是不同的。基于上述观察,提出一种基于代价敏感卷积神经网络(CS-CNN)的人脸年龄估计方法。具体来讲,基于期望类最大原则(Desired Class Maximum Principle, DCMP)提出了一种能够使CNN学习到鲁棒人脸特征的代价敏感交叉熵损失函数(CS-CE),最后通过理论与实验的方法进行验证。相较之前的人脸年龄识别方法,提升的效果是显著的。     

基于多线性独立成分分析的掌纹识别

为快速有效地在掌纹识别中学习多种因素的高阶统计独立成分,利用多线性独立成分分析方法对掌纹张量进行降维,得到低维的模式矩阵,将掌纹图像向模式矩阵上投影以提取核心张量,通过计算核心张量间的余弦距离实现掌纹匹配。基于PolyU掌纹图像库的实验结果表明,与主成分分析(PCA)、二维PCA、独立成分分析和多线性PCA相比,该方法的识别率最高,且满足系统实时性要求。     

基于余弦角距离的主成分分析与核主成分分析

PCA和KPCA都是基于欧氏距离提出的,这种距离对离群数据点比较敏感,而余弦角距离对离群数据更为鲁棒,在很多情况下具有更好的性能。充分利用余弦角距离的优势,提出两种新的特征抽取算法——基于余弦角距离的主成分分析（PCAC）和基于余弦角距离的核主成分分析（KPCAC）。在YALE人脸数据库与PolyU掌纹数据库上的实验表明,PCAC比PCA取得了更好的效果,KPCAC也表现出了很好的性能。     

基于PCA算法的人脸识别

介绍了隐马尔可夫特征脸模型（HMEM）,由概率性主成分分析方法（PPCA）与离散空间马尔可夫模型法（SL-HMM）整合而成,具有PPCA和SL-HMM的双重特性。利用ORL数据库进行人脸识别实验,结果说明该模型在性能上表现出较大的优势。     

一种自适应加权HOG特征的人脸识别算法

为了提高人脸识别在复杂条件下的识别率,提出一种基于自适应加权梯度方向直方图特征（AW-HOG）的人脸识别方法。该方法首先将人脸图像分成均匀子块,并利用HOG描述算子提取分块人脸特征,根据各分块对识别的贡献率自适应地计算各分块的权重,然后融合权重系数以及各分块的HOG特征,形成AW-HOG特征并采用主成分分析（PCA）算法进行降维,最后利用支持向量机（SVM）进行分类识别。在Yale B 以及AR标准人脸库上的实验结果表明,提出的人脸识别方法在识别率上优于传统算法且对光照具有较强的鲁棒性。     

基于特征的弹性图匹配人脸识别算法改进

针对传统人脸识别弹性图匹配算法空间复杂度高、实时性较差的问题,提出一种弹性图匹配改进算法,将人脸图片特征点经Gabor小波预处理后,结合主成分分析(PCA)和Fisher线性判别方法(FLD)对生成的特征矢量进行处理,降低维数,减少计算量,同时在不降低识别率的前提下,提高识别速度。与传统的PCA算法、FLD算法、EGM算法进行仿真比较,证明该改进算法识别率高、实时性好。     

融合PCA、LDA和SVM算法的人脸识别

为了提高人脸识别效率,提出了一种基于PCA、LDA和SVM算法融合的人脸识别方法。使用主成分分析（PCA）将人脸图像变换到新的特征空间中,消除图像特征间的相关性和噪声,提取人脸全局特征,在实验阶段取较多的投影方向使其尽可能多的保持原始信息;使用线性判别分析（LDA）算法进一步投影变换降低数据维度;使用支持向量机（SVM）分类识别。将PCA、LDA和SVM三种算法的优点结合起来,在ORL数据库上进行仿真实验,结果表明该方法的识别率可达99.0%。     

鉴别矢量增强在人耳人脸多模态识别中的应用

人耳识别与人脸识别在生物特征识别领域中占有重要位置,然而,剧烈的姿态变化一直是阻碍它们在现实生活中应用的瓶颈,提出一种鉴别矢量增强算法,以解决姿态人耳和姿态人脸图像的识别问题。为了考察多模态识别的可行性和有效性,利用串联、并联（广义主元分析）和典型相关分析等融合策略,将强化后的人耳、人脸鉴别矢量进行有效融合,通过最近邻方法进行分类识别。实验结果表明,鉴别矢量强化算法可以显著提高姿态人耳或是姿态人脸单生物特征的识别率,而多模态方法又会表现出更好的识别性能。     

增强局部量化模式人脸识别算法

针对局部二值模式没有考虑邻域点之间的关系以及局部序数模式（LIOP）的邻域点数过少不足,提出一种利用大邻域范围内邻域点间序数信息的特征提取算法。该算法首先以类似LIOP编码的方式得到的邻域特征向量,然后应用[k]均值聚类算法降低特征向量的主模数量。同时此聚类过程可以离线进行并且运行十分高效;最终将级联直方图特征作为人脸特征向量。实验结果表明,该方法的鲁棒性和识别率均优于对比算法。最后应用WPCA算法既降低特征维数又提升了算法的识别率。     

分块类增广PCA及其在人脸识别中的应用

提出一种分块类增广PCA方法并应用于人脸识别中。对原始图像矩阵进行分块，对各个分块子图像施行自适应的CAPCA方法进行特征提取，将提取到的特征依次整合，从而达到降维的目的。该方法不仅能有效提取图像的局部特征，而且能适应不同的光照条件。实验结果表明，该方法在识别性能上优于CAPCA方法和分块PCA方法。     

基于主成分分析的人脸个体差异识别算法

传统基于主成分分析(PCA)的人脸识别算法不能最优区分不同种类样本。为此,提出一种新的基于PCA的人脸识别算法。利用PCA降维方法提取人脸的个体差异特征,并采用最近邻距离分类器对该特征进行分类。在ORL人脸数据库上的实验结果表明,与传统算法相比,该算法的正确识别率较高。