基于LBP和Fisherfaces的多模态人脸识别

提出一种结合局部二值模式（LBP）和Fisherfaces的多模态人脸识别方法。用LBP算子提取人脸灰度图像和深度图像的区域LBP直方图序列（LBPHS）,再采用Fisherfaces分别构建相应的线性子空间,用余弦相似度作为投影向量的相似度量,用加权求和规则进行信息融合。在FRGC数据库上的实验结果表明,该方法要明显优于LBPHS与直方图交及Fisherfaces与余弦相似度的融合,等错误率仅为0．33％。     

LDBP和LBP特征融合的行人检测

提出一种基于局部差分二值模型（Local Difference Binary Pattern,LDBP）和局部二值模型（Local Binary Pattern,LBP）的特征融合方法,以解决行人检测中检测精确度和鲁棒性不足的问题。对输入图像进行二维离散Haar小波变换,得到不同频率的四个子图像（LL,LH,HL和HH）;对低频部分子图像提取LDBP特征,以及对其他三个高频部分子图像提取LBP特征;采用主成分分析法（PCA）分别对得到的LDBP特征和LBP特征进行降维;融合降维后的LDBP特征和LBP特征进行行人检测。在INRIA数据集上采用支持向量机（SVM）进行测试,实验结果表明,该方法能有效地提高检测精确度,且具有较好的鲁棒性。     

基于PCA与LBP的人脸性别分类方法

主成分分析方法（PCA）和局部二元模式算子（LBP）相融合的特征提取方法结合了PCA在提取全局特征方面的优势和LBP在提取局部纹理细节方面的优势,能够从人脸图像中提取出较好的用于支持向量机（SVM）进行人脸性别识别分类的特征。在提取图像的LBP特征时,对传统的LBP方法做了改进,采用级联的方法提取图像的LBP直方图特征。并将提取出来的LBP特征与PCA特征相结合用于SVM,实验结果表明,LBP和PCA相融合的特征较单独的PCA特征和LBP特征在性别识别上具有明显的优势。     

基于LBP和HOG特征分层融合的步态识别

针对步态能量图（GEI）在提取人体信息时只描绘出了轮廓信息,而丢失了内部特征的局限性,提出一种基于人体目标图像的局部二值模式（LBP）与方向梯度直方图（HOG）分层融合的GEI识别算法。该算法步骤包括：首先用光流法提取步态周期,获得一个周期的步态能量图（GEI）;然后分三层提取GEI的LBP特征,得到三层的LBP图像;依次提取每层LBP图像的HOG特征,最后将每层提取的LBP和HOG特征融合,得到每层的新特征;最后将三个新特征依次融合成可以用于识别的最终特征。通过几种方法对CASIA和USF步态数据库的实验对比,提出的算法取得了更高的识别率。     

一种基于LTP特征的图像匹配方法*

为了解决可变光照条件下图像匹配困难这一问题,提出一种基于LTP（局部三值模式）特征的图像匹配方法。LTP是LBP（局部二值模式）的扩展,这种局部纹理描述算法较LBP更具有判别能力而且对于统一区域的噪声更不敏感。利用LTP对于图像旋转和光照变化都具有良好的鲁棒性,解决了在光照可变条件下流行的SIFT方法进行匹配的困难。通过对不同变换的图像进行匹配实验表明,该方法得到的匹配结果比LBP效果更好,鲁棒性更高,而在光照可变和噪声很大的情况下比流行的SIFT方法更实用。     

融合DCT和LBP特征的表情识别

为了获得更好的面部表情特征,提出了一种融合离散余弦变换（Discrete Cosine Transform,DCT）特征和局部二值模式（Local Binary Pattern,LBP）特征的表情特征提取方法。该方法将人脸图像经过DCT后所获得的低频系数作为表情的整体特征;通过对人脸图像进行分块,计算每个子块的LBP直方图,将这些LBP直方图连接起来形成LBP特征,对该LBP特征使用拉普拉斯特征映射（Laplacian Eigenmaps,LE）降维后得到表情的局部特征。将得到的整体特征和局部特征进行加权融合,使用最近邻分类器进行分类。在JAFFE和Cohn-Kanade表情库上的实验结果表明,该方法比单独使用LBP或者DCT特征,具有更好的效果。     

使用二维EMD的红外和彩色可见光图像融合

针对红外和彩色可见光图像的融合,提出了一种基于二维经验模式分解（BEMD）的新的融合方法。源图像由BEMD分解成为本征模式函数集（IMFs）和残余;再将红外图像的IMFs和残余分别与对应可见光图像的IMFs和残余进行灰度范围匹配后,用加权平均方法进行融合;最后由BEMD重构成融合图像。用此法所得的融合图像增强了红外图像的细节并具有与可见光图像相似的自然色彩。实验中将此法与传统的小波变换方法和主成分分析方法进行了比较,还与经验模式分解（EMD）和复经验模式分解（CEMD）的方法进行了比较,实验结果都证明了该方法的融合效果最优。     

基于局部二值模式和级联AdaBoost的多模态人脸识别

提出了一种基于局部二值模式(LBP)和 级联AdaBoost的多模态人脸识别方法。采用级联AdaBoost算法分别从人脸深度图像和灰度图像的大量区域LBP直方图(RLBPH)中选出最有利于分类的少量特征,并连接成一个直方图向量,再分别用线性判别分析构建相应的线性子空间,用余弦相似度作为投影向量的相似度量,用求和规则进行信息融合。在FRGC数据库上的实验结果表明,提出的方法采用少量的特征取得了很好的识别效果,等错误率仅为1.40%。     

LBP和HOG的分层特征融合的人脸识别

针对LBP描述子提取的纹理特征有限且不能有效地描述图像边缘和方向信息的问题,提出了LBP和HOG的分层特征融合的方法.首先利用LBP算子提取图像的分层纹理谱特征,然后利用HOG算子提取原始图像的边缘特征和基于分层LBP特征的分层HOG特征,最后将分层LBP特征分别与2种HOG边缘特征融合,得到2种不同的多层融合特征.通过在ORL,Yale和GT人脸库上进行实验,比较了15种算法的识别性能,结果证明了文中方法的有效性;相对于传统的经典降维算法、单一的LBP特征提取算法和HOG特征提取算法,该方法的识别率有很大的提高,分别达到99%,99.5%和99.14%.     

基于SURF特征匹配的图像拼接算法

提出了一种了基于SURF（speed up robust features）特征匹配的图像拼接算法。SURF方法是一种快速且鲁棒性较好的特征提取算法,用该算法提取图像特征后,使用改进BBF（best bin first）的快速匹配算法来寻找图像间的匹配点;用LM算法对单应性矩阵进行优化时,本文提出使用梯度误差函数增强对光照变化的鲁棒性;最后采用多分辨率融合方法进行图像融合,有效地消除了拼接痕迹,并保持较高的分辨率。实验结果验证了该算法的高效性,对存在旋转、尺度缩放、视角以及光照变化的图像都具有良好的效果。     

基于强度图和深度图的多模态人脸识别

提出将全局特征表征方法2DFLD、2DPCA与局部特征表征方法LBP相结合,应用到人脸二维强度图和三维深度图进行识别;对不同分类方法的识别得分再进行归一化加权融合。对比实验结果表明,LBP对2DFLD和2DPCA的识别结果有改善作用,二维强度图和三维深度图的得分归一化加权融合对整个识别率也有一定的改善,在CASIA3D人脸数据库上的识别率最高可达94.68%。     

改进的HOG和Gabor,LBP性能比较

为了实现复杂环境下的人脸特征有效表达,提出一种改进的梯度方向直方图(HOG)人脸识别方法.首先以人脸图像网格作为采样窗口并在其上提取HOG特征;然后将所有网格HOG特征向量进行组合,实现整个人脸特征表达;最后采用最近邻分类器进行识别.另外,比较了该方法与Gabor小波和局部二值模式(LBP)2种著名的人脸局部特征表示方法的优劣.实验结果表明,在调优的HOG参数下,在具有光照和时间环境等复杂变化的FERET人脸库中,较少维数的HOG特征比LBP特征有更好的表现,而且HOG特征提取时间和特征向量维数比Gabor小波方法更具有优势.     

采用LBP金字塔的人脸描述与识别

为了有效地提取人脸图像的全局和局部特征以提高人脸识别的性能,提出一种基于LBP金字塔特征的人脸描述与识别算法.首先通过多尺度分析构建人脸图像金字塔;然后采用LBP算子提取各层图像的LBP特征谱,建立图像的LBP金字塔;最后对LBP金字塔各层特征谱进行分块统计,并将各层的统计直方图序列连接起来作为人脸的鉴别特征用于分类识别.该算法在ORL和FERET人脸数据库上取得了较高的人脸识别率.实验分析表明,LBP金字塔特征具有较强的人脸描述能力和可鉴别性,且对光照、人脸表情及位置的变化具有较高的鲁棒性.     

基于LBP和栈式自动编码器的人脸识别算法研究

LBP算法对光照敏感且能有效地提取图像的纹理结构特征。提出一种基于局部二值模式（Local Binary Pattern,LBP）和栈式自动编码器（Stacked Autoencoders,SAE）的人脸识别算法。用统一模式LBP算子提取分块后的人脸图像的直方图,按顺序连接形成整幅图像的LBP特征,并将其作为栈式自动编码器的输入,完成进一步的特征提取,实现人脸图像的识别与分类。在Extended Yale B等数据库上的实验结果表明,该算法与传统的人脸识别算法和标准的栈式自动编码器相比,对光照变化有更强的鲁棒性,具有更好的识别效果。     

LBP与鉴别模式结合的热红外人脸识别

为了提取具有鉴别能力的红外人脸图像局部结构特征,提出一种基于LBP(local binary pattern)鉴别模式的红外人脸识别方法。传统的LBP均匀模式,提取自然图像中占主导地位的信息用于识别,但占主导地位的信息不一定是最适合识别的。为了提取有效的鉴别模式特征,基于监督学习的思想,在LBP模式下引入可分性标准,对不同LBP模式进行有效的模式选择,从而抽取适合识别的鉴别模式。最后,为了利用人脸的空间位置信息,结合分块和直方图技术得到最后的识别特征。实验结果表明,本文鉴别模式可以提取更适合识别的特征,识别性能优于传统的基于均匀模式的LBP方法。     

特征点LBP信息在表情识别中的应用

提出一种基于特征点LBP信息的表情识别方法。在分析了表情识别中的LBP特征之后,选择含有丰富表情信息的上半脸眼部周围和下半脸嘴部周围的特征点,计算每个特征点邻域的LBP信息作为表情特征进行表情识别。实验表明,基于特征点LBP信息的方法不需要对人脸进行预配准,较传统的LBP特征更有利于表情识别的实现。     

基于局部二元模式的人脸表情识别

提出了一种基于局部二元模式（LBP）和局部保全投影（LPP）相结合的面部表情识别方法。使用LBP算子对图像分块处理,综合人脸局部和整体的特征;再使用LPP对表情特征降维,最后采用支持向量机对面部表情分类。在日本女性人脸表情库上实验表明,本文提出的方法有更好的识别率和更快的识别速度。     

局部二值模式方法研究与展望

针对当前局部二值模式(Local binary pattern, LBP)方法表现出的理论和实际应用价值, 系统综述了在纹理分析和分类、人脸分析和识别以及其他检测与应用中的各种LBP 方法.首先, 简要概述了LBP方法的原理, 主要分析了LBP 方法中的阈值操作并介绍了统一模式和旋转不变性模式.其次, 分别对纹理分析和分类中的LBP方法、人脸分析和识别中的LBP方法以及其他检测与应用中的LBP方法等三个方面进行了详细的梳理和评述.最后, 分析了LBP方法在应用中依旧存在的重要问题并指出了未来的研究方向.     

Illumination invariant face recognition using near-infrared images

Most current face recognition systems are designed for indoor, cooperative-user applications. However, even in thus-constrained applications, most existing systems, academic and commercial, are compromised in accuracy by changes in environmental illumination. In this paper, we present a novel solution for illumination invariant face recognition for indoor, cooperative-user applications. First, we present an active near infrared (NIR) imaging system that is able to produce face images of good condition regardless of visible lights in the environment. Second, we show that the resulting face images encode intrinsic information of the face, subject only to a monotonic transform in the gray tone; based on this, we use local binary pattern (LBP) features to compensate for the monotonic transform, thus deriving an illumination invariant face representation. Then, we present methods for face recognition using NIR images; statistical learning algorithms are used to extract most discriminative features from a large pool of invariant LBP features and construct a highly accurate face matching engine. Finally, we present a system that is able to achieve accurate and fast face recognition in practice, in which a method is provided to deal with specular reflections of active NIR lights on eyeglasses, a critical issue in active NIR image-based face recognition. Extensive, comparative results are provided to evaluate the imaging hardware, the face and eye detection algorithms, and the face recognition algorithms and systems, with respect to various factors, including illumination, eyeglasses, time lapse, and ethnic groups     

Face recognition based on local binary pattern and improved Pairwise-constrained Multiple Metric Learning

During the image acquisition process of face recognition, the obtained face images are affected inevitably by varied illumination and position in different environment. Local Binary Pattern (LBP) operator is used to decrease illumination effectiveness. Improved Pairwise-constrained Multiple Metric Learning method (IPMML) is proposed as a classification metric in our prior work, which solves the misalignment problem in a better way compared with PMML. To solve the high computation complexity of IPMML, Linear Discriminant Analysis (LDA) is performed before IPMML. Thus, a face recognition method based on LBP and IPMML is proposed, which can overcome the illumination and misalignment problems. LBP is selected to extract texture features of face images firstly. Second, LDA is applied to reduce the dimension. Then the fisher features are divided into sub-blocks according to the dimension of features and every block is a column vector. Fourth, a classification metric -- IPMML is used to obtain the optimum Mahalanobis matrix. Fifth, the Mahalanobis matrix is used to compute the final discriminative distance. Finally, the Nearest Neighborhood Classifier (NNC) is applied to classify face images. The experimental results show that the proposed method can achieve high recognition rates and is robust to illumination and facial expression variation, especially for misaligned face images.