一种基于匹配学习的人脸图像超分辨率算法

针对现有基于样本学习的人脸超分辨率算法对人脸图像采用全局搜索,存在非局部误匹配且复原图像视觉效果不佳等问题,提出了一种新的基于匹配学习的人脸图像超分辨率算法。首先根据输入图像预分类得到一个样本子类库,并构建相应的特征图像。在匹配过程中,针对不同人脸图像,采用2种新的搜索策略,考虑了图像块之间的相似性和一致性,使复原图像看起来更加连贯自然。实验结果表明,与其他方法相比,本文算法生成的高分辨率人脸图像获得了更好的视觉效果和更高的平均峰值信噪比,具有很好的实用价值。     

基于多分辨率塔式结构的幻觉脸技术的研究

提出的基于多分辨率塔式结构的幻觉脸算法,使用改进的图像金字塔建立标准人脸训练库作为学习模型,能在多尺度、多分辨率上训练出更有效的先验知识.然后在匹配复原过程中引入一种新思路,先结合塔状父结构搜索出拉普拉斯金字塔中最匹配的4个高频细节,再将这4个高频细节进行加权平均后的结果作为丢失的人脸图像的高频细节,最终复原出超分辨率人脸图像.实验结果表明,该算法对64×64大小的低分辨率人脸图像增强16倍,复原出的256×256大小的超分辨率人脸图像更加平滑,减小了一定的噪声干扰.     

考虑光照鲁棒性的超分辨率人脸识别系统设计

为保障不同光照下低分辨率人脸的超分辨率识别精度与效率,设计了考虑光照鲁棒性的超分辨率人脸识别系统。通过包含DSP单元与ARM单元的控制器模块,驱动人脸视频采集模块。采集不同复杂光照的人脸视频信息并解析成视频帧后,预估视频帧序列的位移情况,恢复视频帧序列的超分辨率,融合超分辨率视频帧构成人脸图像样本。利用人脸特征提取模块补偿全部人脸图像样本复杂光照,并提取其LBP特征构成人脸库。通过人脸识别模块匹配人脸图像的LBP特征与人脸库,识别出超分辨率人脸图像。结果表明,该系统的光照鲁棒性人脸图像采集与人脸图像LBP特征提取两部分的实现效果均较好。可有效识别出背光、强光及弱光下的超分辨率人脸,识别效率较高,识别成功率能够达到96.7%,为光照鲁棒性人脸识别提供保障。     

基于LED与肌肉模型的特定人脸建模与动画

特定三维人脸的建模与动画是计算机图形学中一个非常令人感兴趣的领域.本文提出了一种新的从两幅正交照片建立特定人脸的模型以及动画方法,首先以主动轮廓跟踪技术snake自动获取人脸特征点的准确位置,然后以文中的局部弹性变形(local elastic deformation)方法进行通用人脸模型到特定人脸的定制,并辅以采用图像镶嵌技术生成的大分辨率纹理图像施行纹理绘制,该方法以特征点的位移和非特征点与特征点的相对位置为基础计算局部人脸面部的变形,同时还能够实现人脸剧烈的面部变化和动作,与肌肉模型相结合,可很好地实时完成人脸的动画,具有快速高效的特点.最后,给出了所得到的实验结果.     

双目下点云的三维人脸重建

提出一种在双目视觉系统下进行人脸重建的方法。首先,通过双目系统拍摄人脸的左右图像;其次,用Grab-Cut的方法的把人脸图像分割出来从而降低立体匹配的搜索范围;然后,用区域匹配算法得到人脸的视差图,从而得到人脸的三维点云;最后对不同角度的人脸图像进行SIFT特征提取和匹配。将提取的SIFT特征点和匹配关系反射到三维点云数据,获取不同角度人脸的三维点云数据的特征点和匹配关系,完成对不同角度的人脸进行粗配准。     

基于2D-PCA特征描述的非负权重邻域嵌入人脸超分辨率重建算法

在基于邻域嵌入人脸图像的超分辨率重建算法中,训练和重建均在特征空间进行,因此,特征选择对算法性能具有较大影响。另外,算法模型对重建权重未加限定,导致负数权重出现而产生过拟合效应,使得重建人脸图像质量衰退。考虑到人脸图像的特征选择以及权重符号限定的重要作用,该文提出一种基于2维主成分分析(2D- PCA)特征描述的非负权重邻域嵌入人脸超分辨率重建算法。首先将人脸图像分成若干子块,利用K均值聚类获得图像子块的局部视觉基元,并利用得到的局部视觉基元对图像子块分类。然后,利用2D-PCA对每一类人脸图像子块提取特征,并建立高、低分辨率样本库。最后,在重建过程中使用新的非负权重求解方法求取权重。仿真实验结果表明,相比其他基于邻域嵌入人脸超分辨率重建方法,所提算法可有效提高权重的稳定性,减少过拟合效应,其重建人脸图像具有较好的主客观质量。     

基于LMSRBP和软直方图交的人脸表示与识别算法

针对传统局部二进制模式(LBP)存在的固有缺陷,即小尺度LBP算子无法反应人脸图像的宏观特征,大尺度LBP算子特征维数通常很高,提出一种局部多尺度多分辨率二进制模式(LMSRBP)的人脸表示算法。通过使用高斯金字塔得到一系列不同尺度不同分辨率的人脸图像,然后对这些图像使用同种LBP算子得到LMSRBP特征谱。该方法在不改变特征维数的情况下,能同时提取出图像的微观和宏观特征。在分类器设计方面,考虑不同面部区域对识别贡献不同的问题,提出软直方图交方法构建多弱分类器,最后集成所有弱分类器得到识别结果。在YaleB,ORL标准人脸库上的实验结果表明,该改进算法能显著提高人脸识别率。     

基于神经网络的人脸识别系统

针对人脸在整个图像中识别的问题,提出了基于神经网络的前端人脸检测系统.该系统首先将训练集中每个图像划分成独立的小窗口,并标示出每个窗口中包含的人脸图像,并据此对神经网络进行训练.在利用神经网络对人脸进行识别的过程中,对待检测图像划分为分辨率为金字塔形的小图像,然后对每个分辨率的小图像进行人脸识别.同时为了提升系统对人脸检测的准确率和误报率,需要对多个神经网络输出的阈值进行权衡.本系统使用自适应算法,增加了错误检测集以提升系统的检测精度.     

基于关键点逐层重建的人脸图像超分辨率方法

本文提出一种通过基于关键点逐层重建的人脸图像超分辨率方法。该方法考虑到五官和眉毛局部部位的细节对超分重建的重要意义,本文提出对人脸关键点附近局部区域分别训练超分映射函数,并采用逐层迭代重建实现人脸超分的方法,减小直接重建目标图像的难度。针对超分映射函数,本文采取了线性和非线性两种学习方法,其中线性方法采用主成分分析(PCA),非线性方法采用自编码网络(AutoEncoder)。在超分重建阶段,先采用双线性插值作为初始化,进而利用学习得到的超分映射函数计算局部人脸图像超分,叠加到全局人脸图像,实现整体超分。基于关键点的人脸超分辨率图像质量较其他超分方法在五官的细节上有更好的效果,本文提出的方法在实验数据集上展现了良好的超分结果,验证了低分辨率证件照情况下的人脸识别的有效性。      

相似图像块逼近的人脸超分重建残差补偿框架

为了提高人脸图像超分辨率重建算法中残差补偿步骤的效果,提出一种通用的基于内容相似图像块线性组合逼近的残差补偿框架,不经过搜索步骤,使用训练集人脸图像同一内容的图像块来进行运算。所提框架中的全局重建步骤,可以使用不同的重建方法。实验结果表明,在这种框架下的残差补偿方法,相比经典的邻域嵌入残差补偿方法,可以更好地恢复出初步重建的人脸图像细节信息。因为这是一种通用的残差补偿方法,从而可以推测凡使用邻域残差补偿的算法,均可借助本算法框架将重建结果进一步的提升。     

Face recognition using spatially constrained earth mover's distance

Face recognition is a challenging problem, especially when the face images are not strictly aligned (e.g., images can be captured from different viewpoints or the faces may not be accurately cropped by a human or automatic algorithm). In this correspondence, we investigate face recognition under the scenarios with potential spatial misalignments. First, we formulate an asymmetric similarity measure based on Spatially constrained Earth Mover's Distance (SEMD), for which the source image is partitioned into nonoverlapping local patches while the destination image is represented as a set of overlapping local patches at different positions. Assuming that faces are already roughly aligned according to the positions of their eyes, one patch in the source image can be matched only to one of its neighboring patches in the destination image under the spatial constraint of reasonably small misalignments. Because the similarity measure as defined by SEMD is asymmetric, we propose two schemes to combine the two similarity measures computed in both directions. Moreover, we adopt a distance-as-feature approach by treating the distances to the reference images as features in a Kernel Discriminant Analysis (KDA) framework. Experiments on three benchmark face databases, namely the CMU PIE, FERET, and FRGC databases, demonstrate the effectiveness of the proposed SEMD.     

基于神经网络的有遮挡图像分割方法

人脸作为人类最主要形象特征,具有许多特征的唯一性,而人脸识别的关键在于进行的人脸分割计算。传统的人脸分割算法在有遮挡情况下无法完整的提取人脸信息,导致信息缺失,使得图像检测无法进行。文中算法采用基于神经网络与自适应技术的人脸图像分割计算,对于有遮挡部分的人脸也可进行较好的分割计算,通过多种图片进行实验仿真计算后,有遮挡的图片都可得到有效的分割,实现了对人脸分割85%的分割完成率,远高于传统人脸图像分割算法的78%的分割完成率。因此本算法,在图像识别领域具有对较好的推广意义。     

基于Log-WT的人脸图像超分辨率重建

目前已有的基于学习的人脸超分辨率图像重建算法大都对亮度变化特别是阴影非常敏感,针对这一缺点,该文提出了一种不随光照变化的图像表示方法对数-小波变换(Log-WT),并在此基础上构造了一种新的人脸超分辨率图像重建算法。该方法首先利用Log-WT变换提取低分辨率图像与光照无关的内在特性,然后借助流形学习的思想建模高分辨率图像和低分辨率图像之间的关系,并对其加入人脸图像的专用先验约束,从而同时实现了超分辨率重建和图像增强。仿真结果表明该算法有效克服了传统方法受光照因素影响的缺点,在提高图像分辨率的同时克服了光照因素的影响,特别是对阴影效应的消除具有明显效果,将该方法应用于人脸识别,有效提高了识别率。     

Appearance-based periocular features in the context of face and non-ideal iris recognition

Developing newer approaches to deal with non-ideal scenarios in face and iris biometrics has been a key focus of research in recent years. The same reason motivates the study of the periocular biometrics as its use has a potential of significantly impacting the iris- and face-based recognition. In this paper, we explore the utility of the various appearance features extracted from the periocular region from different perspectives: (i) as an independent biometric modality for human identification, (ii) as a tool that can aid iris recognition in non-ideal situations in the near infra-red (NIR) spectrum, and (iii) as a possible partial face recognition technique in the visible spectrum. We employ a local appearance-based feature representation, where the periocular image is divided into spatially salient patches, appearance features are computed for each patch locally, and the local features are combined to describe the entire image. The images are matched by computing the distance between the corresponding feature representations using various distance metrics. The evaluation of the periocular region-based recognition and comparison to face recognition is performed in the visible spectrum using the FRGC face dataset. For fusion of the periocular and iris modality, we use the MBGC NIR face videos. We demonstrate that in certain non-ideal conditions encountered in our experiments, the periocular biometrics is superior to iris in the NIR spectrum. Furthermore, we also demonstrate that recognition performance of the periocular region images is comparable to that of face in the visible spectrum.     

Face recognition using position-dictionaries and region covariance feature

In this paper, a new sparsity formulation called position-dictionary based sparse representation is developed for frontal face recognition. Different from the sparse representation based classification (SRC) method and the Gabor-feature based SRC (GSRC) method which both employ a global dictionary to decompose image patches, the proposed method constructs a position-dictionary for each location using training patches in the corresponding location since they resemble each other and are more likely to favor the same atoms. Sparse coefficients of each position-patch can be obtained by solving an \(l_{1}\) -norm minimization problem. For each face image, sparse coefficients of position-patches are pooled to construct a discriminative upper level feature to represent face image. PCA is used to perform dimension reduction. Each testing sample is represented as a sparse linear combination of all training samples, and recognition is accomplished by evaluating which class of training samples leads to the minimum reconstruction error. We compared the proposed method with SRC and GSRC method on three benchmark face databases. Experimental results show that the proposed method achieves higher recognition rates and is robust to a certain degree of occlusions.     

Locally linear regression for pose-invariant face recognition.

The variation of facial appearance due to the viewpoint (/pose) degrades face recognition systems considerably, which is one of the bottlenecks in face recognition. One of the possible solutions is generating virtual frontal view from any given nonfrontal view to obtain a virtual gallery/probe face. Following this idea, this paper proposes a simple, but efficient, novel locally linear regression (LLR) method, which generates the virtual frontal view from a given nonfrontal face image. We first justify the basic assumption of the paper that there exists an approximate linear mapping between a nonfrontal face image and its frontal counterpart. Then, by formulating the estimation of the linear mapping as a prediction problem, we present the regression-based solution, i.e., globally linear regression. To improve the prediction accuracy in the case of coarse alignment, LLR is further proposed. In LLR, we first perform dense sampling in the nonfrontal face image to obtain many overlapped local patches. Then, the linear regression technique is applied to each small patch for the prediction of its virtual frontal patch. Through the combination of all these patches, the virtual frontal view is generated. The experimental results on the CMU PIE database show distinct advantage of the proposed method over Eigen light-field method.     

3D人脸识别研究探索

2D人脸识别技术虽已成熟,但由于单一的2D图像不能提供识别所需的完整信息,故其识别精度很难进一步提高。在人脸识别过程中,特征提取是影响识别效果的一个重要环节,在分析了传统的主成分分析法和由此改进的2D PCA方法的基础上,提出了3D人脸识别方法。该方法将人脸图像分为几个部分分别进行特征提取,同时充分考虑每个部分所包含的特征信息量的多少,并在分类时赋予它们不同的权值。因此,将人脸用立体图像来表示并进行识别是目前提高人脸识别精度的前沿课题。     

一种基于倒谱的人脸图像清晰度评价方法

针对人脸图像清晰度,给出了一种基于倒谱的定量评价方法。实验结果表明,与传统方法相比,所提出的清晰度评价方法能更加准确地评价出人脸图像的质量;采用该方法对人脸识别样本进行筛选,能有效地提高自动人脸识别的识别率,且对整体识别时间影响很小,因而更适合用作自动人脸识别中的图像质量评价。     

基于特征提取与认证的彩色图像人脸检测

在深入的对频谱脸法和Fisherface方法进行研究后,综合这两种方法的优点,提出了一种基于频谱脸和Fisher-face的人脸识别新方法。频谱脸方法主要是采用二维小波变换和傅立叶变换。因为人脸图像的低频部分对人脸的表情变化是不敏感的,所以对人脸图像使用二维小波变换,提取人脸图像的低频部分。对人脸图像的低频部分使用傅立叶变换,从而获得原人像的一个低维空间的表达。但是频谱脸特征维数仍然较高,所以在频谱脸法的基础上继续提取人脸频谱图像的Fisherface特征,降低特征的维数,提高识别效率。利用人脸面部构造产生的灰度特性提取眼睛,利用嘴唇的色度特征分割出嘴巴,进而根据眼睛和嘴巴构成三角形模板的特性,精确定位人脸在图像中的位置。实验结果表明,这种结合肤色和面部特征的算法,能够对人脸进行较快速、准确的定位,而且结果比较稳定可靠。