多人脸跟踪与最佳人脸提取

针对视频人脸识别系统中同一人脸重复识别的问题,文中提出了一种多人脸跟踪与最佳人脸提取的方法。通过ViBe算法提取运动区域,缩小数据处理区域及确定执行人脸检测;利用Haar特征结合AdaBoost算法检测人脸,并根据肤色检测判断是否有误检;利用CamShift算法跟踪人脸;再使用Sobel算子得到清晰的人脸图片。实验表明,该方法下人脸误检率由2.8%降到0.2%,对于100帧视频平均处理时间从原始每帧112 ms降低到了45.6 ms,其处理速度明显提升。     

多级FFD融合超分辨率重建的视频人脸识别

针对视频人脸识别中由于人脸畸变、表情变化等非刚性变化导致无法精确配准和重建的问题,提出一种基于多级自由变形配准的超分辨率重建算法。首先,利用低分辨率FFD网格全局配准,引入边缘配准度量到差平方总和准则;然后,将全局配准后的图像和基准图像划分成一系列对应子图对,使用高分辨率FFD网格对相关系数小的子图对进行局部配准;最后,采用凸集投影算法对多帧低分辨率图像重建SR人脸图像,并利用支持向量机分类器完成人脸识别。在标准视频库Choke Point和自己搜集的人脸视频库上的实验结果表明,在人脸畸变和表情变化很大的情况下,本文算法也能够精确配准和重建人脸图像,相比其它几种视频人脸识别算法,本文算法取得了更好的识别效果。     

基于循环区域关注和视频帧关注的视频行为识别网络设计

视频帧中复杂的环境背景、照明条件等与行为无关的视觉信息给行为空间特征带来了大量的冗余和噪声,一定程度上影响了行为识别的准确性.针对这一点,本文提出了一种循环区域关注单元以捕捉空间特征中与行为相关的区域视觉信息,并根据视频的时序特性又提出了循环区域关注模型.其次,本文又提出了一种能够突显整段行为视频序列中较为重要帧的视频帧关注模型,以减少异类行为视频序列间相似的前后关联给识别带来的干扰.最后,提出了一个能够端到端训练的网络模型：基于循环区域关注和视频帧关注的视频行为识别网络（Recurrent Region Attention and Video Frame Attention based video action recognition Network,RFANet）.在两个视频行为识别基准UCF101数据集和HMDB51数据集上的实验表明,本文提出的端到端网络RFANet能够可靠地识别出视频中行为的所属类别.受双流结构启发,本文构建了双模态RFANet网络.在相同的训练环境下,双模态RFANet网络在两个数据集上达到了最优的性能.     

基于人脸检测的新闻视频主持人帧识别技术研究

本文首先阐述了新闻视频中主持人帧检测的重要意义,然后重点介绍了一种基于人脸检测的自动的主持人帧识别算法。该方法首先利用人脸检测器过滤出具有人脸的候选帧,然后利用补充的背景匹配算法从候选帧中筛选出主持人帧。实验结果表明,该方法适用于各种不同种类的新闻节目视频,可以应用于新闻视频分析。     

具有遮挡鲁棒性的监控视频人脸再识别算法

传统身份识别技术需要将待识别人员信息预先录入，同时未考虑识别过程中的遮挡问题，不能满足公共场所基于监控视频的再识别需求。现有行人再识别算法多依赖于服饰等外观特征，难以进行长期追踪与再识别。针对以上问题，本文提出了一种对遮挡具有鲁棒性的人脸再识别算法。首先，对监控视频中的人脸进行检测与对齐，并判断人脸中存在的遮挡位置；其次，根据遮挡位置查找掩码字典并选择对应掩码，再用掩码排除遮挡元素；最后，使用注意力机制对多帧图片分配权重以更新特征，再使用分区域匹配方法得到识别结果。为验证该方法的有效性，本文分别在COX数据集和人工合成遮挡的数据集上对所提方法进行了测试。其中，在COX数据集上的rank-1准确率为95.2%， 在合成遮挡的数据集上rank-1准确率为73.0%，相比现有方法有明显优势。      

运动补偿预测残差稀疏重构的压缩视频传感

针对低复杂度视频编码需求,基于压缩传感(Compressive Sensing,CS)理论,提出了一种分布式压缩视频传感算法。低复杂度的编码器独立随机投影关键帧和CS帧,采集压缩视频数据;在解码端进行运动补偿预测以利用帧间相关性,对预测残差稀疏重构实现CS帧重建。仿真测试表明,与现有的3种压缩视频传感算法相比,所提算法重建的视频质量更好,适合无线视频监控及无线视频传感网络等应用。     

运动补偿预测残差稀疏重构的分布式压缩视频传感

针对低复杂度视频编码需求,基于压缩传感(CS：Compressive Sensing)理论,提出了一种分布式压缩视频传感算法。低复杂度的编码器独立随机投影关键帧和CS帧,采集压缩视频数据;在解码端进行运动补偿预测以利用帧间相关性,对预测残差稀疏重构实现CS帧重建。仿真测试表明,与现有的三种压缩视频传感算法相比,所提算法重建的视频质量更好,适合无线视频监控及无线视频传感网络等应用。     

基于低秩分解的联合动态稀疏表示多观测样本分类算法

通过互联网易获得同一对象的多个无约束的观测样本,针对如何解决无约束观测样本带来的识别困难及充分利用多观测样本数据信息提高其分类性能问题,提出基于低秩分解的联合动态稀疏表示多观测样本分类算法.该算法首先寻找到一组最佳的图像变换域,使得变换图像可以分解成一个低秩矩阵和一个相关的稀疏误差矩阵;然后对低秩矩阵和稀疏误差矩阵分别进行联合动态稀疏表示,以便充分利用类级的相关性和原子级的差异性,即使多观测样本的稀疏表示向量在类级别上分享相同的稀疏模型,而在原子级上采用不同的稀疏模型;最后利用总的稀疏重建误差进行类别判决.在CMU-PIE人脸数据库、ETH-80物体识别数据库、USPS手写体数字数据库和UMIST人脸数据库上进行对比实验,实验结果表明本方法的优越性.     

基于深度自编码-高斯混合模型的视频异常检测方法

由于异常定义的模糊性和真实数据的复杂性,视频异常检测是智能视频监控中最具挑战性的问题之一。基于自动编码器(AE)的帧重建（当前或未来帧）是一种流行的视频异常检测方法。使用在正常数据上训练的模型,异常场景的重建误差通常比正常场景的重建误差大得多。但是,这类方法忽略了正常数据本身的内部结构,效率较低。基于此,提出了一种深度自动编码高斯混合模型(DAGMM)。首先利用深度自动编码器获得输入视频片段的生成低维表示和重构误差,并将其进一步输入高斯混合模型(GMM)。而估计网络则通过高斯混合模型预测能量概率,然后通过能量密度概率判断异常。DAGMM以端到端的方式同时联合优化深度自动编码器和GMM的参数,能够平衡自动编码重建、低维表示的密度估计和正则化,泛化能力强。在两个公共基准数据集上的实验结果表明,DAGMM达到了现有最高技术发展水平,在UCSD Ped2和ShanghaiTech两个数据集上分别取得了95.7%和72.9%的帧级AUC。     

融合半监督降维与稀疏表示的人脸识别方法

由于人脸图像数据的维数都较高,将稀疏表示分类用于人脸识别时计算量很大,为了提高人脸识别系统的效率,提出了一种融合半监督降维和稀疏表示的人脸识别方法。首先利用半监督降维算法对图像进行降维处理,在较低的维数空间快速取得较高的识别率,然后利用稀疏表示分类进行人脸识别,取得比传统的最近邻分类器更高的识别率,最后在ORL人脸库上进行实验验证。结果表明,利用该融合算法可快速有效地提高人脸图像的识别效果。     

基于非约束图像参考集匹配的视频人脸识别

针对视频人脸识别中系统不能很好地学习人脸图像有效特征的问题,提出了非约束图像参考集匹配方法,通过在两个图像集之间预先定义参考集构造多个离线的局部模型,并分别与参考集进行匹配,无需考虑所有的成对情况,从而计算出它们的相似度,有效地将视频人脸识别问题转化成二次规划问题。所提方法的有效性在Honda、MoBo及YouTube三大视频人脸数据库上进行了验证,实验结果表明,与现有的视频人脸识别方法相比,所提方法取得了更好的识别效果。     

基于稀疏表示的人脸识别鲁棒性研究

针对人脸识别算法对光照变化敏感的问题,提出一种基于光照鲁棒稀疏表示的人脸识别方法。该方法对图像作小波变换,得到光照归一化图像,通过对光照归一化后人脸图像作稀疏变换,稀疏表示分类得出测试识别结果。本文方法在Yale B人脸库上仿真实验,识别率较高,对光照、表情、遮挡具有一定的鲁棒性。     

Illumination robust face recognition using random projection and sparse representation

Under uneven illumination, the performances degrade significantly for some existing face recognition methods. It is a challenge for face recognition methods to work effectively under different illumination conditions. In this paper, an illumination robust face recognition method, based on random projection and sparse representation, is proposed. In the proposed method, face images are preliminary illumination normalized by gamma correction and difference of Gaussian filtering, and then several projection spaces are obtained by iterative random projection, followed by constructing an initial sample space using Fisher discrimination analysis. This scheme enriches the discrimination abilities of sample features and achieves the security and completeness for biometric template. Test samples are sparsely decomposed into each subspace, and based on statistical average residual, a modified sparse representation method is proposed to realize face recognition with higher stability and illumination robustness. Experimental results indicate that the proposed method provides competitive performance with acceptable computational efficiency. Specifically, for the five subsets of Yale B database, our approach achieves 99.74% average recognition rate, which performs higher accuracy than that of comparative methods.     

人脸识别中局部遮挡处理技术研究

局部遮挡严重影响了人脸识别准确率,提出了自动最优局部遮挡的重建模型.该模型首先利用人脸图像的灰度值判断人脸遮挡类型,然后利用M估计器(M-estimator)对遮挡掩模进行估计,找到最佳局部遮挡的人脸重建系数,重建人脸,减弱人脸遮挡的影响.实验证明了局部遮挡处理的有效性,明显提高了识别准确率.     

面部表情识别中基于TTL的特定个体学习模型

针对现实生活中采集的特定个体数据稀疏而导致学习时产生过拟合的问题,提出了一种基于迁移学习的特定个体学习模型。首先,利用直推式迁移学习从原数据提取有用信息并将其添加到目标数据;然后,利用核主成分分析进行特征提取;最后,将各个样本建模为流形,并利用稀疏系数重建和k近邻分类器完成识别。在PAINFUL数据库上的实验结果表明,本文模型在痛苦表情上的识别精度可高达96.29%,ROC下方面积可高达0.904,相比其他几种较新的模型,本文模型取得了更好的识别性能。     

一种局部敏感的核稀疏表示分类算法

为了克服核稀疏表示分类(KSRC)算法无法获取数据的局部性信息从而导致获取的稀疏表示系数判别性受到限制的不足,提出一种局部敏感的KSRC(LS-KSRC)算法用于人脸识别。通过在核特征空间中同时集成稀疏性和数据局部性信息,从而获取具有良好判别性的用于分类的稀疏表示系数。在标准的ORL人脸数据库和Extended Yale B人脸数据库的试验结果表明,本文方法的分类性能优于传统的(KSRC)算法、稀疏表示分类(SRC)算法、局部线性约束编码(LLC)、支持向量机(SVM)、最近邻法(NN)以及最近邻子空间法(NS),用于人脸识别能够取得优越的分类性能。     

通用学习框架结合2DPCA的鲁棒人脸识别

针对现有的人脸识别算法由于光照、表情、姿态、伪装等变化而严重影响识别性能的问题,提出了一种基于通用学习框架结合2DPCA的鲁棒人脸识别算法。首先借助于额外的通用训练样本集进行样本的叠加以增加训练样本的数量;然后利用经典的2DPCA算法进行特征提取;最后,利用最近邻分类器对人脸进行分类并完成最终的人脸识别。在基准人脸数据库ORL、FERET及鲁棒人脸数据库AR、扩展YaleB上的实验验证了该算法的有效性及鲁棒性,实验结果表明,相比其他几种人脸识别算法,提出的算法不仅提高了人脸识别率,而且大大地减少了识别所用时间,有望应用于实时鲁棒人脸自动识别系统中。     

AFRS人脸自动识别系统的设计与开发

人脸检测、跟踪和识别技术是人机自然交互领域中一个富有挑战性的课题,也是近年来研究的一个热点。在新一代(第四代)人机自然交互系统中人脸自动识别系统提供了一个友好的人机交互接口。本文着重介绍了AFRS人脸自动识别系统的设计思想和实现技术。该系统以实现一个实时的、鲁棒的、自动化的系统为目标,融合了人脸检测、跟踪和识别技术以及其它的图像和视频处理技术,并且建立和维护了一个含有人脸特征数据的数据库,从而使得系统可以自动地对进入系统监控范围内的人脸自动进行检测、跟踪和识别。该系统在新一代的人机交互、安保、视频监控等方面有着广泛的应用前景。