基于多模型及SVM的单人脸跟踪系统

针对彩色视频中的人脸检测与跟踪问题，使用运动模型和自适应肤色模型，从图像中快速提取出人脸候选区，然后利用基于先验规则和SVM的方法进行确认。对于被确认的人脸，建立一个人脸状态记录表，通过位置预测，使用三步搜索法进行人脸区域色度特征匹配跟踪。实验表明，本文提出的方法，在复杂的环境中，能实时地、精度较高地跟踪自由运动的人脸。     

彩色视频序列图像中的人脸跟踪方法

针对彩色视频序列图像的人脸检测，提出了一种基于肤色的人脸跟踪方法。该方法首先在Hsu提出的肤色模型基础上，采样一种自肤色分割算法来提取复杂背景下人脸的肤色特征，与传统的采用固定肤色模型的检测算法相比，该方法具有更好的检测效果；然后，在人脸跟踪过程中采用Condensation滤波跟踪算法，并对算法做了两点改进，即在跟踪过程中采用基于Metropolis算法的重采样方法以及自适应的动态模型，实现了复杂背景下的人脸自由运动的跟踪，并从各种影片中截取了彩色视频序列图像进行了测试实验。实验结果表明，该方法有效地解决了复杂背景下人脸自由运动、光照变化及部分遮挡的问题，且精度较高。     

基于视频的运动人脸检测与跟踪算法研究

提出了一种自适应调整帧间时间差的方法来检测运动目标,并结合采用YCbCr空间及非线性分段色彩变换的肤色检测模型,对视频图像中的运动目标检测候选肤色区域,采用人脸的特征检测方法检测候选人脸区域.最后,根据在前后几帧中采用融合运动目标与肤色模型的人脸检测算法启动跟踪,获得初始运动信息,后继帧中提出一种新的运动区域预测与肤色边缘拟合椭圆匹配的算法,试验表明该算法实时、有效.     

基于肤色模型和CAMShift算法的人脸检测与跟踪研究

讨论并实现一个基于肤色模型和CAMShift方法的人脸检测与跟踪原型系统。该系统采用肤色模型分割出视频帧中的肤色区域与非肤色区域以检测出人脸．利用CAMShift算法跟踪运动的人脸,完成对人脸各种姿态的跟踪,具有较好的实时性和鲁棒性。     

实时视频图像中的人脸检测与跟踪

视频图像目标检测与跟踪是远程协作系统中感兴趣的研究课题之一。文中提出了一种协同系统中视频序列图像人脸检测及实时跟踪的方法。该方法根据用户选定的目标(如人脸)的颜色分布特点，用多幅训练样本图像建立人脸肤色模型，然后根据该模型和人脸特征对待检测的彩色图像进行分割与匹配，从而确定候选区域是否人脸。在视频图像跟踪中用此方法可实现人脸的实时检测跟踪，为了提高跟踪速度，提出了改进的基于运动预测的快速跟踪法。该方法充分利用运动连续性规律，能较好地处理多干扰目标同时出现的情形。实验表明所提出的方法执行效率高，检测跟踪正确率高．对有旋转的非正面人脸图像也有较好的适应性。     

一种可变光照条件下的肤色检测算法

肤色是人体表面最为显著的特征之一,可应用于人脸检测与跟踪、手势识别等,肤色检测算法在其中居于关键地位。该文提出了一种可变光照条件下的肤色检测算法,首先在YCbCr颜色空间从大量肤色样本中统计出肤色模型,考虑了在高亮度区和低亮度区肤色色度(Cb,Cr分量)与亮度(Y分量)非线性相关;其次,使用一种彩色均衡技术消除由光照引起的色彩偏移。该算法可适用于较广范围的光照条件,可应用于复杂环境下的人脸检测、手势识别等。     

人脸检测中的肤色提取模型研究

肤色是人脸区别于其他景物的一个重要特征，基于肤色的人脸检测第一个要解决的问题就是选择合适的肤色提取模型，模型选择的好坏直接影响肤色提取效果，从而影响人脸检测的准确性。该文就近期人脸检测中常用的肤色提取模型进行了简单地分析与比较表明，色度空间中的亮度分量是造成各种模型肤色提取效果不同的主要原因，并针对Anil K．Jain的Cb、Cr椭圆聚类法肤色分割的缺点进行了改进，首先对亮度信息设置阈值，进行分段判断，这样克服了在高亮度区域和亮度较低的区域中存在的不足。实验证明，该文的方法较之其他方法效果要好，在人的眼睛、嘴巴等部分有更好更细致的检测效果。     

基于肤色和唇色信息的人脸检测方法的研究

提出一种综合利用肤色和唇色信息的人脸检测方法。把经过光线补偿处理后的彩色图像从RGB转换到YES颜色空间，根据实验获得的最佳阈值进行肤色区域的提取，得到人脸候选区域。根据嘴唇颜色在YIQ色度空间中最佳阁值分布范围在人脸候选区域中提取唇色，最终确定人脸区域。实验结果表明，该方法具有实时性好、检测和定位精度较高的特点。     

基于改进YUV空间的人脸检测方法

根据肤色色度的分配比例,提出了一种改进YCbCr的Bayesian肤色检测方法,在肤色背景下,利用肤色和唇色在YUV空间分布特点,变换YUV空间的坐标轴,增大唇色和肤色V分量上的差异。提取了唇色的质心和旋转方向,根据人脸几何特征的先验知识建立人脸定位模型。实验表明在改进的颜色空间内,肤色投影到CrCg平面内得到更好的聚类效果。唇色定位人脸算法简单,速度快,更具实效性,对旋转的人脸同样有效。     

基于新颜色空间YCgCr的人脸区域初定位

在RGB颜色空间采用了颜色平衡方法对发生色彩偏移的输入图像进行颜色校正；在新颜色空间YCgCr上建立了亮度和Cg-Cr色度查找表联合的肤色模型，对肤色区域进行检测；引入了有效的预处理技术，进一步去除肤色分割后的二值图像中的部分非人脸区域，减少人脸定位的搜索区域。最后在两个图像测试集上进行了实验比较，实验结果表明，该肤色模型可以有效地从复杂背景的彩色图像中检测出肤色区域，光照条件适应性好，且引入的预处理技术在保证漏检率低的前提下，能够去除大部分非人脸区域。     

基于肤色的实时人脸跟踪新方法

提出一种基于混合肤色模型的实时人脸跟踪方法。该方法采用基于点的运动预测来减少搜索区域并使用MJSEG算法进一步分离人脸和其他类肤色区域。实验结果表明，该方法有效地解决了复杂背景下人脸自由运动、光照变化及部分遮挡的问题。系统跟踪速度达到实时，并给出精确的人脸边界。     

Dynamic time warping based identification using gabor feature of Adaptive Motion Model for walking humans

In this paper, we propose a novel feature extraction method for the identification of humans. The main objective of our method is to identify each human being by extracting the Gabor feature based on the Adaptive Motion Model (AMM) for the motion of humans. In our method, the adaptive motion model, which can represent the temporal motion for each walking human is first made from the sequence images and, then, the Gabor features of the eight directions which can represent the spatial motion information for humans are extracted. The proposed feature extraction method can make a more accurate motion model by adjusting the weight between the previous and current model for each person. Moreover, our method has the advantage of allowing more information such as the Gabor features for the eight directions extracted from the AMM. Since the conventional method uses the face feature for each human being, it has disadvantages in the case of images of small size, while our method has better identification performance this case, because it only uses the spatio-temporal motion information. Finally, we identify each person by finding the minimum value of the extended dynamic time warping (DTW) for the eight Gabor features. The accuracy of the identification conducted using the proposed feature is better than that of the conventional method using the Gait Energy Image (GEI) and Face Image feature.     

人体三维运动实时跟踪与建模系统

提出了一种新的人体三维运动实时跟踪与建模系统设计方法,并基于此实现了一套鲁棒的参考应用系统.针对人机交互等对跟踪精度要求不是很高的应用场合,系统在跟踪精确性和简易性与可推广性之间做了很好的折中.系统使用多个摄像头采集图像,实时计算场景深度信息,然后结合使用深度和颜色信息进行人体跟踪.应用一个简易的人体上半身三维模型,并使用基于颜色直方图的粒子滤波算法对头部和手部进行跟踪,从而恢复出模型的各个参数.系统以人脸检测和人手肤色聚类算法为初始化方法.大量实验证明,该系统能在复杂背景下进行人体上半身的跟踪和三维模型恢复,能进行完全自动的初始化,有较强的抗干扰能力和自动错误恢复能力.系统在2.4GHz PC机上能以25帧/秒的速度运行.     

自适应粒子滤波在人体跟踪过程中的应用

人体运动跟踪技术近年来在图像处理与计算机视觉领域引起很多关注,在当前一些重要研究和应用领域有着广泛的需求。在以往跟踪方法的基础上提出了基于决策规则的自适应粒子滤波的无标记运动目标跟踪方法。利用一个带外观模板的人体关节模型,通过学习得到运动模型及基于关节模型的相似性计算,巧妙地利用自适应粒子滤波对运动目标进行实时跟踪,使得在粒子滤波过程中,可以根据实际滤波情况在线调节粒子数。实验表明,提出的算法鲁棒性好,跟踪速度比基于传统粒子滤波的快。     

视频图像中的实时人脸检测方法

给出了一种视频图像中的实时人脸检测方法，该方法综合了彩色视频图像的运动信息和颜色信息，可以快速地对图像中的人脸区域进行定位。算法通过对视频图像序列中每连续3帧图像进行对称差分，提取出运动区域；然后基于肤色聚类模型，再对运动区域进行肤色检测，经过候选人脸验证，最终定位图像中的人脸。实验表明，提出的方法检测速度快，实现简单、高效，满足实时系统的要求。     

Real-time 3D face tracking based on active appearance model constrained by depth data

Active Appearance Model (AAM) is an algorithm for fitting a generative model of object shape and appearance to an input image. AAM allows accurate, real-time tracking of human faces in 2D and can be extended to track faces in 3D by constraining its fitting with a linear 3D morphable model. Unfortunately, this AAM-based 3D tracking does not provide adequate accuracy and robustness, as we show in this paper. We introduce a new constraint into AAM fitting that uses depth data from a commodity RGBD camera (Kinect). This addition significantly reduces 3D tracking errors. We also describe how to initialize the 3D morphable face model used in our tracking algorithm by computing its face shape parameters of the user from a batch of tracked frames. The described face tracking algorithm is used in Microsoft's Kinect system.     

多级结构的人脸检测方法及应用

将人脸检测和跟踪技术有效结合并引入到疲劳判断系统设计中,提出了一种多级结构的检测方法。首先对图片光照补偿,减小复杂环境中光照不均带来的影响。然后对首张图像计算皮肤相似度并二值化来去除复杂背景,进而利用基于知识的人脸检测方法得到人脸器官信息;接着根据当前图像已获取的信息在下一图像帧中的相应区域进行局部处理;然后再根据两帧间的人眼位置关系建立运动向量,从而对后继帧中的人眼位置进行估计和校验。最后,利用PERCLOS方法来对人脸检测结果进行分析,判断是否处于疲劳状态。实验结果表明,所提出系统的检测方法处理速度是传统方法的2.5倍以上,可以对人眼进行实时跟踪,检测准确度高。     

A robust incremental clustering-based facial feature tracking

Emerging significance of person-independent, emotion specific facial feature tracking has been actively tracked in the machine vision society for decades. Among distinct methods, the Constrained Local Model (CLM) has shown significant results in person-independent feature tracking. In this paper, we propose an automatic, efficient, and robust method for emotion specific facial feature detection and tracking from image sequences. A novel tracking system along with 17-point feature model on the frontal face region has also been proposed to facilitate the tracking of human basic facial expressions. The proposed feature tracking system keeps patch images and face shapes till certain number of key frames incorporating CLM-based tracker. After that, incremental patch and shape clustering algorithms is applied to build appearance model and structure model of similar patches and similar shapes respectively. The clusters in each model are built and updated incrementally and online, controlled by amount of facial muscle movement. The overall performance of the proposed Robust Incremental Clustering-based Facial Feature Tracking (RICFFT) is evaluated on the FGnet database and the Extended Cohn-Kanade (CK+) database. RICFFT demonstrates mean tracking accuracy of 97.45% and 96.64% for FGnet and CK+ database respectively. Also, RICFFT is more robust by minimizing average shape distortion error of 0.20% and 1.86% for FGnet and CK+ (apex frame) database, as compared with classic method CLM.     

运动摄像机下多目标检测与跟踪

针对摄像机运动情况下多目标的检测与跟踪问题,提出一种将Global K均值与模板匹配相结合的方法.利用六参数仿射模型得到摄像机运动参数,对图像进行全局运动补偿,用GlobalK均值算法对前景点进行循环聚类,判断目标数目并进行跟踪,通过对目标区域进行模板匹配使跟踪结果更准确.实验结果表明,该方法能够在运动摄像机下稳定、实时地跟踪多个目标,对发生形变的目标基本也能稳定跟踪.     

Real-time face tracking and recognition using the mobile robots

The terrain is complex and dynamic in a disaster. This paper aimed at constructing a multipose-specific feature model for online face recognition and tracking in a search and rescue operation. This paper proposes an integrated multipose face tracking and recognition system mounted on an unmanned aerial vehicle (UAV). The face model is constructed online by multi-scale block local binary pattern (MB-LBP) for face recognition. The generic and specific face models are further integrated for face tracking. Mechanisms for the online update of face models to retrieve loss of face tracking are also implemented. The results show that the proposed system achieves stable and robust tracking despite uncertainties (e.g. non-rigid human face, face expression changes, different face poses, complex background, varying illumination, partial visual occlusion, and pose changes). The target loss during tracking can be retrieved correctly. In face recognition, the multipose-specific face model can achieve an accuracy (above 70%). The results demonstrate the feasibility of the proof-of-concept using UAV or ground mobile robot (GMR) for real-time face recognition and tracking.