纹理约束下的人脸特征点跟踪

将Lucas-Kanade光流跟踪算法与人脸特征点定位的统计模型DAM(direct appearance model)在Bayesian框架下结合起来,提出了视频中人脸特征点定位与跟踪的一种混合模型方法.利用Lucas-Kanade算法预测人脸特征点的位置,充分利用了帧间的相关信息,提高了跟踪的速度.通过DAM中纹理对形状的约束,在提高跟踪精度的同时增强了整个算法的鲁棒性.实验表明,这种方法可以很好地适应人脸的多种运动,可用于人脸识别或3D人脸建模.     

基于Gabor小波的人脸特征点跟踪方法

文中提出一种跟踪人脸特征点的方法。使用一系列方向、频率、相位各不相同的Gabor小波,对测试序列第一帧中选定的人脸特征点进行小波变化,得到对应点的一组小波系数(Jets),并将其作为后续帧的跟踪依据。对含有各种表情的视频序列进行测试,试验结果显示该方法是有效的。     

基于Kanade-Lucas-Tomasi 算法的人脸特征点跟踪方法

与传统的在人面部画上标识点的特征点跟踪方法不同,KLT(Kanade-Lucas-Tclmasi)算法可以从未加标识点的正面人像视频系列中通过特征纹理信息直接获取面部某些特征点的位移,在KLT算法中加入了基于人脸统计信息的经验约束,使KLT算法更加合理有效。     

Incremental Clustering-Based Facial Feature Tracking Using Bayesian ART

Person-independent, emotion specific facial feature tracking have been of interest in the machine vision society for decades. Among various methods, the constrained local model (CLM) has shown significant results in person-independent feature tracking. In 63this paper, we propose an automatic, efficient, and robust method for emotion specific facial feature detection and tracking from image sequences. Considering a 17-point feature model on the frontal face region, the proposed tracking framework incorporates CLM with two incremental clustering algorithms to increase robustness and minimize tracking error during feature tracking. The Patch Clustering algorithm is applied to build an appearance model of face frames by organizing previously encountered similar patches into clusters while the shape Clustering algorithm is applied to build a structure model of face shapes by organizing previously encountered similar shapes into clusters followed by Bayesian adaptive resonance theory (ART). Both models are used to explore the similar features/shapes in the successive images. The clusters in each model are built and updated incrementally and online, controlled by amount of facial muscle movement. The overall performance of the proposed incremental clustering-based facial feature tracking (ICFFT) is evaluated using the FGnet database and the extended Cohn-Kanade (CK+) database. ICFFT demonstrates better results than baseline-method CLM and provides robust tracking as well as improved localization accuracy of emotion specific facial features tracking.     

一种鲁棒高效的人脸特征点跟踪方法

人脸特征点跟踪能获取除粗略的人脸位置和运动轨迹以外的人脸部件的精确信息,对计算机视觉研究有重要作用.主动表象模型(Active appearance model, AAM)是描述人脸特征点位置的最有效的方法之一,但是其高维参数空间和梯度下降优化策略使得AAM对初始参数敏感,且易陷入局部极值. 因此,基于传统AAM的人脸特征点跟踪方法不能同时较好地解决大姿态、光照和表情的问题.本文在多视角AAM的框架下,提出一种结合随机森林和线性判别分析(Linear discriminate analysis, LDA)的实时姿态估计算法对跟踪的人脸进行姿态预估计和更新,从而有效地解决了视频人脸大姿态变化的问题.提出了一种改进的在线表象模型(Online appearance model, OAM)方法来评估跟踪的准确性,并自适应地通过增量主成分分析(Principle component analysis, PCA) 学习来更新AAM的纹理模型,极大地提高了跟踪的稳定性和模型应对光照和表情变化的能力.实验结果表明,本文算法在视频人脸特征点跟踪的准确性、鲁棒性和实时性方面都有良好的性能.     

基于概率图模型的人脸多特征跟踪

同时跟踪具有丰富表情的人脸多个特征是一个有挑战性的问题．提出了一个基于时空概率图模型的方法．在时间域上,使用几个相互独立的Condensation类型的粒子滤波器分别跟踪人脸的每个特征．粒子滤波对独立的视觉跟踪问题非常有效,但是多个独立的跟踪器忽视了人脸的空间约束和人脸特征间的自然相互联系;在空间域上,事先从人脸表情库中学习人脸特征轮廓的相互关系,使用贝叶斯推理一信任度传播算法来对人脸特征的轮廓位置进行求精．实验结果表明,文中算法可以在帧间运动较大的情况下,鲁棒地同时跟踪人脸多个特征．     

基于自适应压缩特征选择的实时目标跟踪算法?

针对压缩感知算法中的低维特征对目标重构效果较差的问题,提出基于自适应压缩特征选择的目标跟踪算法。该算法首先提取满足目标重构要求的高维压缩特征,再通过所提出的特征选择方法选择区分度高的低维特征作为目标的外观模型,从而降低计算复杂度。为自适应选择特征,采用一种差分方法控制特征维数,满足实时性要求。实验表明,与其他算法相比,文中算法具有更强的鲁棒性和实时性。     

移动智能终端的SIFT特征检测并行算法

特征的检测和匹配在计算机视觉应用中是一个重要的组成部分,如图像匹配、物体识别和视频跟踪等。SIFT算法以其尺度不变性和旋转不变性在图像配准领域得到了广泛应用。传统的SIFT算法效率低,因此提出一种在移动智能终端上实现的高效方法。在Android平台利用OpenCL框架实现了移动智能终端的SIFT算法,通过计算任务的重新分配,优化SIFT算法在移动GPU上的并行实现。实验结果表明,移动平台的SIFT算法充分利用了GPU并行计算能力,大大提高了SIFT算法的执行效率,实现了高效的特征检测。     

综合鲁棒特征和在线学习的自适应三维人脸多特征跟踪

提出一种灰度与边强度信息相结合的鲁棒特征并综合在线学习方法来进行自适应视频人脸多特征跟踪.算法思想是利用三维参数化网格模型对人脸及表情进行建模,利用弱透视模型对头部姿态建模,求取归一化后的形状无关灰度和边强度纹理组合成一种鲁棒特征,建立单高斯自适应纹理模型,并采用梯度下降迭代算法进行模型匹配得到姿态和表情参数.实验证明,本方法比单纯利用灰度特征在复杂光线和表情下具有更好的鲁棒性.     

视频中多线索的人脸特征检测与跟踪

针对目前的人脸特征检测与跟踪算法存在的对环境适应能力差、缺乏自我检错能力的缺点，该文提出了一种多线索综合的新方法，多线索中包括基于深度信息的人脸区域粗分割，基于多关联模板匹配的人脸检测，利用多尺度Sobel卷积的特征提取，基于“特征眼”的人眼验证以及基于多视图的校验方法，多种线索互相补充，自我检错和纠错，对背景，光照及姿态变化具有较强的适应能力，实验表明该方法是有效的，鲁棒的。     

基于贝叶斯网络增强预测模型的人脸多特征跟踪

人脸多特征跟踪是当前计算机视觉中的一个难题，其中一个难点是需要尽可能准确地预测出下一帧中人脸多个特征轮廓的位置。提出了一个基于多重提示预测模型的跟踪算法，将基于二阶自回归过程的动力学模型的快速性特点与基于图模型(贝叶斯网络)动力学模型的准确性特点结合起来，得到融合的预测结果。多重提示的预测模型与观测模型可以方便地集成在卡尔曼滤波框架中。实验结果表明本文算法可以较准确地同时跟踪具有丰富表情的人脸多个特征。     

基于特征跟踪和融合的人脸风格化动画的研究

文中为人脸图片或视频的风格化生成提出一种新方法.首先,通过主动外观模型(AAM)识别人脸的轮廓及五官,记录这些特征点的位置;然后,从现有样图中提取风格化因子,通过几何变形等手段映射到任意一张输入人脸图片上,合成具有样图风格化效果的人脸图片.本方法可以与许多应用结合,如电子贺卡、网上聊天等,可实现自动生成具有表情变化的风格化视频.此方法还有易于训练、速度快、扩展性强等特点.     

Real-Time Camera Tracking for Mobile Devices: The VisiTrack System

This paper presents VisiTrack, a novel approach for video based incremental tracking in real-time. The major objectives in the development of VisiTrack was to design or select algorithms that are well suited for embedded real-time computation. We had a special focus on latency reduction and storage minimization since the algorithms should run on mobile devices like PDAs with the appropriate extension, i.e. mainly a camera, in real-time. The image analysis, camera localization and feature position approximation of VisiTrack are explained in detail. The CV-SDF model, an extension of Synchronous Dataflow graphs (SDF), supporting the principles of linear processing and fine-grained pipelining was defined and applied for the design of all VisiTrack modules in order to fulfill real-time constraints and reduce system latency. Furthermore the camera localization and position approximation include mechanisms for minimization of errors that may arise for instance due to measurement inaccuracies. Current applications of VisiTrack in the augmented reality domain and robotic self localization show its good performance. However VisiTrack is not limited to these application domains.     

基于时间一致性局部颜色特征的无纹理3D物体实时跟踪

针对无纹理3D物体跟踪算法在复杂背景和运动模糊的情况下容易跟踪失败、跟踪速度难以达到强实时等问题,提出一种基于时间一致性局部颜色特征的3D物体实时跟踪算法.首先在物体3D模型投影轮廓法向搜索线上计算像素颜色的加权均值作为局部颜色特征,增强颜色特征在复杂环境中的表征能力,并对局部颜色特征进行时间一致性更新,剔除前景背景颜色相似的局部颜色特征,以避免相似前景背景颜色导致的跟踪失败;然后定义基于局部颜色特征的能量函数,并推导该能量函数的解析导函数;最后改进了优化物体姿态的高斯牛顿法,通过添加阻尼参数防止姿态优化陷入局部极值,提高姿态估计精度和跟踪速度.实验使用7组测试视频验证文中算法,结果表明,该算法能更有效地克服复杂背景和运动模糊的干扰,在未使用并行计算的前提下可实现强实时跟踪.     

人脸表情的实时分类

提出一种基于连续Adaboost算法的人脸表情实时分类方法,使用Haar特征设计了具有连续致信度输出的查找表型弱分类器形式,构造出弱分类器空间,采用连续Adaboost算法学习出人脸表情分类器,实验结果表明：文中方法与支持向量机方法相比,对于人脸表情分类的正确率相当,而速度快近300倍,具有实时性和非常明显的应用价值。     

面向嵌入式设备的高实时微小目标跟踪检测方法

传统主流目标检测算法在嵌入式平台无法兼具高实时性与高准确性,难以应用于边缘智能等领域。为解决微小目标跟踪检测在嵌入式平台实时应用的瓶颈,提出一种高实时微小目标跟踪检测方法。利用轻量化神经网络的骨干网络和路径聚合网络,对整体网络进行针对化的剪枝优化,同时深度融合相关滤波算法,提升针对微小目标跟踪检测的准确度和速度。在3D物体场景渲染器自建的军事微小目标数据集上的实验结果表明,在100像素的极小目标跟踪识别中,与DarkNet53-CSP方法相比,该方法检测精度大幅提高,在400~10 000像素的微小目标识别跟踪中,检测精度与检测速度优于DarkNet53和ResNeXt50+CSP等算法。     

基于面部特征点的面部形态分析系统

针对面部测量和统计方法所存在的效率低,测量精度差的问题,提出一种基于深度学习的面部五官特征点自动标记方法,提高测量面部参数的效率。进而可以测量到鼻中宽、鼻翼宽、脸部宽度、眼宽等面部参数。最后基于模糊聚类分析方法,将面部参数值数据集进行分类和统计。通过采集的65组面部数据,与已有算法进行比较,本文的面部形态分析系统具有较高的测量精度。     

基于人脸特征分析的卡通人脸动画系统

给出一个基于人脸特征分析的卡通人脸动画系统,其输入是一张二维真实人脸照片和一段文本,输出为具有娱乐效果的卡通人脸动画。该文采用基于人脸特征分析的卡通人脸肖像生成方法,在卡通肖像的基础上结合文本驱动产生卡通人脸动画。将系统移植到移动平台,在手机上生成卡通人脸动画。实验结果表明该系统在PDA上能产生较好的娱乐效果。     

复杂背景中的人脸特征定位与提取

研究了复杂背景中的人脸特征定位与提取 ,补充和改进了已有方法 ,做了中等样本集特征定位 ,提出了用人脸的 4× 4和 5× 5镶嵌二值图求取候选脸 ,8× 8镶嵌图筛选定位人脸 ,增强滤波二值图进一步验证和提取特征 ,并结合线检测窗求取眼角位置 ,实验结果比较令人满意。     

一种基于对抗学习的实时跟踪模型设计

目标跟踪指在视频帧中找到感兴趣目标的运动位置,广泛应用于环境感知、安防监控和无人驾驶等领域.为进行高效的目标跟踪,建立一种基于对抗学习和特征压缩的相关滤波器目标跟踪模型.为了同时兼顾精度与速度,在模型中引入特征提取优化、特征压缩和特征聚合等步骤.在提取图像特征前,采用对抗学习方法解决特征提取模型中训练数据与任务数据分布...