一种机器人导航中自然路标的匹配与跟踪方法

提出了一种基于SIFT和KLT算法的自然路标匹配与跟踪方法。该方法利用SIFT算子提取图像中自然路标的特征点集作为模板,然后将机器人采集图像中的SIFT特征点集与模板特征点集进行匹配,获取二者之间仿射关系,并解算自然路标在视野中的位置,为机器人自定位提供参考信息。机器人在运行过程中,将KLT算法与SIFT算法相结合对成功匹配的自然路标进行跟踪,较好地解决了SIFT算法效率低下的问题。实验结果表明该方法对自然路标具有较好的匹配和跟踪效果。     

基于双摄像机的视频特征跟踪算法研究

在视频动画中，特征跟踪结果决定了三维重建的运动信息是否逼真。提出一种基于双摄像机的视频特征跟踪算法，它采用卡尔曼滤波预测特征点的位置，然后利用子块模型进行特征匹配，最后利用极线方程指导跟踪和剔除跟踪误差大的特征点。该算法已经用于我们开发的VBHA系统中，实验结果表明，其速度和效率能够满足视频动画的要求，并且能够部分解决自遮挡的问题。     

基于SURF特征点的多人脸跟踪方法研究

针对视频序列中多目标人脸跟踪问题,提出一种基于SURF(Speed-Up Robust Features)特征和KLT(Kanade-Lucas-Tomasi)匹配算法相结合的特征点跟踪方法。通过融合该方法,创新性地设计了一种多人脸跟踪系统框架,在目标出现明显的姿态、尺寸变化,或者遭遇局部遮挡、光照不充分等复杂环境干扰下,能够实现对目标人脸稳定跟踪。通过多组实验数据的对比,证明了该跟踪方法比Mean shift算法、传统KLT算法具有更好的鲁棒性,能获得更精确的运动信息;验证了多人脸跟踪系统能够在复杂环境下实现对多人脸的有效跟踪。     

基于ORB和KLT的移动增强现实三维注册算法

针对移动设备上现有注册算法速度较慢和实时性较弱的问题,提出一种基于ORB和KLT的移动增强现实三维注册算法,利用ORB进行特征提取和匹配,减少算法时间开销,同时使用改进的KLT算法对特征位置进行预测跟踪,改善移动三维注册算法中的实时性能。实验结果表明,在移动设备上采用ORB和KLT算法,不仅较好地解决移动增强现实三维注册实时性差的问题,同时也能保证有效的匹配性能。     

基于空间几何结构的特征跟踪算法

针对传统的基于标记的增强现实系统场景受限等缺点,提出一种基于特征空间几何结构的无标记跟踪算法。在传统的金字塔Kanade-Lucas-Tomasi(KLT)跟踪算法基础上,通过建立图像的多尺度空间模型并在多尺度空间模型中对图像进行实时跟踪,同时根据图像特征间特有的空间几何结构信息优选跟踪特征点,解决了在多尺度变化情况下视频图像特征跟踪稳定性问题。实验结果表明,提出的跟踪算法在给定的数据库上性能高效稳定,与同类跟踪算法相比跟踪精度大幅提高,每帧重投影错误率均小于1像素,保持在亚像素级别。     

增强现实技术的研究

增强现实技术是近年来逐渐发展起来的新兴研究领域。本文概要的介绍了在投影重现技术的基础上提出的一种利用自然特征的注册算法。这种算法由两步组成：嵌入和重现。嵌入中指定四个点,这四点在将叠加虚拟物体的地方建立世界坐标系。在重现中。用KLT特征跟踪器来跟踪视频中相应的自然特征,用已跟踪的自然特征来估计图像序列中相应的投影矩阵。     

利用自然特征的增强现实注册算法

在投影重现技术的基础上提出了一种利用自然特征的注册算法.这种算法由两步组成:嵌入和重现.嵌入中指定四个点,这四点在将叠加虚拟物体的地方建立世界坐标系.在重现中,用KLT特征跟踪器来跟踪视频中相应的自然特征,用已跟踪的自然特征来估计图像序列中相应的投影矩阵,接着,用投影重现技术变换所指定的四个点,从而计算出增强矩阵.还提出一种估算投影矩阵的强有力的方法.     

基于KLT和BFGS的人脸姿态估计

在对给定的人脸图像序列准确提取正面人脸特征点后,利用改进的KLT方法跟踪非正面人脸图像的特征点。根据人脸形状特性,使用人脸的多个特征点作为人脸模型。在近似估计人脸姿态后,以改进的BFGS算法精确估计3D人脸空间姿态。实验结果证明,该方法可以获得唯一的3D人脸空间姿态,相比同类方法有更好的姿态估计精确度。     

基于轨迹聚类的超市顾客运动跟踪

针对超市等复杂应用环境下的运动目标轨迹跟踪问题,将轨迹聚类运用于目标跟踪中,提出了一种超市顾客运动跟踪方法。该方法对Kanade-Lucas-Tomasi(KLT)算法提取并跟踪得到的特征点轨迹进行预处理,滤除背景和短时特征点以分离出运动目标所在区域的关键特征点;进而采用均值漂移(meanshift)算法进行轨迹聚类,解决了单帧静态特征点聚类时的目标遮挡问题;最后采用运动跟踪匹配算法对前后帧的特征点进行最优匹配,解决了目标出入视频区域以及具有复杂路线时的稳定跟踪问题,得到顾客的完整运动轨迹。实验结果表明,该方法能够在超市入口、生鲜区以及收银台等各种典型超市区域中完成顾客轨迹的运动跟踪,并对顾客部分遮挡、复杂运动轨迹以及异步运动等多种特殊情况具有较高的鲁棒性。     

基于DSP的KLT特征点跟踪算法优化实现

针对C6000系列定点DSP下KLT特征点跟踪算法的快速实现问题,通过结合DSP体系结构特点以及软件流水技术,提出了一种该类型DSP下的算法优化实现方案.基于算法流程的模块化分析,完成了该算法的定点化设计与实现工作;针对算法中计算密集型模块,提出了具体的改善软件流水,减少存储器访问,任务级并行设计等优化实现方法.在DSP软仿真平台CCS下进行实验测试,该优化实现方案下的运行效率和资源利用率均有较大的提升,且所使用的算法优化方法适用于所有C6000系列DSP.     

非合作面部晃动情况下的心率检测

目的 心率是直接反映人体健康的重要指标之一,基于视频的非接触式心率检测在医疗健康领域具有广泛的应用前景。然而,现有的基于视频的方法不适用于复杂的现实场景,主要原因是没有考虑视频中目标晃动干扰和空间尺度特征,使得血液容积脉冲信号提取不准确,检测精度不尽人意。为了克服以上缺陷,提出一种抗人脸晃动干扰的非接触式心率检测方法。方法 本文方法主要包含3个步骤：首先,针对目标晃动干扰人脸区域选择的问题,利用判别响应图拟合检测参考图像的人脸区域及主要器官特征点,在人脸跟踪时首次引入倾斜校正思想,输出晃动干扰抑制后的人脸视频;然后,结合空间尺度的差异,采用颜色放大方法对晃动干扰抑制后的人脸视频进行时空处理,提取干净的血液容积脉冲信号;最后,考虑到小样本问题,通过傅里叶系数迭代插值的频域分析方法估计心率。结果 在人脸静止的合作情况以及人脸晃动的非合作情况下采集视频,对心率检测结果进行定量分析,本文方法在两种情况下的准确率分别为97.84%和97.30%,与经典和最新的方法相比,合作情况准确率提升大于1%,非合作情况准确率提升大于7%,表现了出色的性能。结论 提出了一种基于人脸视频处理的心率检测方法,通过有效分析人脸的晃动干扰和尺度特性,提取到干净的血液容积脉冲信号,提高了心率检测的精度和鲁棒性。     

二维及三维多模人脸数据库构建

基于图像的二维人脸识别技术日趋成熟,但仍受光照、姿态和表情等变化的影响。利用三维人脸模型提高人脸识别性能并将其应用于实际成为近几年学术界的研究趋势。本文提出了SWJTU-MF多模人脸数据库(SWJTU multimodal face database, SWJTU-MF Database),包 含200个中性表情中国人的4种人脸样本数据,包括可见光图像、二维视频序列、三维人脸(高精度)和立体视频序列。本文首先分类介绍现有的三维人脸识别算法,然后概述相关的多模人脸数据库,接着提出SWJTU-MF多模人脸数据库,并说明数据库的采集装置、采集环境、采集过程及数据内容,随后简要展示数据标准化过程。最后讨论本数据库面向的应用研究,并给出SWJTU-MF建议的评测协议。     

Performance‐driven animation of hand‐drawn cartoon faces

We present a novel performance‐driven approach to animating cartoon faces starting from pure 2D drawings. A 3D approximate facial model automatically built from front and side view master frames of character drawings is introduced to enable the animated cartoon faces to be viewed from angles different from that in the input video. The expressive mappings are built by artificial neural network (ANN) trained from the examples of the real face in the video and the cartoon facial drawings in the facial expression graph for a specific character. The learned mapping model makes the resultant facial animation to properly get the desired expressiveness, instead of a mere reproduction of the facial actions in the input video sequence. Furthermore, the lit sphere, capturing the lighting in the painting artwork of faces, is utilized to color the cartoon faces in terms of the 3D approximate facial model, reinforcing the hand‐drawn appearance of the resulting facial animation. We made a series of comparative experiments to test the effectiveness of our method by recreating the facial expression in the commercial animation. The comparison results clearly demonstrate the superiority of our method not only in generating high quality cartoon‐style facial expressions, but also in speeding up the animation production of cartoon faces. Copyright © 2011 John Wiley & Sons, Ltd.     

基于多分离部件稀疏编码的人脸图像分析

考虑到不同部件(眼睛,嘴等)对人脸分析的贡献差别,提出基于多部件稀疏编码的人脸图像分析方法.首先,选取对人脸(表情)分析影响较大的几个人脸部件,然后,利用多视角稀疏编码方法学习各部件的字典,并计算相应的稀疏编码,最后,将稀疏编码输入分类器(支持向量机和最小均方误差)进行判决.分别在数据库JAFFE和Yale上进行人脸(表情)识别及有遮挡的人脸(表情)识别实验.实验结果表明,基于多部件稀疏编码的人脸分析能较好地调节各部件的权重,优于各单一部件和简单的多部件融合方法的性能.     

基于偏最小二乘回归的人脸身份和表情同步识别方法

将偏最小二乘回归方法用于人脸身份和表情的同步识别。首先,对每幅人脸图像进行脸部特征提取以及相应的语义特征定义。在脸部特征提取方面,从每幅图像中标定出若干脸部关键点位置,并提取图像在该关键点处的Gabor小波系数（Gabor特征）以及关键点的坐标值（几何特征）,作为该图像的输入特征。语义特征则定义为该人脸图像所属的表情类别信息以及所对应的人脸身份信息。其次,利用核主成分分析(KPCA)方法对脸部Gabor特征和几何特征进行融合,使得输入特征具有更好的识别特性;最后,运用偏最小二乘回归(PLSR)方法建立脸部特征和语义特征之间的关系模型,并运用此模型对某一测试人脸图像进行表情和身份的同步识别。通过在JAFFE国际表情数据库和AR人脸数据库上的对比实验,证实了所提方法的有效性。     

基于MPEG-4的人脸表情图像变形研究

为了实时地生成自然真实的人脸表情,提出了一种基于MPEG-4人脸动画框架的人脸表情图像变形方法。该方法首先采用face alignment工具提取人脸照片中的88个特征点;接着在此基础上,对标准人脸网格进行校准变形,以进一步生成特定人脸的三角网格;然后根据人脸动画参数（FAP）移动相应的面部关键特征点及其附近的关联特征点,并在移动过程中保证在多个FAP的作用下的人脸三角网格拓扑结构不变;最后对发生形变的所有三角网格区域通过仿射变换进行面部纹理填充,生成了由FAP所定义的人脸表情图像。该方法的输入是一张中性人脸照片和一组人脸动画参数,输出是对应的人脸表情图像。为了实现细微表情动作和虚拟说话人的合成,还设计了一种眼神表情动作和口内细节纹理的生成算法。基于5分制（MOS）的主观评测实验表明,利用该人脸图像变形方法生成的表情脸像自然度得分为3.67。虚拟说话人合成的实验表明,该方法具有很好的实时性,在普通PC机上的平均处理速度为66.67 fps,适用于实时的视频处理和人脸动画的生成。     

融合LBP和局部稀疏表示的人脸表情识别

为更好获取人脸局部表情特征,提出了一种融合局部二值模式（Local Binary Pattern,LBP）和局部稀疏表示的人脸表情特征与识别方法。为深入分析表情对人脸子区域的影响,根据五官特征对人脸进行非均匀分区,并提取局部LBP特征;为精细刻画人脸局部纹理,整合人脸局部特征,设计了人脸局部稀疏重构表示方法,并根据表情对各局部子区域的影响因子,加权融合局部重构残差进行人脸表情识别。在JAFFE2表情人脸库上的对比实验,验证了该方法的可行性和鲁棒性。     

Robust face alignment and tracking by combining local search and global fitting

When a face in an image is considerably occluded, existing local search and global fitting methods often cannot find the facial features due to failures in the local facial feature detectors or the fitting limitations of appearance modeling. To solve these problems, we propose a new face alignment method that combines the local search and global fitting methods, where local misalignments in the local search method are restricted by holistic appearance fitting in the global fitting method and the divergent or shrinking alignments in the global fitting method are avoided by the restricting local movements in the local search method. The proposed alignment method consists of two stages: the initialization stage detects the face, estimates the facial pose and obtains the initial facial features by locating a pose-specific mean shape on the detected face; the optimization stage then obtains the facial features by updating the parameter set from the combined Hessian matrix and the combined gradient vector. We also extend the proposed face alignment to face tracking by adding a template image that is warped from the facial features obtained in the previous frame. In the experiments, the proposed method yields more accurate and stable face alignment or tracking under heavy occlusion and pose variation than the existing methods.     

快速的人脸轮廓检测及姿态估计算法

提出一种基于人脸特征区域划分的人脸轮廓检测方法和快速人脸姿态估计方法.该方法根据特征点在人脸的分布情况将人脸划分为9个区域.对于每个选定的区域,首先检测出其初始轮廓线,然后用三次多项式对其进行曲线拟合处理,最后把不同区域的轮廓线连接起来得到完整的人脸轮廓.此外,为了快速、准确地估计出人脸的姿态,本文从人脸的对称性出发,提出了进行人脸姿态估计的面积模型和近似平面模型.实验表明,本文所提出的轮廓检测方法对于复杂背景中具有不同姿态的人脸图像可以得到较满意的检测结果.和其它检测方法相比,本文方法具有模型简单、计算速度快等优点.     

人脸的层次化描述模型及识别研究

人脸自动识别是一个困难但有重要意义的工作。文中提出了一种基于人脸层次化描述的识别方法。该方法首先对人脸进行快速准确的特征定位及标准化,然后采用主元分析神经网络分别对定位的人脸及其特征区域进行最佳特征提取,从而得到人脸在低分辨率和较高分辨率上的两层特征描述用以识别,具有识别率高、特征数据量适中、可用于大量人像识别等特点。此方法在１３００幅人像上进行了测试,结果表明其在人脸转动、表情变化或入脸未经训练