多视角约束级联回归的视频人脸特征点跟踪

近年来,静态图像中人脸特征点检测算法得到了极大的改进,然而,由于真实视频中头部姿态、遮挡和光照等因素的变化,人脸特征点检测和跟踪仍然具有挑战性。为了解决这一问题,提出一种多视角约束级联回归的视频人脸特征点跟踪算法。首先,利用三维和二维稀疏点集建立变换关系,并估计初始形状;其次,由于人脸图像存在较大的姿态差异,使用仿射变换对人脸图像进行姿态矫正;在构造形状回归模型时,采用多视角约束级联回归模型减小形状方差,从而使学习到的回归模型对形状方差具有更强的鲁棒性;最后,采用重新初始化机制,并在特征点正确定位时使用归一化互相关（NCC）模板匹配跟踪算法建立连续帧之间的形状关系。在公共数据集上的实验结果表明：该算法的平均误差小于眼间距离的10%。     

基于单张人脸图像三维形状模型重建

在人脸图像识别优化的研究中,针对由单张人脸图像重建三维模型时对人脸图像姿态存在要求的问题,为了提高识别精度,提出基于单张人脸图像姿态预估计和主成分分析(PCA)的形状模型重建算法.首先由三维姿态估计方法得到人脸姿态,并建立人脸形状模型样本库,然后通过选取的特征点,利用主成分分析进行三维人脸形状模型的重构,最后利用径向基函数(RBF)变换和特征点坐标精确调整三维人脸形状模型,并进行仿真.仿真结果表明,重构的三维人脸形状模型效果良好,提高了精度,对有旋转姿态的人脸图像和特征点定位误差也有很好的鲁棒性.     

改进的显式形状回归人脸特征点定位算法

针对显式形状回归（ESR）人脸特征点定位精度低的问题，提出了改进的显式形状回归人脸特征点定位算法。首先定位出三点人脸形状代替人脸检测框作为初始形状的映射标准来得到更精确的初始人脸形状，然后采用像素块特征代替像素特征对抗光照变化来提高算法的鲁棒性，最后采用多假设融合策略代替平均法对多个定位结果进行最佳融合来进一步提高算法的定位精度。仿真实验结果表明，在LFPW、HELEN和300-W人脸库上，与显式形状回归算法相比，定位精度分别提高了7.96%、5.36%和1.94%。     

基于条件迭代更新随机森林的非约束人脸特征点精确定位

人脸特征点定位是计算机视觉中研究和分析人脸的关键.为了提高在非约束环境中(大姿态变化、遮挡、复杂背景等)人脸特征点定位的准确性和鲁棒性,提出一种基于条件迭代更新随机森林的非约束人脸特征点定位方法.首先,为了克服遮挡和背景噪声的影响,对人脸子区域进行分类,提取人脸正子区域;然后,在人脸正子区域上估计头部姿态,根据估计的头部姿态和人脸局部子区域学习特征点的初始化条件概率模型,定位人脸特征点的初始位置;再依据特征点的初始位置建立人脸误差模型,利用误差模型在线学习并多次迭代更新随机森林的叶子节点,生成新的复合叶子概率模型,包括人脸子块类别、头部姿态、人脸形变模型、误差偏移模型;最后,引入条件权重稀疏投票对复合叶子概率模型进行回归,定位人脸特征点的精确位置.在AFW,LFW和Pointing’04这3个具有挑战性的公共人脸数据库上进行实验的结果表明,该方法在非约束人脸特征点定位中的平均误差值为0.15时,定位准确率超过95%.     

基于深度自编码器网络的人脸特征点定位方法

使用深度学习网络技术的人脸特征点定位方法已经取得了比较突出的效果。然而,人脸图像由于姿态、表情、光照、遮挡等变化而具有复杂多样性,因此数目较多的人脸特征点(超过50个特征点)定位依然有很大的挑战性。设计了三层级联的自编码器网络,并通过由粗到精的方法对多数目的人脸特征点进行定位。第一层网络以整张人脸图像为输入,直接估计人脸轮廓和部件位置,从而将特征点分成三部分(眼眉鼻,嘴巴和人脸轮廓)进行下一步定位;之后的两层网络分别对各部件特征点进行估计求精。在LFPW、HELEN数据库上的实验表明,该方法能够提高人脸特征点定位的准确性和鲁棒性。     

基于形状参数回归的人脸对齐算法*

针对传统人脸对齐算法效率较低等问题,提出基于形状参数回归的人脸对齐算法.首先,采用人脸形状空间约束人脸,以低维形状参数刻画人脸形状.然后,在二级形状参数回归算法框架下,结合明确形状特征索引方法和多重随机特征选择方法,学习一系列形状参数回归量,最终刻画对齐的人脸形状.文中算法减少数据存储量,提高人脸对齐速度,在复杂人脸数据库上取得较好效果.此外,该算法能直接应用于手机、平板电脑等低端设备上.     

基于模糊聚类回归的人脸特征点定位研究

传统基于回归的人脸特征点定位算法存在忽略人脸局部结构信息、姿态偏转较大时定位精度差等问题。为此,提出一种基于模糊聚类回归的定位算法。利用人脸特征点之间的局部结构信息对人脸训练集进行聚类,并根据阈值判决结果适度扩充训练样本。分别训练所有子训练集的回归结构,在测试过程中加入多次形状约束以自动调整每次聚类的结果和回归结构的选择,由此提高人脸特征点定位的精度。在300-W数据库上的实验结果表明,与形状回归算法和鲁棒姿势回归算法相比,该算法明显提高了姿态偏转较大情况下的定位精度。     

基于分块的有遮挡人脸识别算法

随着深度学习技术的发展,人脸识别在受控环境下的准确率已经达到了非常理想的效果。然而,真实环境下获取的人脸图像往往因为遮挡而难以识别。针对遮挡条件下的人脸识别准确率不高、稳定性差的问题,结合传统的人脸分块和深度卷积神经网络,提出一种基于分块的有遮挡人脸识别算法。基于人脸特征点定位的结果进行人脸分块,使用一种改进的轻量级卷积神经网络进行各个人脸区块的特征提取;利用多分类网络结合输入区块的额外信息进行人脸区块的遮挡判别;结合人脸块特征与遮挡二分类判别结果获取表征遮挡人脸的特征。实验结果表明,经过以上步骤提取出的特征对遮挡具有较强的鲁棒性,并且在满足一定的条件下,即使人脸由大面积遮挡也能在实验数据集上保持94%的准确率。     

一种新融合算法的维吾尔族人脸识别

针对维吾尔族人脸在光照以及部分遮挡下的辨识率下降和鲁棒性差的问题,提出了二维离散余弦变换（2DDCT）与方向边缘幅值模式（POEM）相融合的维吾尔族人脸识别算法。首先,把维吾尔族人脸图像分块处理,并使用2DDCT把其分块后的维吾尔族人脸图像转换为频域状态;其次,压缩维吾尔族人脸图像以排除维吾尔族人脸图像中无用信息,即中频部分与非低频部分,并进行二维离散余弦逆变换（IDCT）得到重构的维吾尔族人脸图像;然后,经POEM计算维吾尔族人脸图像的特征量得到其相应的POEM直方图并把直方图级联在一起,作为该中心特征点的POEM纹理直方图,得到维吾尔族人脸特征点的纹理特征信息;最后,采用深度学习算法进行分类识别。本文通过实验提出的算法,在自建的维吾尔族人脸库中能够进一步提高其人脸识别率,在维吾尔族人脸数据库中其运算速度也有很大提高。实验结果表明,该算法尤其是在维吾尔族人脸数据库中拥有较好的识别精度,具有很强的鲁棒性,特别是在光照以及部分遮挡下具有很强的优势。     

改进级联回归模型的人脸特征点定位

针对级联回归模型依赖形状初始化且结构复杂使其在人脸特征点定位中速度慢、精度低的问题,提出了改进的级联回归人脸特征点定位算法.采用仿射变换参数回归初始化人脸形状,使变换后的初始形状更接近真实人脸以提高模型的收敛速度和精度;在各特征点局部区域构造随机蕨局部学习器,并学习得到易于计算且高度稀疏的二值化特征应用提高模型的速度;对二值化特征使用全局线性回归求得形状增量,实现特征点定位.仿真实验结果表明:相比于原算法,所提算法在LFPW,HELEN,AFW库上定位误差平均降低了11%,定位时间平均减少了14%.     

基于多点模型的3D人脸姿态估计方法

改进传统的活动形状模型法,准确地提取人脸特征点后,针对人脸形状特性,使用人脸的多个特征点作为人脸模型,通过最小二乘法优化求解,精确估计3D人脸空间姿态。实验结果表明,新方法不仅可以获得稳定的姿态解,而且与同类方法比较具有良好的姿态估计精确度。     

基于变分域的主动形状模型标记点自动标定

针对主动形状模型(Active Shape Model,ASM)的标定问题,提出了变分域的概念,并且利用变分域实现主动形状模型的自动标定.算法首先通过对样本集变分映射以得到形状变化的幅度、频度和位置,然后在D-P曲线采样算法的基础上,根据变分域信息动态设定平均形状标记点的位置和密度分布,从而把样本集的变化信息作为先验知识引入到标定中,提高了标记点对样本集变化的描述能力.实验表明,该方法能够得到更合理的标记点分布和更准确的样本形状及变化描述,而且ASM形状模型更加紧致.     

基于标记点的刚体图像配准方法研究

该文在概述二维数字图像常用配准算法的基础上,结合虚拟中国人女一号这个海量数据集,借助互相关测度匹配技术,做了基于标记点的刚体图像序列配准方法研究。文中使用的方法不但确保了配准的精度,而且实用性强、适用范围广。实验证明,此方法可以完成图像的自动或半自动精确配准,具有较好的配准效果。     

Pose Controlled Physically Based Motion

In this paper we describe a new method for generating and controlling physically‐based motion of complex articulated characters. Our goal is to create motion from scratch, where the animator provides a small amount of input and gets in return a highly detailed and physically plausible motion. Our method relieves the animator from the burden of enforcing physical plausibility, but at the same time provides full control over the internal DOFs of the articulated character via a familiar interface. Control over the global DOFs is also provided by supporting kinematic constraints. Unconstrained portions of the motion are generated in real time, since the character is driven by joint torques generated by simple feedback controllers. Although kinematic constraints are satisfied using an iterative search (shooting), this process is typically inexpensive, since it only adjusts a few DOFs at a few time instances. The low expense of the optimization, combined with the ability to generate unconstrained motions in real time yields an efficient and practical tool, which is particularly attractive for high inertia motions with a relatively small number of kinematic constraints.     

Three-Dimensional Shape Knowledge for Joint Image Segmentation and Pose Tracking

In this article we present the integration of 3-D shape knowledge into a variational model for level set based image segmentation and contour based 3-D pose tracking. Given the surface model of an object that is visible in the image of one or multiple cameras calibrated to the same world coordinate system, the object contour extracted by the segmentation method is applied to estimate the 3-D pose parameters of the object. Vice-versa, the surface model projected to the image plane helps in a top-down manner to improve the extraction of the contour. While common alternative segmentation approaches, which integrate 2-D shape knowledge, face the problem that an object can look very differently from various viewpoints, a 3-D free form model ensures that for each view the model can fit the data in the image very well. Moreover, one additionally solves the problem of determining the object’s pose in 3-D space. The performance is demonstrated by numerous experiments with a monocular and a stereo camera system.     

基于姿态校正与虚拟样本的多姿态人脸识别

研究人脸识别问题,提高多姿态识别精度.针对训练样本不足,当测试人脸图像姿态变化较大时,就会降低一致性,使得识别精度急剧下滑(低于60％),甚至出现无法识别的情况.为解决因训练样本不足导致识别精度低下的问题,根据正弦变换的改进型姿态校正人脸识别策略,在保留人脸图像的纹理信息的情况下,将多姿态样本校正为正面人脸图像,利用二次多项式变换方法增加虚拟训练样本,解决了实际情况中只能获取一个正面或侧面训练样本的问题,于是采用子空间的特征提取方法进行仿真,在保证时间消耗的情况下,识别率相比传统模型提高了19个百分点,达到77％,表明改进方法能对多姿态人脸进行有效识别,并提高了识别精度.     

基于CNN的人体姿态识别

姿态识别是人机交互中重要的研究课题之一，随着机器学习与神经网络的发展，研究的方式和成果趋于多样化，姿态识别的应用价值也日趋广泛。本文通过构建卷积神经网络模型，该模型共有11层，在对采样的数据集中5种人体姿态进行卷积与池化操作，最后进入全连接层进行分类，从而完成对数据集的训练和识别。结果显示，相较于机器学习方法，该模型的识别性能更加优秀，且免去了复杂的特征提取方式设计，让网络自身提取特征进行识别分类，效果更好。     

基于Transformer的野生动物关键点检测

濒危野生动物需要得到保护,对野生动物进行姿态追踪是保护野生动物的一种可行性方法.关键点检测是对野生动物进行姿态追踪的重要步骤.基于深度卷积网络(Deep Convolutional Neural Network,DCNN),首次使用Transformer模型实现野生动物的关键点检测任务,Transformer可以捕捉野生动物关键点的长距离依赖关系.在网络的基本模块(BasicBlock)中引入SGE(Spatial Group-wise Enhance)注意力机制,改善所提取特征的分布.提出了一种基于空间注意力的多分辨率表征融合方法,在特征融合时关注更有用的特征信息.在野生动物关键点检测的公共数据集上进行实验,实验结果显示,所提方法获得了良好的效果.     

基于RGBD的实时头部姿态估计

摘 要：实时的头部姿态估计在人机交互和人脸分析应用中起着至关重要的作用,但准确 的头部姿态估计方法依然具有一定的挑战性。为了提高头部姿态估计的准确性和鲁棒性,将基 于几何的方法与基于学习的方法相结合进行头部姿态估计。在人脸检测和人脸对齐的基础上, 提取彩色图像几何特征和深度图像的局部区域深度特征,再结合深度块的法线和曲率特征,构 成特征向量组;然后使用随机森林的方法进行训练;最后,所有决策树进行投票,对得到的头 部姿态高斯分布估计进行阈值过滤,进一步提高模型预测的准确度。实验结果表明,该方法与 现有的头部姿态估计方法相比,具有更高的准确度及鲁棒性。     

Visual SLAM Based on Rigid-Body 3D Landmarks

In current visual SLAM methods, point-like landmarks (As in Filliat and Meyer (Cogn Syst Res 4(4):243–282, 2003), we use this expression to denote a landmark generated by a point or an object considered as punctual.) are used for representation on maps. As the observation of each point-like landmark gives only angular information about a bearing camera, a covariance matrix between point-like landmarks must be estimated in order to converge with a global scale estimation. However, as the computational complexity of covariance matrices scales in a quadratic way with the number of landmarks, the maximum number of landmarks that is possible to use is normally limited to a few hundred. In this paper, a visual SLAM system based on the use of what are called rigid-body 3D landmarks is proposed. A rigid-body 3D landmark represents the 6D pose of a rigid body in space (position and orientation), and its observation gives full-pose information about a bearing camera. Each rigid-body 3D landmark is created from a set of N point-like landmarks by collapsing 3N state components into seven state components plus a set of parameters that describe the shape of the landmark. Rigid-body 3D landmarks are represented and estimated using so-called point-quaternions, which are introduced here. By using rigid-body 3D landmarks, the computational time of an EKF-SLAM system can be reduced up to 5.5%, as the number of landmarks increases. The proposed visual SLAM system is validated in simulated and real video sequences (outdoor). The proposed methodology can be extended to any SLAM system based on the use of point-like landmarks, including those generated by laser measurement.