基于神经网络的坐姿下头部肩部姿态估计

基于神经网络设计一种在坐姿状态下由人脸中的关键点在空间中的相对位置的变化估计头部姿态,以及肩部关键点在空间中的相对位置变化估计肩部姿态的方法,并将头部姿态分为6种,肩部姿态分为2种.利用SDM算法对人脸关键点进行标记;标记出人脸关键点后利用的POSIT算法对头部姿态角度估计,计算出头部欧拉角并设定阈值对头部姿态进行分类...     

基于双目视觉的头部姿态估计

基于双目视觉设计一种由人眼在二维及三维空间相对位置的变化估计头部姿态的方法,并将头部姿态分为15种.用光照补偿和肤色模型划分人脸区域的方法减少传统级联分类器易受光照和角度的影响而产生的人眼误检;对双目相机标定以进行立体校正和去畸变,图像经过对极约束、重投影和立体匹配过程得到视差,根据左右图像中对应的人眼位置的视差由三角...     

基于多相机的人脸姿态识别

主动形状模型(ASM)算法被用来进行人脸特征点的精确定位,然后在多相机测量的图像中进行特征点的立体匹配,利用双目视觉和相机三维测距技术可以确定人脸特征点的空间三维位置,从而利用这些特征点的相对位置确定出人脸的姿态。实验结果显示,用该方法进行人脸姿态识别能取得比二维识别更高的精确度。     

基于双目视觉的人脸三维重建

基于双目立体匹配算法PatchMatch算法,提出了一种获取人脸三维点云的算法。该算法对局部立体匹配算法PatchMatch进行了优化。该方法既不需要昂贵的设备,也不需要通用的人脸三维模型,而是结合了人脸的拓扑结构信息以及立体视觉局部优化算法。此方法采用非接触式的双目视觉采集技术获取左右视角的人脸图像,利用回归树集合(ensemble of regression trees,ERT)算法对人脸图像进行关键点定位,恢复人脸稀疏的视差估计,运用线性插值方法初步估计脸部的稠密视差值,并结合局部立体匹配算法对得到的视差结果进行平滑处理,重建人脸的三维点云信息。实验结果表明,这种算法能够还原出光滑的稠密人脸三维点云信息,在人脸Bosphorus数据库上取得了更加准确的人脸重建结果。     

自适应监督下降方法的姿态鲁棒人脸对齐算法

人脸对齐是人脸分析处理中的重要一步。由于现实中的人脸照片通常在姿态、光线等方面存在较大的差异,人脸对齐是一项艰巨的任务。初始关键点的位置以及特征提取对人脸对齐很重要。提出一种自适应监督下降方法(SDM)的姿态鲁棒人脸对齐算法。首先,为了减小姿态差异对人脸对齐的影响,使用聚类算法将图片按照姿态分成三类(正脸,左侧脸,右侧脸),这样每个类别下的姿态更加紧致。其次,考虑到人脸对齐是由粗到细的多阶段监督学习过程,采用自适应特征提取框(由大到小)来提取判别性特征。基于上述两种策略,在每个类别下,提供一个更好的初始关键点位置,通过自适应特征提取的SDM模型来进行回归模型的训练。选用LFPW、HELEN和300W数据集进行评估,实验结果表明,该模型在复杂姿态下能准确定位关键点,并且好于现有的人脸对齐算法。     

基于全局信息的人脸特征点精确定位

空间中物理位置的线性变化在图像空间的变化往往是非线性的,人脸特征点定位受到头部姿态较大的影响。提出一种改进的基于头部姿态估计的条件回归森林方法,该方法有效地将原非线性问题转换为分段线性问题。使用局部保持投影（LPP）得到全局的姿态信息标签,通过非线性回归（NLR）得出头部姿态,训练并使用条件回归森林对全局特征条件下的人脸特征点进行一个精确定位。实验结果表明,该方法有效地降低了头部偏转等图像空间中的非线性变化引起的特征估计误差,提高了人脸特征点定位的精确度。     

基于边缘统计和特征定位的人脸姿态估计方法

提出基于整体信息和基于局部信息的人脸姿态估计方法,并对两种方法进行比较分析。基于边缘统计特征的人脸姿态估计算法先利用人脸整体信息,提取边缘统计特征,再使用线性回归算法建立特征与姿态间的对应关系。基于特征定位的人脸姿态估计是一种基于局部信息的算法,该算法先使用数理形态学运算精确定位鼻孔,再根据鼻孔与眼睛的位置关系进行人脸姿态估计。实验结果表明,本文的算法具有准确度高,计算速度快的优点。     

流形学习与非线性回归结合的头部姿态估计

流形学习的目的是发现非线性数据的内在结构,可用于非线性降维。广义回归网络是人工神经网络的一种,可用于非线性回归。基于流形学习和非线性回归,提出了用于解决头部姿态估计的ManiNLR方法。该方法首先用流形学习对图像数据进行降维,然后用非线性回归的方法将数据映射到线性可分空间,利用非线性回归的结果对人脸的头部姿态进行估计。实验结果表明,ManiNLR算法能够较好地估计图像中的头部姿态,并具有较快的速度和较高的鲁棒性。     

基于条件迭代更新随机森林的非约束人脸特征点精确定位

人脸特征点定位是计算机视觉中研究和分析人脸的关键.为了提高在非约束环境中(大姿态变化、遮挡、复杂背景等)人脸特征点定位的准确性和鲁棒性,提出一种基于条件迭代更新随机森林的非约束人脸特征点定位方法.首先,为了克服遮挡和背景噪声的影响,对人脸子区域进行分类,提取人脸正子区域;然后,在人脸正子区域上估计头部姿态,根据估计的头部姿态和人脸局部子区域学习特征点的初始化条件概率模型,定位人脸特征点的初始位置;再依据特征点的初始位置建立人脸误差模型,利用误差模型在线学习并多次迭代更新随机森林的叶子节点,生成新的复合叶子概率模型,包括人脸子块类别、头部姿态、人脸形变模型、误差偏移模型;最后,引入条件权重稀疏投票对复合叶子概率模型进行回归,定位人脸特征点的精确位置.在AFW,LFW和Pointing’04这3个具有挑战性的公共人脸数据库上进行实验的结果表明,该方法在非约束人脸特征点定位中的平均误差值为0.15时,定位准确率超过95%.     

Leap Motion关键点模型手姿态估计方法

在虚拟操作的人机交互中,为解决视觉方式人手姿态估计的问题,提出一种基于Leap Motion采集设备的关键点模型手姿态参数估计方法.该方法通过建立关键点模型,利用Leap Motion采集的少量手势信息计算模型中人手关键点的空间位置,并将其作为手姿态的估计参数.实验结果表明,文中方法能够实时地估算出手各个关键点的位置以驱动虚拟手运动,为基于手势的虚拟操作人机交互应用奠定了基础.     

优化特征提取的互动式人脸活体检测研究

针对人脸识别系统中出现的通过照片或视频“欺诈”解锁问题，提出一种活体检测方法，通过随机指令判断被检测对象是否为真人。利用HOG特征和随机森林算法对摄像头采集的图像进行人脸检测，预测脸部68个特征点位置，把68个特征点位置和脸部位置的相对位置归一化后作为姿态的特征，提取的姿态特征与SVM分类器相结合，训练出分类效果较好的头部姿态估计分类器。通过多次实验，对特征提取方法进行优化，进一步提高检测准确率。最后，使用随机互动式命令序列对被检测人发出指令，实现活体检测。该方法对头部姿态估计具有较高的鲁棒性，并且可以有效地防范照片和视频认证攻击。     

基于稀疏模型的人脸姿态估计

针对现有的人脸姿态估计方法易受“自遮挡”影响,采用改进的ASM 算法 提取人脸特征点,并利用人脸形态的几何统计知识来估计人脸特征点的深度值。以人脸主要 特征点建立人脸稀疏模型,在利用相关人脸特征点近似估计人脸姿态后,通过最小二乘法精 确估计三维人脸空间姿态。实验结果表明,对于“自遮挡”情况,该方法仍有较好的估计结果, 与同类方法比较具有良好的姿态估计精度。     

优化LeNet-5网络的多角度头部姿态估计方法

针对在受到部分遮挡或角度过大无法定位面部关键特征点的情况下,传统的头部姿态估计方法的准确率低或无法进行头部姿态估计的问题,提出了优化LeNet-5网络的多角度头部姿态估计方法。首先,通过对卷积神经网络（CNN）的深度、卷积核大小等进行优化来更好地捕捉图像的全局特征;然后,改进池化层,用卷积操作代替池化操作来增强网络的非线性能力;最后,引入AdaBound优化器,并利用Softmax回归模型做姿态分类训练。训练中在自建数据集中增加遮挡头发、做出夸张表情和佩戴眼镜等动作来增强网络的泛化能力。实验结果表明,所提方法不需要定位面部关键特征点,在光照阴影、头发等遮挡情况下也可以实现抬头、低头、偏头等多角度转动下的头部姿态估计,在Pointing04公共数据集和CAS-PEAL-R1公共数据集上准确率达到了98.7%,运行速度平均在每秒22~29帧。     

Model free head pose estimation using stereovision

In this paper we present a stereovision based model free 3D head pose (orientation and position) estimation system suitable for human–machine interface applications. The system works by obtaining a ‘face plane’ from the 3D reconstructed face data, which is then used for head pose estimation. The key novelty in this work is the utilization of the face plane together with the eye locations on the reconstructed face data to obtain a robust head pose estimate. This approach leads to a model and initialization free head pose estimation system; therefore it is suitable for natural human–machine interfaces. In order to quantitatively asses the accuracy of the system for such applications, several evaluation experiments were conducted using a commercial motion capture system. The evaluation results indicate that this system can be used in human–computer and human–robot applications.     

基于可变形卷积的多人人体姿态估计

目前针对人体姿态估计的深度神经网络都是在特征图的固定位置上进行采样,无法对人体姿态的几何变换进行建模,当人体实例在尺寸、姿势、拍摄角度等方面发生变化后,网络泛化能力较差.因此,文中提出基于可变形卷积的多人人体姿态估计方法.利用可变形卷积对目标几何变换建模能力较强的特性,设计特征提取模块,可在人体关键点几何变化的条件下保证检测的准确性.为了进一步提高网络性能,利用预训练残差网络.模型的预测值与二维高斯模型生成的真值用于计算损失,并迭代训练模型,能在拍摄视角、附着物及人物尺度变化等复杂条件下有效检测人体关键点.实验表明,文中模型可有效提升人体关键点检测的准确性.     

Model-free non-rigid head pose tracking by joint shape and pose estimation

Head pose estimation under non-rigid face movement is particularly useful in applications relating to eye-gaze tracking in less constrained scenarios, where the user is allowed to move naturally during tracking. Existing vision-based head pose estimation methods often require accurate initialisation and tracking of specific facial landmarks, while methods that handle non-rigid face deformations typically necessitate a preliminary training phase prior to head pose estimation. In this paper, we propose a method to estimate the head pose in real-time from the trajectories of a set of feature points spread randomly over the face region, without requiring a training phase or model-fitting of specific facial features. Conversely, our method exploits the 3-dimensional shape of the surface of interest, recovered via shape and motion factorisation, in combination with Kalman and particle filtering to determine the contribution of each feature point to the estimation of head pose based on a variance measure. Quantitative and qualitative results reveal the capability of our method in handling non-rigid face movement without deterioration of the head pose estimation accuracy.     

Robust semi-automatic head pose labeling for real-world face video sequences

Automatic head pose estimation from real-world video sequences is of great interest to the computer vision community since pose provides prior knowledge for tasks, such as face detection and classification. However, developing pose estimation algorithms requires large, labeled real-world video databases on which computer vision systems can be trained and tested. Manual labeling of each frame is tedious, time consuming, and often difficult due to the high uncertainty in head pose angle estimate, particularly in unconstrained environments that include arbitrary facial expression, occlusion, illumination etc. To overcome these difficulties, a semi-automatic framework is proposed for labeling temporal head pose in real-world video sequences. The proposed multi-stage labeling framework first detects a subset of frames with distinct head poses over a video sequence, which is then manually labeled by the expert to obtain the ground truth for those frames. The proposed framework provides a continuous head pose label and corresponding confidence value over the pose angles. Next, the interpolation scheme over a video sequence estimates i) labels for the frames without manual labels and ii) corresponding confidence values for interpolated labels. This confidence value permits an automatic head pose estimation framework to determine the subset of frames to be used for further processing, depending on the labeling accuracy required. The experiments performed on an in-house, labeled, large, real-world face video database (which will be made publicly available) show that the proposed framework achieves 96.98 % labeling accuracy when manual labeling is only performed on 30 % of the video frames.     

基于非局部高分辨率网络的人体姿态估计方法

人体姿态估计是计算机视觉中的基础任务,其可应用于动作识别、游戏、动画制作等。受非局部均值方法的启发,设计了非局部高分辨率网络（non-local high-resolution,NLHR）,在原始图像1/32分辨率的网络阶段融合非局部网络模块的,使网络有了获取全局特征的能力,从而提高人体姿态估计的准确率。NLHR网络在MPII数据集上训练,在MPII验证集上测试,PCKh@0.5评价标准下的平均准确率为90.5%,超过HRNet基线0.2个百分点;在COCO人体关键点检测数据集上训练,在COCO验证集上测试,平均准确率为76.7%,超过HRNet基线2.3个百分点。通过3组消融实验,验证NLHR网络针对人体姿态估计在精度上能够超过现有的人体姿态估计网络。     

A new robust algorithmic for multi-camera calibration with a 1D object under general motions without prior knowledge of any camera intrinsic parameter

In computer vision, camera calibration is a necessary process when the retrieval of information such as angles and distances is required. This paper addresses the multi-camera calibration problem with a single dimension calibration pattern under general motions. Currently, the known algorithms for solving this problem are based on the estimation of vanishing points. However, this estimate is very susceptible to noise, making the methods unsuitable for practical applications. Instead, this paper presents a new calibration algorithm, where the cameras are divided into binocular sets. The fundamental matrix of each binocular set is then estimated, allowing to perform a projective calibration of each camera. Then, the calibration is updated for the Euclidean space, ending the process. The calibration is possible without imposing any restrictions on the movement of the pattern and without any prior information about the cameras or motion. Experiments on synthetic and real images validate the new method and show that its accuracy makes it suitable also for practical applications.