基于特征点预测的三维表情人脸合成

对于三维人脸表情合成,基于设备的方法成本高、灵活度低,表情的重建依赖人脸扫描过程中原始人脸表情;基于图像的方法大部分以面部行为编码系统(FACS)为基础,存在FACS兼容性较好的部分模型表现粗糙问题、合成真实度较低等问题.针对于此,本文提出一种基于特征点预测的三维表情合成方法.在三维人脸重建效果较好的3DMM算法基础上...     

基于三维变换的多姿态人脸识别

现有的人脸识别系统大多基于数码相机等设备获取的二维人脸图像,当目标的姿态或者摄像机的方位发生改变时,往往会造成图像的变形以至于无法识别。而当输入的人脸为三维图像时,可以进行任意的姿态变换,从而实现对目标的识别。因此,可以通过三维人脸重建并进行空间姿态变换的方法实现任意姿态的人脸识别。在对原有三维人脸识别算法研究的基础上提出了更为通用的方法,该方法将三维深度数据与二维RGB数据结合起来,通过空间变换实现同一人脸的多姿态表示,从而建立人脸库,而在测试时只需要输入普通二维图像即可实现人脸识别。实验结果表明,此方法在采集的人脸库上,得到了很好的识别效果。     

基于协作表示和正则化最小二乘法的多姿态人脸识别方法

针对现有人脸识别方法不能很好地处理姿态变化的问题,提出一种基于协作表示和正则化最小二乘法的多姿态人脸识别方法。利用通用弹性模型(GEM)将图库中的人脸图像构建成为一个3D模型,在3D人脸姿态的三个方向(偏航、俯仰和翻滚)上提取特征,构建一个三维协作字典矩阵(CDM),利用正则化最小二乘法(RLS)和协作表示(CR)分类法对人脸进行识别分类。在AR和视频人脸数据库上进行实验,结果表明,该方法能够有效地解决具有姿态变化的人脸识别,同时对表情和光照变化也具有鲁棒性,且实时性高。     

基于人脸识别的三维骨骼模型构造

传统的人脸识别方法,都是基于人脸的二维与非刚性编码技术,存在着较为明显的缺陷。因此,提出一种三维人脸骨骼识别框架,主要解决了三维人脸姿态的规范化。实验表明,可以有效地提高人脸的识别率。     

极低码率下的2D-3D人脸视频编解码

针对动态变化背景下的人脸视频编解码问题,该文提出了一种2D-3D混合编解码系统;具体包括:(1)基于多种观测信息,在线外观模型和粒子滤波的人脸三维运动跟踪;(2)结合参数模型与肌肉模型的3D人脸动画合成;(3)基于头发检测和3D头发模型的头发合成;(4)无缝地拼接前景的三维编解码结果和背景的二维编解码结果.在极低码率下,客观实验表明,该系统在编码效率和解码质量上有较好的综合优势.主观实验表明,该系统的解码结果在脸部具有较高的辨识度.     

改进的三维人脸稠密对齐方法

针对ICP、NICP、流光法用于对齐三维人脸,建立形变模型,存在人脸对齐精度和准确性上的局限性问题。在标准形变算法的基础上,改进了局部匹配点搜索策略和形变能量函数,增加匹配点的准确性。并根据非刚性形变算法的思想,提出三维人脸迭代稠密对齐方法。在BJUT－3DFace Data人脸数据上实验证明,文中算法提高了人脸对齐的精度和准确性。     

融合整体和局部信息的三维人脸识别

针对三维人脸识别中单一特征信息不足,采用一种基于整体信息和局部信息相融合的识别算法,以提高识别率。首先将预处理的三维点云用多层次B样条曲面拟合,获取精确的人脸曲面拟合函数,将控制点映射为深度图像,并根据人脸曲面函数和生理特征提取过鼻尖的中分轮廓线和水平轮廓线;其次对深度图像采用二维主元分析(2D-PCA)算法提取整体信息,对轮廓线采用改进的ICP算法匹配,作为局部信息;最后用加权求和法在决策级进行信息融合。采用CASIA3D人脸库完成识别测试,实验结果表明,本文算法明显优于单一特征信息下识别算法,且对姿态有较好的鲁棒性,同时不增加算法复杂度。     

基于多媒体技术的三维人物图像动态重构

针对基于自标定的三维人物图像动态重构方法不能准确获取人物运动形态的三维位置,重构结果存在较高的偏差的问题,提出基于多媒体技术的三维人物图像动态重构方法,采用单目图像重构算法完成人体三维姿态重构。对多媒体技术中单摄像机拍摄的单目人体运动图像进行重构时,首先基于人体树状模型,采用基于部件检测器的二维肢体检测算法完成人体二维肢体检测;再采用基于关节点图像坐标的三维姿态重构算法,依据人体二维姿态检测结果,通过预测关节点反投影误差的退火粒子滤波算法完成人体三维姿态的跟踪,实现三维人体图像动态重构。实验结果说明,所提方法可准确实现三维人物图像动态重构,具有较高的重构精度和效率。     

基于体绘制思维的人脸识别算法优化研究

传统的人脸识别算法主要解决二维正面图像识别,如果人体姿态发生明显变化,或外界环境发生显著变化,则算法性能大大降低,无法获取准确的识别结果。体绘制算法针对三维数据场进行绘制,绘制的图像能够描述人脸的内部细节,可提高人脸识别精度。因此,提出一种基于体绘制思维的人脸识别算法,依据聚类思想对二维人脸库进行聚类,在各分类的基础上,构建人脸相似模型。通过错切变形体制算法,构建人脸体数据,实现人脸体数据坐标系统的转换以及人脸三维图像的合成,从人脸三维图像中采集人脸特征,利用相似性模型对人脸关键特征同数据库已有的特征进行匹配分析,完成人脸身份识别。实验结果说明,所提算法对于不同表情和不同光照条件下的人脸图像,都具有较高的识别率和鲁棒性。     

一种同步人脸运动跟踪与表情识别算法

针对单视频动态变化背景下的人脸表情识别问题,提出了一种同步人脸运动跟踪和表情识别算法,并在此基础上构建了一个实时系统.该系统达到了如下目标:首先在粒子滤波框架下结合在线外观模型和柱状几何模型进行人脸三维运动跟踪;接着基于生理知识来提取人脸表情的静态信息;然后基于流形学习来提取人脸表情的动态信息;最后在人脸运动跟踪过程中,结合人脸表情静态信息和动态信息来进行表情识别.实验结果表明,该系统在大姿态和丰富表情下具有较好的综合优势.     

基于累积和的改进超宽带循环平稳检测算法

针对超宽带循环平稳检测存在的门限难以设定、低信噪比下检测延迟较大的问题,提出了基于累积和的改进超宽带循环平稳检测算法。首先将信号整个三维循环谱归一化为二维灰度图,与噪声对应的灰度图比较差异,再将两类图像放入卷积神经网络（Convolutional Neural Network,CNN）自行训练提取特征,解决门限难以确定的问题。若分析三维循环谱的时间块长过短,将导致信号灰度图特征在有无噪声情况下区别不大;若块长过长会导致检测延迟较大。为此,采用累积和算法提取网络全连接层输出的信号概率作为累积和的观测统计量,自适应检测所需采样时间长度。将所提算法与传统循环平稳检测以及结合了CNN的循环平稳检测进行对比,仿真表明所提算法在低信噪比下性能最优。     

Accurate 3D hand pose estimation network utilizing joints information

In this paper, a method is proposed to improve the accuracy of 3D hand pose estimation. The existing methods make poor use of the depth information of hand joints and have difficulties of estimating the 3D coordinates accurately. To solve this problem, a method that utilizing the information between adjacent joints of each finger is proposed to estimate the depth coordinates of joints. In order to make full use of 2D information for depth estimation, this paper divides hand pose estimation into two sub-tasks (2D hand joints estimation and depth estimation). In depth estimation, a multi-stage network is proposed. We first estimate the depth of a part of hand joints, and then with the help of it and 2D information, the depth coordinates of adjacent joints can be well estimated. The method proposed in this paper has been proved to be effective on three public hand pose datasets through Self-comparisons. Compared with the methods that based on 2D CNN, our method achieves state-of-the-art performance on ICVL and NYU datasets, and also has a good result on MSRA dataset.     

Collaborative Distribution Alignment for 2D image-based 3D shape retrieval

Retrieving 3D shapes with 2D images has become a popular research area nowadays, and a great deal of work has been devoted to reducing the discrepancy between 3D shapes and 2D images to improve retrieval performance. However, most approaches ignore the semantic information and decision boundaries of the two domains, and cannot achieve both domain alignment and category alignment in one module. In this paper, a novel Collaborative Distribution Alignment (CDA) model is developed to address the above existing challenges. Specifically, we first adopt a dual-stream CNN, following a similarity guided constraint module, to generate discriminative embeddings for input 2D images and 3D shapes (described as multiple views). Subsequently, we explicitly introduce a joint domain-class alignment module to dynamically learn a class-discriminative and domain-agnostic feature space, which can narrow the distance between 2D image and 3D shape instances of the same underlying category, while pushing apart the instances from different categories. Furthermore, we apply a decision boundary refinement module to avoid generating class-ambiguity embeddings by dynamically adjusting inconsistencies between two discriminators. Extensive experiments and evaluations on two challenging benchmarks, MI3DOR and MI3DOR-2, demonstrate the superiority of the proposed CDA method for 2D image-based 3D shape retrieval task.     

人脸图像中鼻子检测技术综述

鼻子是人脸中一个突出的器官,其特征不易受面部表情变化的影响。鼻子检测是在图像或图像序列中搜索人鼻的位置及其轮廓线特征,其研究在人脸检测和定位、人脸识别、人脸姿态估计、3D人脸重构等方面具有重要的意义。近年来,研究者们在该领域做了大量研究,提出了很多有效的算法。对相关文献进行了综述,将现有的鼻子检测方法分为基于2D图像的方法和基于3D信息的方法,分析了这两类方法的优缺点。     

一种3D眼镜虚拟试戴系统的实现

针对人脸图像试戴3D眼镜过程中存在的镜腿遮挡人脸问题,文中提出一种基于人脸图像的3D眼镜虚拟试戴技术。利用构建的人脸形状的三维模型,使其在虚拟试戴中对镜腿起到消隐作用,解决镜腿的遮挡问题。文中对输入的人脸图像进行关键点检测,结合Graham扫描法求得人脸形状的凸多边形,利用平移扫描构建人脸形状的三维模型。此外,文中根据定位人脸图像上的关键点以及姿态估计后对三维眼镜模型的变换,将眼镜模型佩戴到人脸图像上。实验结果表明,该方法对于多视角的人脸图像实现了虚拟试戴效果,解决了多种视角下人脸图像试戴过程中镜腿的遮挡问题,虚拟试戴中镜腿遮挡平均准确率为94.5%,遮挡精度较高。     

基于双激活层深度卷积特征的人脸美丽预测研究

目前,人脸美丽预测存在数据规模小、分类难度大、深度特征研究不足等问题.为此,本文提出基于双激活层深度卷积特征的人脸美丽预测研究的解决方案.首先,采用数据增强和人脸对齐方法来增加训练集的样本数量和提高数据库的数据质量.其次,提出一种双激活层改进CNN模型,使其更适合人脸美丽预测应用.实验结果表明,本文所提方法在分类和回归预测方面均大幅度优于传统人脸美丽预测方法;同时,在主流的CNN模型中取得了较好的实时性和准确性,基于2000测试集的分类准确率达到61.1%,回归相关度达到0.8546.因此,双激活层在深层人脸美丽特征学习中发挥了重要作用,可广泛应用于人脸图像识别与处理.     

A method of face recognition using 3D facial surfaces

Face recognition is one of the most rapidly developing areas of image processing and computer vision. In this work, a new method for face recognition and identification using 3D facial surfaces is proposed. The method is invariant to facial expression and pose variations in the scene. The method uses 3D shape data without color or texture information. The method is based on conformal mapping of original facial surfaces onto a Riemannian manifold, followed by comparison of conformal and isometric invariants computed in this manifold. Computer results are presented using known 3D face databases that contain significant amount of expression and pose variations.     

基于深度卷积神经网络的协作频谱感知方法

针对传统卷积神经网络(CNN)频谱感知方法提取特征能力受限于网络结构简单,增加网络结构又容易出现梯度消失等问题,该文通过在传统卷积神经网络中添加捷径连接,实现输入层恒等映射更深的网络,提出一种基于深度卷积神经网络(DCNN)的协作频谱感知方法。该方法将频谱感知问题转化为图像二分类问题,对正交相移键控(QPSK)信号的协方差矩阵进行归一化灰度处理,并作为深度卷积神经网络的输入,通过残差学习训练深度卷积神经网络模型,提取2维灰度图像的深层特征,将测试数据输入到训练好的模型中,完成基于图像分类的频谱感知。实验结果表明:与传统的频谱感知方法相比,在低信噪比(SNR)下、多用户协作感知时,所提方法具有更高的检测概率和更低的虚警概率。     

基于小波域两向二维主分量分析的SAR目标识别

针对合成孔径雷达图像目标识别在图像域进行特征提取时空间维数较高、计算复杂度较大、识别效率较低等问题,提出基于小波域两向二维主分量分析和概率神经网络的SAR图像目标特征提取与识别方法。该方法首先引入二维离散小波变换将预处理后的SAR图像变换到小波域,得到可充分表征目标特征信息的低频成分。然后提取低频子图像的两向二维主分量分析低维特征作为训练样本和测试样本的目标特征,最后由概率神经网络分类器完成目标识别。MSTAR数据实验结果表明,在特征矩阵维数低至6×3(原始图像128×128)的情况下平均识别率高达99.32%,且最高可达99.83%,该方法不但能够有效压缩目标特征维数和提高识别率,还对目标的方位信息具有很强的鲁棒性,可有效应用于SAR图像目标特征提取和识别。     

Registration and three-dimensional reconstruction of autoradiographic images by the disparity analysis method

Quantitative autoradiography is a powerful radioisotopic-imaging method for neuroscientists to study local cerebral blood flow and glucose-metabolic rate at rest, in response to physiologic activation of the visual, auditory, somatosensory, and motor systems, and in pathologic conditions. Most autoradiographic studies analyze glucose utilization and blood flow in two-dimensional (2D) coronal sections. With modern digital computer and image-processing techniques, a large number of closely spaced coronal sections can be stacked appropriately to form a three-dimensional (3D) image. 3D autoradiography allows investigators to observe cerebral sections and surfaces from any viewing angle. A fundamental problem in 3D reconstruction is the alignment (registration) of the coronal sections. A new alignment method based on disparity analysis is presented, which can overcome many of the difficulties encountered by previous methods. The disparity analysis method can deal with asymmetric, damaged, or tilted coronal sections under the same general framework, and it can be used to match coronal sections of different sizes and shapes. Experimental results on alignment and 3D reconstruction are presented.