基于被动立体视觉的脚型建模与比对方法

为了解决个性化鞋楦开发中三维脚型获取与检索困难的问题,提出一种三维脚型精确建模与比对方法.运用已标定的双目照相机拍摄立体图像对,进行足部整体视差估计;在对立体图像对进行自动预处理后,采用非接触式的信息采集技术,运用基于复小波的相位相关技术对足部表面进行亚像素级小区域频域匹配,考虑顺序匹配约束、连续性约束和相关性约束条件,重建足部密集三维点云信息,并自动拼接不同角度点云生成相应的足部三维模型;对其归一化后,提取其高阶矩向量进行比对,为后续的三维鞋楦设计提供必要信息.实验结果表明,该方法使足部信息采集过程快捷可靠,重建过程不需要人工干预.     

双目立体视觉的三维人脸重建方法

创建逼真的三维人脸模型始终是一个极具挑战性的课题.随着三维人脸模型在虚拟现实、视频监控、三维动画、人脸识别等领域的广泛应用,三维人脸重建成为计算机图像学和计算机视觉领域的一个研究热点.针对这一问题,提出一种基于双目立体视觉的三维人脸重建方法,重建过程中无需三维激光扫描仪和通用人脸模型.首先利用标定的2台摄像机获取人脸正面图像对,通过图像校正使图像对的极线对齐并且补偿摄像机镜头的畸变;在立体匹配方面,选择具有准确可靠视差的人脸边缘特征点作为种子像素,以种子像素的视差作为区域生长的视差,在外极线约束、单调性约束以及对应匹配的边缘特征点的约束下,进行水平扫描线上的区域生长,从而得到整个人脸区域的视差图,提高了对应点匹配的速度和准确度;最后,根据摄像机标定结果和立体匹配生成的视差图计算人脸空间散乱点的三维坐标,对人脸的三维点云进行三角剖分、网格细分和光顺处理.实验结果表明,该方法能够生成光滑、逼真的三维人脸模型,证明了该算法的有效性.     

基于双目视觉的三维人脸重建方法

提出了一种基于双目视觉的三维重建方法,无须昂贵设备和通用模型。从校正后的图像中提取有效人脸重建区域以降低整体耗时。改进了Realtime局部立体匹配算法和基于种子视差约束的区域生长算法,融合Realtime阈值排序和置信度排序进行区域生长,提高了种子像素提取的可靠性和降低区域生长误匹配的可能性。最后,研究了纹理映射技术,提高了重建模型的逼真度。实验结果表明,该方法能够产生逼真光滑的三维人脸模型。     

基于双目视觉的板材平面测量研究

针对传统人工测量板材尺寸精度较低、工作量大、易导致板材表面受损等局限,基于双目视觉技术设计了一种板材尺寸视觉测量系统;通过双目相机采集棋盘格图像,采用MATLAB进行相机标定和图像校正,拍摄左右图像并通过半全局立体匹配算法(SGM,semi global matching)进行特征点立体匹配,重建出目标三维点云模型;为提高目标特征点坐标获取的准确性,提出基于HARRIS的亚像素检测方法;采用区域生长算法结合膨胀和腐蚀操作提取板材表面轮廓,根据三角测量原理计算出板材轮廓上各点的三维坐标从而实现板材的尺寸测量,并进行点云重建增强三维展示效果;实践结果表明亚像素检测方法在角点提取上存在优势,在实际板材测量应用中实现了高精度尺寸测量,满足了工业测量需求。     

基于双目视觉的人脸三维重建

基于双目立体匹配算法PatchMatch算法,提出了一种获取人脸三维点云的算法。该算法对局部立体匹配算法PatchMatch进行了优化。该方法既不需要昂贵的设备,也不需要通用的人脸三维模型,而是结合了人脸的拓扑结构信息以及立体视觉局部优化算法。此方法采用非接触式的双目视觉采集技术获取左右视角的人脸图像,利用回归树集合(ensemble of regression trees,ERT)算法对人脸图像进行关键点定位,恢复人脸稀疏的视差估计,运用线性插值方法初步估计脸部的稠密视差值,并结合局部立体匹配算法对得到的视差结果进行平滑处理,重建人脸的三维点云信息。实验结果表明,这种算法能够还原出光滑的稠密人脸三维点云信息,在人脸Bosphorus数据库上取得了更加准确的人脸重建结果。     

基于灰度矩的脉搏图像亚像素特征点提取研究

在基于双目视觉脉搏图像传感器的脉搏三维信息检测中,图像特征点的提取是关键基础。为了提高脉搏图像特征点提取的精度,提出一种新的对脉搏图像特征点进行亚像素定位的算法。在完成脉搏图像的预处理后,对脉搏图像进行基于灰度矩的亚像素边缘检测,结合最小二乘拟合法得到圆形标志中心点,最终实现脉搏图像的特征点提取。实验结果表明该算法能够准确定位脉搏图像特征点,精度可达到0.03~0.04像素,为后续双目视觉的立体匹配及脉搏三维形态的重构奠定了基础。     

基于网格变形的从图像重建三维人脸

从图像重建高质量三维人脸一直是计算机视觉和图形学的一个重要研究问题.不同于传统的基于立体匹配的窄基线多视几何和数据驱动的人脸形变方法,提出一种结合网格变形技术和立体视觉原理的、从图像重建高质量三维人脸模型方法.给定从不同视角拍摄的几幅人脸图像,基于健壮图像特征获得可靠的相机外部参数和稀疏三维点;在此基础上,提出一种结合几何细节保持和图像一致性约束的三维人脸变形算法重建三维人脸,通过对人脸模板的网格变形,使得变形人脸在多幅图像中的可见投影具有一致性的图像颜色强度.基于模板的人脸变形可以有效地解决三维模型成像中的遮挡问题,采用健壮估计法消除噪声、离群点和光照对目标函数收敛性的影响,对目标函数的多次非线性优化求解进一步改进了人脸重建的质量.采用合成人脸图像和真实人脸图像重建三维人脸的实验结果表明,文中算法可以从几幅宽基线图像重建高质量的三维人脸模型.     

基于立体视觉的玉米叶片形态测量与三维重建

提出一种基于立体视觉的玉米叶片形态测量和重建的方法。利用双目立体视觉系统获取玉米叶片的两幅图像,通过图像分割技术和边缘检测算法对每幅图像中的玉米叶片进行边缘提取;利用极线约束和彩色图像RGB值对图像进行匹配,计算出叶片边缘的三维坐标,从而恢复叶片的三维边缘;利用对叶片边缘的恢复技术,对叶片曲面进行三维重建;根据恢复的区域点云,可以测出任意两点的空间距离,实现了对叶片的三维测量。试验结果表明,此方法能够很好地恢复玉米叶片的三维信息,为玉米叶片三维形态的无损、快速检测监测提供了新的方法。     

三维曲面图像无缝拼接方法的研究与仿真

研究三维曲面图像的无缝拼接问题。针对三维曲面图像拼接过程中,多个曲面图像之间的重叠区域由于像素的灰度和梯度等特征存在较大差异,像素不匹配,拼接后的重叠区域图像由于这种像素差异的存在,会存在明显图像裂缝的问题。为了解决这个问题,提出了一种基于交叉匹配的曲面图像拼接算法,该算法以互信息作为相似性测度,对待配准曲面图像的空间变换参数进行优化,运用空间曲面图像插值技术完成最后的三维曲面图像的融合,实现三维曲面图像的无缝拼接。实验表明,本文的方法能实现差异较大曲面图像的无缝拼接,取得了不错的效果。     

一种改进的三维人脸重构方法

提出一种改进的三维人脸重构方法。该方法采用基于单个相机的双目立体视觉系统对人脸进行采样,根据人脸对称性假设,运用补洞与纠错技术进行自动点云优化。继而采用简化的Candide-3模型作为细分初始控制网格,局部加细地进行细分曲面分层次拟合操作,采用测地线映射技术对不同表情进行归一化,并分别建立人脸数据库。实验结果表明,采用单相机立体视觉系统在提高重建精度的同时,很大程度上避免由于双相机拍摄不同步引起的重建鲁棒性降低问题。而采用细分曲面作为存储结构,在节约空间的前提下,为分层次比对筛选提供理论支持。该系统成本较低,适合在许多领域推广应用。     

基于样例学习的任意光照下的人脸3D重建方法

待匹配的人脸图像与数据库中的原型图像之间的光照差异是自动人脸识别的主要瓶颈问题之一。提出了一种基于样例学习方式的3D人脸形状重建方法,既可以生成任意光照条件下的数据库中人脸图像,也可以对待识别图像进行重新光照,合成无阴影的图像。该方法在建立人脸数据库时利用光度立体技术分离人脸图像的纹理和形状信息,并用多面体模型在最小二乘意义下恢复其3D信息并更新法向量场以克服阴影误差,从而可以利用计算机图形学的方法合成任意光照条件下和小角度姿态改变时的人脸图像;在识别时采用数据库中3D数据的线性组合形式对输入图像建模,以估计其3D信息,从而可以重新照明。在YaleB人脸数据库上的实验表明,在建立3D人脸数据库后,该方法可以快速恢复输入单幅图像中人脸的3D信息,并生成任意光照条件的该人脸图像。     

2D representation of facial surfaces for multi-pose 3D face recognition

The increasing availability of 3D facial data offers the potential to overcome the intrinsic difficulties faced by conventional face recognition using 2D images. Instead of extending 2D recognition algorithms for 3D purpose, this letter proposes a novel strategy for 3D face recognition from the perspective of representing each 3D facial surface with a 2D attribute image and taking the advantage of the advances in 2D face recognition. In our approach, each 3D facial surface is mapped homeomorphically onto a 2D lattice, where the value at each site is an attribute that represents the local 3D geometrical or textural properties on the surface, therefore invariant to pose changes. This lattice is then interpolated to generate a 2D attribute image. 3D face recognition can be achieved by applying the traditional 2D face recognition techniques to obtained attribute images. In this study, we chose the pose invariant local mean curvature calculated at each vertex on the 3D facial surface to construct the 2D attribute image and adopted the eigenface algorithm for attribute image recognition. We compared our approach to state-of-the-art 3D face recognition algorithms in the FRGC (Version 2.0), GavabDB and NPU3D database. Our results show that the proposed approach has improved the robustness to head pose variation and can produce more accurate 3D multi-pose face recognition.     

Face recognition based on 3D ridge images obtained from range data

In this paper, we present an approach for 3D face recognition from frontal range data based on the ridge lines on the surface of the face. We use the principal curvature, k_max, to represent the face image as a 3D binary image called ridge image. The ridge image shows the locations of the ridge points around the important facial regions on the face (i.e., the eyes, the nose, and the mouth). We utilized the robust Hausdorff distance and the iterative closest points (ICP) for matching the ridge image of a given probe image to the ridge images of the facial images in the gallery. To evaluate the performance of our approach for 3D face recognition, we performed experiments on GavabDB face database (a small size database) and Face Recognition Grand Challenge V2.0 (a large size database). The results of the experiments show that the ridge lines have great capability for 3D face recognition. In addition, we found that as long as the size of the database is small, the performance of the ICP-based matching and the robust Hausdorff matching are comparable. But, when the size of the database increases, ICP-based matching outperforms the robust Hausdorff matching technique.     

结合形变模型与图像修复的人脸姿态矫正

目的 人脸姿态偏转是影响人脸识别准确率的一个重要因素,本文利用3维人脸重建中常用的3维形变模型以及深度卷积神经网络,提出一种用于多姿态人脸识别的人脸姿态矫正算法,在一定程度上提高了大姿态下人脸识别的准确率。方法 对传统的3维形变模型拟合方法进行改进,利用人脸形状参数和表情参数对3维形变模型进行建模,针对面部不同区域的关键点赋予不同的权值,加权拟合3维形变模型,使得具有不同姿态和面部表情的人脸图像拟合效果更好。然后,对3维人脸模型进行姿态矫正并利用深度学习对人脸图像进行修复,修复不规则的人脸空洞区域,并使用最新的局部卷积技术同时在新的数据集上重新训练卷积神经网络,使得网络参数达到最优。结果 在LFW（labeled faces in the wild）人脸数据库和StirlingESRC（Economic Social Research Council）3维人脸数据库上,将本文算法与其他方法进行比较,实验结果表明,本文算法的人脸识别精度有一定程度的提高。在LFW数据库上,通过对具有任意姿态的人脸图像进行姿态矫正和修复后,本文方法达到了96.57%的人脸识别精确度。在StirlingESRC数据库上,本文方法在人脸姿态为±22°的情况下,人脸识别准确率分别提高5.195%和2.265%;在人脸姿态为±45°情况下,人脸识别准确率分别提高5.875%和11.095%;平均人脸识别率分别提高5.53%和7.13%。对比实验结果表明,本文提出的人脸姿态矫正算法有效提高了人脸识别的准确率。结论 本文提出的人脸姿态矫正算法,综合了3维形变模型和深度学习模型的优点,在各个人脸姿态角度下,均能使人脸识别准确率在一定程度上有所提高。     

3D reconstruction and face recognition using kernel-based ICA and neural networks

Kernel-based nonlinear characteristic extraction and classification algorithms are popular new research directions in machine learning. In this paper, we propose an improved photometric stereo scheme based on improved kernel-independent component analysis method to reconstruct 3D human faces. Next, we fetch the information of 3D faces for facial face recognition. For reconstruction, we obtain the correct normal vector’s sequence to form the surface, and use a method for enforcing integrability to reconstruct 3D objects. We test our algorithm on a number of real images captured from the Yale Face Database B, and use three kinds of methods to fetch characteristic values. Those methods are called contour-based, circle-based, and feature-based methods. Then, a three-layer, feed-forward neural network trained by a back-propagation algorithm is used to realize a classifier. All the experimental results were compared to those of the existing human face reconstruction and recognition approaches tested on the same images. The experimental results demonstrate that the proposed improved kernel independent component analysis (IKICA) method is efficient in reconstruction and face recognition applications.     

Face recognition from a single training image under arbitrary unknown lighting using spherical harmonics

In this paper, we propose two novel methods for face recognition under arbitrary unknown lighting by using spherical harmonics illumination representation, which require only one training image per subject and no 3D shape information. Our methods are based on the result which demonstrated that the set of images of a convex Lambertian object obtained under a wide variety of lighting conditions can be approximated accurately by a low-dimensional linear subspace. We provide two methods to estimate the spherical harmonic basis images spanning this space from just one image. Our first method builds the statistical model based on a collection of 2D basis images. We demonstrate that, by using the learned statistics, we can estimate the spherical harmonic basis images from just one image taken under arbitrary illumination conditions if there is no pose variation. Compared to the first method, the second method builds the statistical models directly in 3D spaces by combining the spherical harmonic illumination representation and a 3D morphable model of human faces to recover basis images from images across both poses and illuminations. After estimating the basis images, we use the same recognition scheme for both methods: we recognize the face for which there exists a weighted combination of basis images that is the closest to the test face image. We provide a series of experiments that achieve high recognition rates, under a wide range of illumination conditions, including multiple sources of illumination. Our methods achieve comparable levels of accuracy with methods that have much more onerous training data requirements. Comparison of the two methods is also provided.     

基于谱域特征提取与线性回归分类的智能人脸识别算法

针对人脸识别中由于光线、表情变化和遮挡导致人脸图像变化的问题,提出了一种谱域特征提取与线性回归分类算法相结合的智能人脸识别方法。为了实现特征提取的目的,首先使用Viola-Jones算法从原始图像中提取初始人脸部分,并将其转换为120×120像素大小的灰度图像;然后提出了一种计算极坐标傅里叶变换（FFT）以获得预处理人脸图像主要幅度谱特征的新框架,进一步在预处理的图像上执行2D-DFT,并表示为1D P-FFT。特征值是1D P-FFT幅值中的最大值,提取的特征值用于构造表示人脸图像的符号对象。最后利用快速有效的线性回归分类算法实现分类。在AR和GT数据库上进行了各种实验,分别取得了97.51％和98.02％的准确率,与最近报道的一些人脸识别技术相比,提出的方法识别准确率更高。     

基于颜色信息和几何不变性的人脸检测定位

由先验知识我们知道,2D人脸正面图像几何对称;然而,当姿态发生变化时,对于人脸这样的不规则3D几何体,不同的视角、不同的摄像机参数使得在透视成像下得到的图像也不同,并且发现正面人脸具有的对称特性也消失了,因此3D人脸的识别是十分困难的;提出一种从人脸特征的结构特殊性出发,利用2D人脸形状、面部特征等内在的几何约束关系构造射影不变的特征参数、特征关系的射影不变性,同时结合颜色物理信息的人脸检测定位方法,有效地避免了构造3D人脸模型的难题,增强了实验结果的效率、可靠性和稳定性.     

刚性区域特征点的3维人脸识别

目的 针对3维人脸识别中存在表情变化的问题,提出了一种基于刚性区域特征点的3维人脸识别方法。方法 该方法首先在人脸纹理图像上提取人脸图像的特征点,并删除非刚性区域内的特征点,然后根据采样点的序号,在人脸空间几何信息上得到人脸图像特征点的3维几何信息,并建立以特征点为中心的刚性区域内的子区域,最后以子区域为局部特征进行人脸识别测试,得到不同子区域对人脸识别的贡献,并以此作为依据对人脸识别的结果进行加权统计。结果 在FRGC v2.0的3维人脸数据库上进行实验测试,该方法的识别准确率为98.5%,当错误接受率（FAR）为0.001时的验证率为99.2%,结果表明,该方法对非中性表情下的3维人脸识别具有很好的准确性。结论 该方法可以有效克服表情变化对3维人脸识别的影响,同时对3维数据中存在的空洞和尖锐噪声等因素具有较好的鲁棒性,对提高3维人脸识别性能具有重要意义。     

3D通用人脸模型的自适应算法及应用

利用3D人脸建模的方法进行人脸识别有效地克服了2D人脸识别系统中识别率易受光照、姿态、表情影响的缺陷。文章采用一种依据人脸图像对3D通用人脸模型进行自适应调整的有效算法,构造出特定的人脸模型并运用于人脸识别中。通过比较从人脸图像中估算出的特征点与通用人脸模型在图像平面上的投影点之间的关系,对3D通用人脸模型进行全局和局部调整,以适应人脸中眼、口、鼻的个性化特征。最后以一个实例说明了此算法的应用。