基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够,导致重建出的三维人脸模型泛化性能不佳的问题,提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先,通过卷积神经网络对现有的三维形变模型进行改进,以提高三维人脸模型的表达能力;然后,基于人脸光滑性和图像相似性,在特征点和像素层面提出新的损失函数,并使用弱监督学习训练卷积神经网络模型;最后,通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明,对于三维人脸重建任务,所提模型在AFLW2000-3D上实现了2.25的归一化平均误差;对于密集人脸对齐任务,所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比,所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片,该网络模型的重建准确,鲁棒性好,且具有较高的三维人脸重建和密集人脸对齐质量。     

基于改进三维形变模型的三维人脸重建和密集人脸对齐方法

针对现在广泛使用的三维形变模型表达能力不够，导致重建出的三维人脸模型泛化性能不佳的问题，提出了一种在姿态、表情和光照未知的条件下的基于单张人脸图片的三维人脸重建和密集人脸对齐的新方法。首先，通过卷积神经网络对现有的三维形变模型进行改进，以提高三维人脸模型的表达能力；然后，基于人脸光滑性和图像相似性，在特征点和像素层面提出新的损失函数，并使用弱监督学习训练卷积神经网络模型；最后，通过训练出的网络模型进行三维人脸重建和密集人脸对齐。实验结果表明，对于三维人脸重建任务，所提模型在AFLW2000-3D上实现了2.25的归一化平均误差；对于密集人脸对齐任务，所提模型在AFLW2000-3D和AFLW-LFPA上分别实现了3.80和3.34的归一化平均误差。与原始使用三维形变模型的方法相比，所提模型在三维人脸重建和密集人脸对齐上的归一化平均误差分别降低了7.4%和7.8%。针对不同光照环境以及角度的人脸图片，该网络模型的重建准确，鲁棒性好，且具有较高的三维人脸重建和密集人脸对齐质量。     

基于单张照片的三维人脸重建优化算法

传统人脸三维重建算法难以确定人脸形状,并且计算复杂。针对此问题,提出一种以水平集方法获取人脸轮廓并结合明暗恢复形状(SFS)算法重建三维模型的方法,该方法仅需单张正面人脸照片。首先采用主动形状模型确定人脸轮廓,将其作为水平集的初始演化曲线,分割出完整的人脸形状;然后对人脸区域进行灰度变换,求出灰度图像;最后通过SFS算法重建已知光照条件的人脸图像的三维模型,将该模型作为参考与灰度图像匹配,进而确定其光照条件和三维模型。实验结果表明,与基于网格模型的算法相比,该方法可快速地重建具有完整形状的人脸模型。     

一种新的单张照片三维人脸重建方法

针对利用反向传播神经网络实现单张照片三维人脸重建方法中速度慢、精度低的缺点,提出了一种改进反向传播神经网络,该方法通过引入混沌变异思想有效解决了APSO算法中的早熟问题,然后以此APSO算法取代传统反向传播神经网络的梯度下降算法,通过对基于传统反向传播神经网络和改进反向传播神经网络的单张照片三维人脸重建方法对比实验,结果表明,采用改进后的反向传播神经网络算法实现的单张照片三维人脸重建,重建的三维人脸更加逼真,并且模型重建的效率和精度也得到了明显提高,重建的时间也大大减少.     

一种数字航空影像的匀光方法

针对单张数字航空影像不均匀光照现象的成因，深入研究了马斯克匀光技术在数字航空影像匀光中的应用，并针对数字航空影像提出了相应的匀光处理的具体流程和实现方法。实验表明该方法可以克服数学模型法的不足，具有较强的适用性，对于消除数字航空影像的不均匀光照现象能够取得满意的效果，从而可以有效地解决单张数字航空影像的色彩平衡问题。     

一种分组并行的轻量化实时微观三维形貌重建方法

微观三维形貌重建作为精密制造领域生产制造的关键环节,其重建过程依赖于高分辨率稠密图像的采集.而面对复杂应用场景的高时效性需求,高分辨率稠密图像的输入会导致运算量与计算复杂度呈几何倍增加,无法实现高效率低延时的实时微观三维形貌重建.针对上述现状,本文提出一种分组并行的轻量级实时微观三维形貌重建方法GPLWS-Net,GPLWS-Net以U型网络为基础构造轻量化主干网络,以并行分组式查询加速三维形貌重建过程,并针对神经网络结构进行重参数化设计避免重建微观结构的精度损失.另外,为弥补现有微观三维重建数据集的缺失,本文公开了一组多聚焦微观三维重建数据集(Micro 3D),其标签数据利用多模态数据融合的方式获取场景高精度的三维结构.结果表明,本文提出的GPLWS-Net网络不仅可以保证重建精度,而且在三组公开数据集中相比于其他五类深度学习方法平均耗时降低39.15%,在Micro 3D数据集中平均耗时降低50.55%,能够实现复杂微观场景的实时三维形貌重建.     

RGBD融合明暗恢复形状的全视角三维重建技术研究

为了高效、高精度、低成本地实现对物体的全视角三维重建, 提出一种使用深度相机融合光照约束实现全视角三维重建的方法。该重建方法中,在进行单帧重建时采用RGBD深度图像融合明暗恢复形状(Shape from shading,SFS)的重建方法, 即在原有的深度数据上加上额外的光照约束来优化深度值; 在相邻两帧配准时, 采用快速点特征直方图（Fast point feature histograms, FPFH）特征进行匹配并通过随机采样一致性（Random sample consensus, RANSAC）滤除错误的匹配点对求解粗配准矩阵, 然后通过迭代最近点（Iterative closest point, ICP）算法进行精配准得出两帧间的配准矩阵; 在进行全视角的三维重建时, 采用光束平差法优化相机位姿, 从而消除累积误差使首尾帧完全重合, 最后融合生成一个完整的模型。该方法融入了物体表面的光照信息,因此生成的三维模型更为光顺,也包含了更多物体表面的细节信息,提高了重建精度;同时该方法仅通过单张照片就能在自然光环境下完成对多反射率三维物体的重建,适用范围更广。本文方法的整个实验过程通过手持深度相机就能完成,不需要借助转台,操作更加方便。     

基于HMM的单样本可变光照、姿态人脸识别

提出了一种基于HMM的单样本可变光照、姿态人脸识别算法.该算法首先利用人工配准的训练集对单张正面人脸输入图像与Candide3模型进行自动配准,在配准的基础上重建特定人脸三维模型.对重建模型进行各种角度的旋转可得到姿态不同的数字人脸,然后利用球面谐波基图像调整数字人脸的光照系数可产生光照不同的数字人脸.将产生的光照、姿态不同的数字人脸同原始样本图像一起作为训练数据,为每个用户建立其独立的人脸隐马尔可夫模型.将所提算法对现有人脸库进行识别,并与基于光照补偿和姿态校正的识别方法进行比较.结果显示,该算法能有效避免光照补偿、姿态校正方法因对某些光照、姿态校正不理想而造成的识别率低的情况,能更好地适应光照、姿态不同条件下的人脸识别.     

由单张人脸照片生成3D人脸模型令人惊奇的3D人脸模型重建

微软亚洲研究院(MSRA)的最新技术让我们只用单张人睑的正面照片就可以重建3D人验模型,而且利用这个模型还可以生成各种姿态、各种光照和各种表情下的人验图像,更让人惊奇的是整个3D脸部模型的生成过程无需人工干预,全部由软件自动完成。     

单张图片自动重建带几何细节的人脸形状

为了从单张图片中自动快速重建高细节人脸表情模型,提出一种从粗到细逐步优化的方法.首先从单张照片检测到的特征点中,通过多初值迭代方法优化求解对应的三维头部姿态和大尺度的人脸表情;其次以检测到的人脸特征点为依据对不准确的人脸表情进行矫正,并使用非刚性的迭代最近点方法对齐模型上的特征点和图像特征点,使用拉普拉斯坐标影响其余非特征点位置;最后使用带有常量假设的明暗重建形状方法为人脸模型重建细尺度的几何细节,以增加重建模型的逼真度.实验结果表明,文中方法能够在头部大幅度摆动的情况下生成更准确的带有几何细节的人脸模型;该方法不需要对图片的摄像机进行标定,也不需要预先训练或预设用户的特征模型和混合形状,同时不强制约束室内光照以及单调的背景环境.     

基于SFS方法的三维重构及精度分析

从明暗恢复形状(SFS)是计算机视觉中三维重构问题的研究热点和难点之一,目前已有算法存在两个问题:1)选择的反射模型不符合物体表面的反射特性;2)引入的约束条件和求解过程过于复杂,求解速度慢,效率低。对SFS算法进行了详细分析,引入了朗伯特光照反射模型,对物体表面做球形假设,然后对图像做近似微分运算以求出高度函数,实现了利用单幅灰度图像恢复物体表面三维形状并仿真的数据处理方法,同时对传统线性化SFS算法和所提算法进行了实验验证,对两种模型的重构精度和算法的执行效率进行了比较和分析。实验仿真结果表明,在保证一定精度的前提下,所提算法的执行效率比传统算法高。     

一种基于多面体模型的从明暗恢复物体形状方法

针对目前“从明暗恢复物体形状方法”存在的问题,提出了以多面体模型为基础的快速算法,根据向量场的分布建立关于物体表面深度信息的超定线性方程组,在最小二乘意义下求得物体表面的深度值。该算法能从已知光照条件下的单幅或多幅图像中恢复物体表面的三维结构,形成以像素为精度的物体表面多面体模型。实际计算表明该算法计算速度快,能适应单一反射系数的任意物体表面的形状恢复。     

基于特征线梯度约束SFS的月面地形重构方法

针对月面着陆器在下降过程中可能得不到足够的匹配点进行着陆区地形恢复的问题,提出了基于特征边缘线梯度比例约束的明暗恢复形状(shape from shading)算法。以Lommel-Seeliger反射模型模拟月球表面反射情况,建立辐照度方程。以地形特征边缘提取结果为基础,经过最小二乘拟合后,求解临近点的梯度比例因子,并通过表面光滑模型约束,演化得到剩余影像点的梯度比例因子,实现了对辐照度方程的量化约束,使得SFS问题正则化。采用模拟影像和真实月面影像对所提出的算法进行了测试分析,实验结果表明,所提出的算法能够有效的进行三维地形恢复,且恢复精度优于经典SFS算法中对实际地形恢复效果最好的Tsai算法。     

Optimal Algorithm for Shape from Shading and Path Planning

An optimal algorithm for the reconstruction of a surface from its shading image is presented. The algorithm solves the 3D reconstruction from a single shading image problem. The shading image is treated as a penalty function and the height of the reconstructed surface is a weighted distance. A consistent numerical scheme based on Sethian's fast marching method is used to compute the reconstructed surface. The surface is a viscosity solution of an Eikonal equation for the vertical light source case. For the oblique light source case, the reconstructed surface is the viscosity solution to a different partial differential equation. A modification of the fast marching method yields a numerically consistent, computationally optimal, and practically fast algorithm for the classical shape from shading problem. Next, the fast marching method coupled with a back tracking via gradient descent along the reconstructed surface is shown to solve the path planning problem in robot navigation.     

单幅植物叶片图像的3维重建

目的 植物叶片形态复杂,在虚拟场景中很难真实表现。为了从信息量有限的单幅图像中恢复植物叶片的3维形状,本文基于从明暗恢复形状（shape from shading,SFS）的方法,利用亮度统计规律和植物形态特征恢复叶片的3维形状。方法 在SFS的基础上,设计基于图像骨架的距离场偏置加强表面细节;针对SFS对恢复宏观几何形状的不足,提出根据图像亮度统计分布选取控制点控制表面宏观形状变化,并利用叶片中轴的距离场约束恢复宏观几何形状,每种方法对于表面宏观几何形状恢复的权重基于恢复的反射图和输入图像间的相似度设定;将表面细节添加到宏观几何形状上得到目标对象的3维形状。结果 选取植物叶片图像进行实验,并与其他方法进行比较,实验结果表明本文方法增强了表面细节显示,并有明显的宏观几何形状变化。同时为了验证本文方法对其他物体表面细节恢复的适用性,分别对硬币和恐龙恢复表面细节,实验结果表明提出的增强表面细节的方法同样适用于其他物体。结论 针对单幅植物叶片图像的3维重建,在SFS的基础上提出了根据骨架特征加强表面细节,根据图像亮度统计分布和叶片中轴距离场约束共同恢复表面宏观几何形状的算法,实验结果验证了本文方法的可行性。     

单幅图像三维表面重建的算法研究与实现

以单幅二维图像为研究对象,应用SFS的基本理论,首先对二维图像进行了光照的倾角和偏角的估计,在光源坐标系下计算出物体每一点的表面梯度;之后,旋转坐标系,在观察坐标系下得到物体的表面梯度;最后采用三点辛普森公式求出物体表面的高度。整个算法流程简单,求解层次分明,重构满意度较高。     

基于分形的从明暗恢复形状算法研究

从明暗恢复形状是计算机视觉领域中的经典病态问题，传统方法是通过引入光滑约束等条件来获得问题的解，但传统方法存在因过平滑而失真的缺点。针对传统方法恢复结果的局限性，提出了一种基于分形约束的从明暗恢复形状的新算法，该方法首先给出分形约束条件，之后结合反射图线性化与最小能量法来计算出曲面高度。该方法不仅克服了传统算法因基于光滑假设所造成的恢复结果过分平滑而失真的缺点，且不需要可积性的约束条件，也不需要对边界条件的假设，实验结果表明，该方法用于自然景物的三维表面重构，可获得比传统方法更好的恢复效果。     

FSAM: A fast self-adaptive method for correcting non-uniform illumination for 3D reconstruction

Since three-dimensional surface texture can display texture information of an object better than its two-dimensional counterpart and can vary with scene illumination and the view angles, it is widely used in virtual reality, computer games and animation applications. Photometric Stereo, as one of the most effective technologies for capturing three-dimensional surface information, has attracted wide attention both from academic researchers and industrial fields. Uniform illumination is the essential condition for capturing and reconstructing surface heightmaps. In practice, non-uniform illumination leads to distorted surface heightmaps, such as distortion and aberration during the capture and reconstruction processes. This paper proposes and assesses a fast and self-adaptive method based on inverse-square law to correct non-uniform illumination for reconstruction of 3D surface heightmaps, and to eliminate the distortions. In order to objectively assess the performance of the illumination correction algorithm, average absolute gradient (AAG) is proposed to compare the surface heightmaps reconstructed using corrected illumination with those reconstructed without illumination correction. Experimental results show that the method is efficient and can produce convincing results.